Проблема generic-бенчмарков
Стандартные оценки моделей часто не объясняют причины сбоев доменных AI-агентов. Агент может выбрать неверный инструмент, нарушить рабочий процесс или использовать дорогую модель там, где это не нужно. NVIDIA предлагает подход, при котором улучшения требуют не только тонкой настройки модели, но и оптимизации промптов, маршрутизации, памяти и кода хайресса (harness).
Инструментарий: NeMo Compass и NeMo Eval Author
Процесс оптимизации строится на трех библиотеках: NeMo Compass для анализа трасс, NeMo Eval Author для создания тестов и NVIDIA NeMo Relay для выполнения. NeMo Compass анализирует JSON-трассы (в примере использовалось 42 записи) и файл ETHOS.md (спецификация поведения), выявляя аномалии, такие как отправка сообщений без подтверждения пользователя. NeMo Eval Author использует эти данные для генерации Harbor- или NeMo Gym-оценок с помощью кодовых агентов (Codex, Claude Code).
Кейс: Исправление агента Hermes
В демонстрационном сценарии с агентом Hermes для вымышленной компании была выявлена ошибка: агент создавал черновик сообщения, но автоматически вызывал инструмент send_message без согласия пользователя. Проблема была решена изменением файла SOUL.md (системного промпта), который теперь явно запрещает отправку без явного подтверждения, разделяя техническую возможность и согласие пользователя.
Результаты оптимизации
После внесения изменений в хайресс были проведены замеры на двух наборах задач: разработочном (development) и скрытом (held-out) для проверки обобщения изменений. Результаты показывают значительное улучшение надежности:
| Набор данных | Baseline (Pass/Runs) | Updated Agent (Pass/Runs) | Tool Calls (Before/After) |
|---|---|---|---|
| Development (2 задачи × 3 запуска) | 3/6 | 6/6 | 10 → 6 |
| Held-out (2 задачи × 3 запуска) | 4/6 | 6/6 | 28 → 15 |
Снижение количества вызовов инструментов свидетельствует об устранении лишних действий, а рост pass rate на скрытом наборе подтверждает, что изменения не привели к переобучению (overfitting) на тестовых данных.
Итеративный цикл улучшения
Процесс не заканчивается на одном фиксе. После успешного изменения NeMo Compass анализирует новые трассы и выявляет следующую проблему. В данном случае после исправления отправки сообщений без подтверждения, система обнаружила, что агент иногда не обосновывает ответы полученными данными (grounding issue). Это запускает новый цикл: анализ → создание теста → исправление хайресса. Рекомендуется использовать наборы из сотен или тысяч примеров для продакшена и всегда проверять изменения на скрытых наборах данных.
Источник: NVIDIA dev blog ↗