AIKraft Agents
Главная/Блог/Гайд/Как превратить сбои AI-агентов в тесты:…
Гайд4 мин чтения · 4 ноября 2026 г.

Как превратить сбои AI-агентов в тесты: цикл оптимизации с NVIDIA NeMo

Разбираем полный цикл оптимизации AI-агентов: от анализа трассировок через NeMo Compass до создания тестов в NeMo Eval Author и исправления промптов. Реальные кейсы и цифры.

Создание AI-агента для корпоративной среды — это лишь начало пути. Самая большая проблема, с которой сталкиваются инженеры, — это не способность модели сгенерировать текст, а её надежность в реальных сценариях. Generic benchmark scores (общие баллы в бенчмарках) часто скрывают истинную картину: агент может выбрать неверный инструмент, следовать неправильному ветвлению логики, упустить важный контекст или, что хуже всего, выполнить задачу, нарушив специфические для домена правила безопасности. Улучшение агента требует гораздо большего, чем просто тонкая настройка модели. Промпты, маршрутизация, память, навыки (skills) и код хайрнесса (harness) — все эти элементы формируют надежность в продакшене.

В этой статье мы подробно разберем флагманский подход NVIDIA к решению этой проблемы. Мы покажем, как использовать экосистему NVIDIA NeMo для превращения ошибок агентов в структурированные тесты. Этот процесс, который мы назовем «циклом оптимизации», позволяет не просто фиксировать сбои, а автоматически генерировать на их основе проверки, вносить точечные изменения в инструкции агента и верифицировать улучшения, избегая регрессий. Мы рассмотрим технические детали работы с NeMo Compass и NeMo Eval Author, а также приведем конкретные примеры из инженерной практики, включая кейс с Dassault Systèmes.

01Агентный хайрнесс: поверхность оптимизации

Прежде чем углубляться в инструменты, важно понять, что именно мы оптимизируем. Агентный хайрнесс (agent harness) — это оболочка, которая управляет взаимодействием модели с внешним миром. Ошибка в одном вызове инструмента может сорвать весь процесс. Причинами таких сбоев часто являются не галлюцинации модели, а неясные описания инструментов, ошибки в правилах маршрутизации или отсутствие контекста в системных инструкциях.

Рассмотрим пример агента Hermes, корпоративного помощника для вымышленной компании. Агент подключен через Model Context Protocol (MCP) к чату, электронной почте, файлам и системе тикетов. Задача агента — «составить сообщение с обновлениями по проекту». Модель успешно сгенерировала текст, но затем автоматически вызвала инструмент send_message для отправки письма без явного подтверждения пользователя. Это критическая ошибка: агент превысил свои полномочия. Для исправления такого поведения необходимо проанализировать не только саму генерацию текста, но и логику выполнения инструментов в рамках хайрнесса.

Трассировки (traces) — это журналы, записывающие каждый шаг выполнения агента. Они являются ключом к диагностике. Однако вручную анализировать тысячи трасс невозможно. Здесь на помощь приходит автоматизация, предлагаемая NVIDIA NeMo.

02NeMo Compass: анализ трасс и приоритизация проблем

NeMo Compass — это компонент экосистемы NeMo, предназначенный для анализа сохраненных трасс агентов и доказательств оценки. Его главная задача — превратить сырые данные логов в структурированный бэклог проблем. Вместо того чтобы разработчику вручную просматривать каждый запуск, NeMo Compass использует сложные сигналы для выявления повторяющихся проблем, определения пробелов в оценках и рекомендации областей для улучшения.

Компонент анализирует несколько ключевых аспектов:

  • Признаки необычного поведения: отклонения от нормальных паттернов использования.
  • Использование инструментов: как агент взаимодействует с API и внешними сервисами.
  • Расхождение с ожидаемым поведением: сравнение действий агента с файлом ETHOS.md, который определяет этические и функциональные правила работы ассистента.

Каждое найденное нарушение сопровождается ID трассы (trace ID), что позволяет разработчику мгновенно перейти к конкретному случаю ошибки. Например, в нашем примере с агентом Hermes NeMo Compass выявил, что в нескольких запусках агент отправлял сообщения без подтверждения пользователя. Это было обнаружено путем сравнения действий агента с правилами, записанными в ETHOS.md.

Внутренние тесты NVIDIA показали, что запуск полного набора сигналов NeMo Compass на наборе данных из тысяч трасс выявляет аномалии, которые код-агенты (LLM-разработчики), выполняющие аналогичные задачи вручную, часто пропускают. Это подчеркивает важность использования специализированных инструментов для анализа.

💡
Техническая деталь. NeMo Compass работает с файлами трасс в формате JSONL (JSON Lines). Для запуска анализа используется команда с указанием конфигурационного файла и пути к директории с трассами. Это позволяет интегрировать анализ в CI/CD пайплайны.

03NeMo Eval Author: создание тестов на основе реальных сбоев

После того как NeMo Compass выявил проблему, следующим шагом является создание теста, который воспроизводит этот сбой. Именно здесь вступает в игру NeMo Eval Author. Этот инструмент предоставляет навыки (skills) и рабочие процессы для код-агентов, позволяя создавать пользовательские оценки в форматах Harbor или NVIDIA NeMo Gym.

Процесс выглядит следующим образом:

  1. Установка навыков: В ваш код-агент (например, Codex или Claude Code) устанавливаются навыки NeMo Eval Author.
  2. Подача контекста: Разработчик предоставляет код-агенту выводы NeMo Compass, сырые трассы, файл ETHOS.md и доступ к репозиторию агента.
  3. Генерация тестов: Код-агент на основе этих данных создает тесты (evaluations). В нашем примере он сгенерировал четыре оценки Harbor с задачами, похожими на «составление ответа».
  4. Создание верификаторов: NeMo Eval Author автоматически создает верификаторы — скрипты, которые проверяют, соответствует ли результат агента критериям. В случае с ошибкой отправки без подтверждения, верификатор проверяет, был ли вызван инструмент send_message без участия ч

    Источник: NVIDIA Developer ↗