Проблема дрейфа данных в production-среде
Оценка разговорных агентов, работающих с живыми, изменяющимися корпоративными данными, сталкивается с фундаментальной проблемой: воспроизводимость. Сессии, записанные для тестирования, «дрейфуют» по мере изменения состояния бэкенда, а созданный сегодня бенчмарк быстро устаревает. Авторы работы, опубликованной на arXiv (22 октября 2026 года), предлагают решение — офлайн-инструмент оценки, который остается воспроизводимым даже при изменении данных, и может быть регенерирован по требованию.
Методология: GEPA и защита от reward hacking
Разработанный инструмент оценки используется как функция приспособленности (fitness function) для оптимизации промптов на основе GEPA (Generative Evaluation-based Prompt Adaptation). Ключевым элементом безопасности является «gate of correctness» (врата корректности), который защищает процесс от reward hacking — ситуации, когда модель оптимизирует метрику оценки, но теряет фактическую полезность или точность.
Результаты тестирования
Метод был применен к production-агенту, ориентированному на торговцев (merchant-facing agent). Сжатие промптов с контролем корректности позволило уменьшить полный объем промпта на 3.5–7.6%. Важно, что это произошло без регрессии точности на отложенной выборке (held-out task correctness). Результаты были стабильными в трех независимых семействах моделей.
| Метрика | Результат | Примечание |
|---|---|---|
| Сжатие промпта | 3.5% – 7.6% | Сокращение объема контекста |
| Точность (Correctness) | Без регрессии | Стабильность на held-out данных |
| Улучшение точности | Измеримо | Наблюдается для одной из семейств моделей |
| Защита от | Reward hacking | Через gate of correctness |
Значение для индустрии
Работа принята к публикации на NeurIPS 2026 Workshop on Agents in the Wild. Представленный подход демонстрирует, что оптимизация промптов в production-среде возможна не только за счет эвристик, но и через строгую, воспроизводимую оценку, что критически важно для внедрения AI-агентов в критические бизнес-процессы, где цена ошибки высока.
Источник: arXiv cs.AI ↗