Проблема: разрыв между ошибкой и решением
Современные большие языковые модели (LLM) все больше зависят от синтетического опыта. Однако существующие методы синтеза данных для интерактивных агентов сталкиваются с фундаментальной проблемой: feedback-to-decision gap. Наблюдаемые слабости агента не указывают напрямую, как именно нужно изменить будущую генерацию данных или можно ли вообще представить эти изменения в текущем пространстве синтеза.
Проще говоря, если агент ошибся, старые методы либо игнорируют контекст ошибки, либо не могут адаптировать параметры генерации под конкретный провал в знаниях.
Решение: EvoSyn и эволюция пространства
Команда авторов во главе с Вэй Яном (Wei Yang) предложила EvoSyn — фреймворк с замкнутым циклом обучения (closed-loop learning). Ключевая инновация — использование пересматриваемого состояния (revisable state), которое определяет, какие факторы взаимодействия можно целенаправленно генерировать и куда направить усилия синтеза.
Система построена на ролевой специализации агентов:
- Designer (Дизайнер): Анализирует обратную связь и определяет направления для расширения пространства синтеза.
- Planner (Планировщик): Транслирует эти направления в исполняемый опыт (траектории).
- Специализированные агенты: Преобразуют feedback в конкретные правки.
Это позволяет системе не только адаптироваться внутри текущего пространства (закрывая слабые места), но и расширять само пространство синтеза, превращая новые обнаруженные факторы в явные элементы управления генерацией.
Результаты: +13.3 балла к успеху
Эксперименты проводились на бенчмарках $\tau^2$-Bench и CAR-Bench. EvoSyn продемонстрировал значительное превосходство над сильнейшими базовыми методами синтеза данных.
| Метрика / Бенчмарк | Результат EvoSyn | Значение |
|---|---|---|
| Улучшение успеха задачи | +13.3 пункта | Средний прирост над лучшим базовым методом синтеза |
| Качество данных | Выше | Более структурированный и качественный синтетический опыт |
| Обнаружение факторов | Новые факторы | Система нашла контролируемые факторы, которые упускались без обратной связи от ученика |
Почему это важно
Работа демонстрирует переход от пассивного сбора данных к агентному синтезу, где сам процесс обучения диктует, какие данные нужны для следующего шага. Это критически важно для создания автономных агентов, способных к самосовершенствованию в сложных, динамических средах, где статические датасеты быстро устаревают.
Источник: arXiv cs.AI ↗