Проблема насыщения в итеративном обучении
Авторы отмечают, что стандартный подход к улучшению LLM-агентов через итерации до фиксации верификатора часто приводит к тупику: когда верификатор «насыщается», цикл теряет эффективность. Вместо этого исследователи предлагают оценивать агентов относительно текущей популяции, используя замороженную панель для фиксации улучшений. Ключевая идея: слияние (merge) считается успешным обучением только тогда, когда итоговая производительность превышает лучший результат поколения ноль (generation-zero).
Механика «Теста на наследование»
Введение нового критерия допуска (admission test) позволяет отсеивать операторы, которые лишь имитируют улучшение. Оператор слияния получает допуск, если выполняются три условия:
- Ребенок (модель после слияния) движется в сторону донора (исходного образца).
- Это движение превышает результат, который тот же оператор выдает при нулевой дозе (zero dose).
- Нижняя граница доверительного интервала этого движения достигает половины от запрошенной дозы (half the requested dose).
Если тест выявляет дефицит, оператор отклоняется. Если нет — результат признается неопределенным, но не успешным.
Экспериментальные данные и бенчмарки
Все измерения проводились на модели gemini-3.1-flash-lite в рамках одной задачи переговоров (negotiation task). Фиксированная оркестровка (fixed-oracle arm) не использовалась. Исследователи протестировали несколько тактик слияния, сравнивая их эффективность в открытом (open loop) и закрытом (closed loop) циклах.
| Оператор слияния | Механизм | Результат теста | Детали |
|---|---|---|---|
| Tactic append | Краткие правила донора | Допущен (Admitted) | Движение к донору стабильно, проходит проверку в обоих циклах. |
| Free rewrite | Свободная переписывание | Отклонен (Rejected) | Двигается лишь на треть от запрошенной дозы. Не превосходит поколение ноль. |
| Template append | Сырые ответы донора | Неопределенно (Undetermined) | Прходит первый зонд, но проваливает повторный. Не спасает ситуацию. |
| Constrained rewrite | Ограниченная переписывание | Допущен (Admitted) | Работает в открытом цикле, но не тестировался в закрытом. |
Почему это важно для индустрии
Результаты показывают, что простое добавление текста (append) часто эффективнее сложных операций переписывания (rewrite), которые могут «размывать» полезную информацию. Тест на наследование предоставляет метрику, позволяющую отличить реальное улучшение модели от статистического шума. Это критически важно для разработки систем автоматической оптимизации промптов, где стоимость вычислений высока, а риск деградации модели — велик.
Источник: arXiv cs.AI ↗