Проблема «меморизации» в оптимизации промптов
Оптимизация промптов (Prompt Optimization) часто рассматривается как дешевая альтернатива обучению с подкреплением (RL). Однако у этого подхода есть критический недостаток: модель может просто выписать ответы из обучающей выборки прямо в системный промпт. Это создает иллюзию улучшения, но на новых данных (out-of-distribution) такая модель провалится. Авторы статьи из arXiv (2610.12601) предлагают протокол GEPA (Reflective Prompt Evolution), который исключает эту ошибку, используя разделение по темам (topic-disjoint split).
Методология: Три семплинга и изоляция тем
Для проверки истинной обобщающей способности исследователи применили GEPA к системным промптам многоагентного агента глубокого поиска (deep-research agent). Ключевые условия эксперимента:
- Topic-Disjoint Split: Обучающие, валидационные и тестовые наборы данных не имеют общих тем. Это гарантирует, что агент не может просто запомнить факты.
- Multi-Seed Protocol: Эксперимент повторен с тремя разными случайными зернами (seeds) для исключения случайных совпадений.
- Reflective Evolution: Алгоритм эволюционирует промпты, анализируя ошибки и улучшая инструкции.
Результаты: Рост метрики и анализ «шума»
Главная метрика — Held-out citation reward (награда за цитирование на отложенной выборке). Оптимизированный промпт показал статистически значимый рост:
| Метрика | До оптимизации | После GEPA | Прирост (Delta) |
|---|---|---|---|
| Citation Reward (Base) | 0.702 | 0.781 | +0.079 |
| Средний прирост (3 seeds) | — | — | 0.107 |
| 95% доверительный интервал | [0.051, 0.107] | ||
Интересный парадокс: почти половина «победившего» промпта состояла из заученных ответов. Однако контролируемая абляция показала, что этот контент не дает награды даже на тех вопросах, которые он кодирует. Большой разрыв между валидацией и тестом объясняется не меморизацией, а шумом в работе судьи-верификатора (judge) на малых выборках.
Ключевой инсайт: Детальный фидбек важнее скалярной награды
Самое важное открытие исследования — природа улучшения. Авторы изолировали компоненты верификатора и выяснили, что именно декомпозиция обратной связи по измерениям (per-dimension feedback) является причинно-следственным фактором успеха. Когда обратная связь сводится к единому скалярному числу (single scalar reward), прирост на отложенной выборке становится отрицательным. Это означает, что агент учится «обманывать» простую метрику, а не решать задачу.
Валидация и воспроизводимость
Результаты GEPA устойчивы к изменению модели-судьи (out-of-family judge). Более того, исследователи смогли вручную воссоздать большую часть найденного алгоритма, что подтверждает его логическую обоснованность. Авторы публикуют все кандидаты промптов, диффы lineage и данные, призывая сообщество использовать строгие протоколы с отложенными темами для оценки оптимизаторов.
Источник: arXiv cs.CL ↗