Проблема: слепой поиск и преждевременная остановка
Современные агенты на базе больших языковых моделей (LLM) часто сталкиваются с критическим недостатком — отсутствием осознания состояния поиска (search-state awareness). Модель не понимает, какие данные уже получены, а какие отсутствуют, что приводит к галлюцинациям в рассуждениях и преждевременному завершению поисковых циклов. Авторы работы из Южной Кореи (Taewhoo Lee, Minju Song и др.) предлагают решение через фреймворк Self-Assessment Reinforcement Learning (SARL).
Решение: двойная система вознаграждения
SARL позволяет модели обучаться распознавать свое состояние поиска непосредственно в процессе тренировки, без необходимости дополнительных проверок на этапе инференса. Ключевая инновация — дизайн двойного вознаграждения (dual reward design):
- Положительное подкрепление: за коррекцию траектории поиска на основе самооценки.
- Штраф: за чрезмерную зависимость от самооценки, что предотвращает бесконечные циклы запросов.
Такой подход стимулирует эффективные и экономные поисковые траектории, заставляя модель «понимать», когда она уже нашла ответ, а когда нужно искать дальше.
Результаты: прорыв в сложных задачах
Эксперименты показали, что SARL превосходит сильные базовые линии и методы с вспомогательным надзором (auxiliary supervision) или координацией мультиагентных систем. Важно отметить, что SARL работает как автономный RL-фреймворк без инференсного скаффолдинга. Ниже приведены ключевые метрики улучшения по сравнению с лучшими базовыми моделями:
| Метрика / Задача | Относительное улучшение | Примечание |
|---|---|---|
| Общий результат | +24.3% | По сравнению с сильнейшей базовой линией |
| Многошаговое рассуждение (Multi-hop) | +35.9% | Средний прирост на бенчмарках |
| Глубокие исследования (Deep Research) | +27.9% | Средний прирост на бенчмарках |
Стабильность при росте сложности
Особое значение SARL имеет для задач с длительными горизонтами поиска. В то время как существующие методы часто деградируют при увеличении сложности и количества шагов поиска, SARL сохраняет стабильность обучения и обеспечивает устойчивый рост производительности. Это делает технологию перспективной для приложений, требующих глубокого анализа информации, где традиционные RAG-системы часто «сломались» бы на этапе синтеза.
Источник: arXiv cs.CL ↗