Проблема точности в самообучающихся агентах
Современные самообучающиеся AI-агенты часто сохраняют новые навыки, основываясь на высоких наградах, одобрении модели-судьи или эффективности сжатия. Однако в задачах, требующих абсолютной точности (например, подсчет итогов в таблицах транзакций), такие эвристики не работают: ответ либо верен, либо нет. Авторы исследования из arXiv (2610.20809) предлагают решение: агент, который учится вычислять новые функции без использования обучающих меток (ground truth), вознаграждений или внешних судей.
Архитектура: два вложенных цикла
Метод использует одну замороженную языковую модель, управляющую двумя вложенными циклами над небольшим домен-специфичным языком (DSL). Система работает по следующему принципу:
- Внутренний цикл: Отвечает на новые вопросы только тогда, когда два независимо написанных выражения в DSL дают идентичный результат для каждой записи в данных.
- Внешний цикл: Обнаруживает недостающие возможности и генерирует новые операторы. Новый оператор принимается только если независимая вторая реализация подтверждает его корректность и результат подчиняется закону сохранения (conservation law).
Результаты: кратный рост возможностей
Эксперименты показали, что предложенный механизм позволяет агенту самостоятельно расширять свой функционал. Внутренний цикл примерно утраивает количество решаемых вопросов, а внешний цикл позволяет изобретать операторы за пределами начального замыкания DSL. Контрольная группа без индукции операторов не смогла ответить ни на один из новых вопросов.
Ключевые метрики эффективности метода представлены ниже:
| Метрика / Домен | Результат | Примечание |
|---|---|---|
| Отсев багов | 138 из 138 | Метод отклонил все ошибочные варианты операторов, даже написанные другими моделями |
| Бизнес-бухгалтерия | Рост >10x | Увеличение множества решаемых вопросов на незнакомой схеме данных |
| Клинические записи | Рост ~20x | Почти двадцатикратный рост решаемых задач в медицинской области |
| Кросс-модельность | Стабильность | Механизм работает с разными семействами моделей, сохраняя надежность «ворот» |
Почему это важно
Традиционные сигналы, такие как self-consistency (само-согласованность) или сжатие, часто пропускают ошибки. Предложенный метод «закон сохранения + независимая проверка» обеспечивает эмпирически обоснованную фильтрацию. Это открывает путь к созданию автономных систем, способных адаптироваться к новым доменам (от финансов до медицины) без дорогостоящей разметки данных, гарантируя при этом детерминированную точность вычислений.
Источник: arXiv cs.AI ↗