Команда исследователей во главе с Луном Ай (Lun Ai) представила новую архитектуру для научных AI-агентов, способных верифицировать консенсусные утверждения в науке. В отличие от традиционных подходов, где модель работает в рамках ограниченного контекста, новая система использует внешнее хранилище состояний (evidence state) для рекурсивного накопления и структурирования доказательств. Это позволяет агенту принимать решения на основе накопленной базы, а не только текущего запроса.
Новый датасет ProClaim-eval
Для оценки эффективности подхода авторы создали датасет ProClaim-eval, содержащий 718 научных утверждений с золотыми метками (SUPPORT/REFUTE). Данные собраны из пяти экспертно курируемых баз знаний, охватывающих молекулярную биологию, ядерную физику и астрономию. Это первый крупный набор данных, специально разработанный для оценки способности агентов определять научный консенсус.
Ключевые технические находки
Исследование выделило два критических фактора успеха: что именно сохраняется в состоянии (evidence state) и какой механизм контролирует процесс рекурсии (judge). Результаты показали, что сохранение структурированного состояния вне контекста модели значительно превосходит простое накопление информации в контексте (in-context accumulation). Кроме того, обученный классификатор-судья, анализирующий накопленные доказательства, работает точнее, чем фиксированные правила остановки (fixed-round stopping).
Сравнение с существующими моделями
Система ProClaim заняла место в топ-3 среди всех проверенных верификационных систем и универсальных AI-агентов. Особый интерес представляет сравнение с коммерческими моделями: обученный отдельно судья (не видевший данных ProClaim-eval) показал наилучшее совпадение с золотыми метками в трех из пяти подмножеств. Он сравнялся с Claude Sonnet 4.6 и превзошел Claude Haiku 4.5.
| Метрика / Модель | Результат / Характеристика |
|---|---|
| Размер датасета ProClaim-eval | 718 утверждений (SUPPORT/REFUTE) |
| Области знаний | Молекулярная биология, ядерная физика, астрономия |
| ProClaim (ранг) | Топ-3 среди всех верификационных систем |
| Судья (Judge) vs Claude Sonnet 4.6 | Сопоставимый уровень согласия с золотыми метками |
| Судья (Judge) vs Claude Haiku 4.5 | Превосходство обученного судьи |
Работа доказывает, что рекурсивное поддержание структурированного состояния доказательств вне контекста LLM является эффективной архитектурной стратегией для создания надежных научных агентов.
Источник: arXiv cs.AI ↗