Проблема: хрупкие открытия и ложные успехи
Современные AI-агенты для исследований (AI research agents) активно используются для поиска программ, математических конструкций и доказательств. Однако существующие системы часто оптимизируют обратную связь от оценщиков, не контролируя интерпретацию, проверку и повторное использование этой информации. Это приводит к тому, что перспективные, но хрупкие кандидаты принимаются за реальные открытия, а улучшения на бенчмарках ошибочно приравниваются к научным прорывам или теоремам.
Решение: EPOCH и управление доказательствами
Команда авторов (Binjie Guo, Aisheng Mo, Ruitong Li, Xinle Deng) представила архитектуру EPOCH (Evidence-Governed Search). Её ключевая особенность — цикл обнаружения, управляемый доказательствами. Система внедряет:
- Явные контрактные задачи: четкие условия успеха.
- Типизированную память: структурированное хранение контекста.
- Активную фальсификацию: поиск контрпримеров к гипотезам.
- Проверки допуска: фильтрация слабых решений.
- Независимый повторный запуск: верификация результатов без влияния предыдущих шагов.
Каждый кандидат оценивается строго в соответствии с силой и областью применимости заявленного утверждения.
Результаты: новые лидеры бенчмарков
EPOCH демонстрирует state-of-the-art результаты, существенно превосходя сильные базовые модели. Система показывает не только высокую точность, но и надежность на отложенных выборках (held-out behavior).
| Бенчмарк / Набор данных | Метрика | Результат EPOCH | Лучший базовый результат | Примечание |
|---|---|---|---|---|
| AlgoTune | Средний нормализованный балл | 0.65 | 0.53 | Значительное превосходство над лидером |
| Math14 (внутренний) | Средний балл | 0.57 | Информация недостаточна | Наивысший средний балл |
| AgentHPO | Описательный агрегат | Лидер | Информация недостаточна | Лучший результат в описательной категории |
Практическая значимость
На десяти задачах на обнаружение EPOCH обеспечила существенный прогресс в конкретных областях: от улучшенных исполняемых конструкций и оптимизированных алгоритмов до контрпримеров и результатов, подтвержденных доказательствами. Это доказывает, что управление доказательствами (evidence governance) является необходимым шагом для создания AI-агентов, способных производить не просто сильные решения, но и достоверные научные открытия.
Источник: arXiv cs.AI ↗