Проблема закрытых бенчмарков
В финансовой сфере доверие к AI-агентам критически важно, но традиционные бенчмарки часто искусственно упрощают задачи, фиксируя данные, временные рамки или стратегии. Это скрывает реальные риски: использование данных из будущего (look-ahead bias), неверные источники или невыполненные инструкции пользователя. FINCOSMOS устраняет эти «закрытые миры», требуя от агента самостоятельного сбора данных из интернета и построения бэктестов с учетом временных ограничений.
Механика теста: скрытая стратегия и 15 проверок
Суть эксперимента заключается в симуляции взаимодействия с пользователем. Задача агента — выполнить финансовый запрос, не имея заранее предоставленных данных. Стратегия пользователя генерируется на основе композиционной грамматики и остается скрытой до момента запроса. Оценка проводится без референсных ответов: программа проверяет корректность данных «по времени» (point-in-time), пересчитывает метрики и сверяет выполненную стратегию с исходной спецификацией. Сессия принимается только если пользователь доволен и не срабатывает ни один из 15 контрольных пунктов (veto checks).
Результаты: 0% успешных сессий
Тестирование проводилось на 150 сессиях с участием четырех AI-агентов с кодинговыми навыками и одной модели без инструментов. Результаты оказались катастрофическими для текущего состояния технологий:
- 0% успешных сессий: Ни одна сессия, одобренная симулированным пользователем, не прошла программную проверку.
- Недостаток информации: Агенты выявляли лишь 54–64% деталей, которые им не были явно сообщены, что указывает на провал в понимании контекста.
- Вина моделей: Эксперты-люди атрибутировали 88,33% всех сбоев непосредственно ошибкам AI-агентов, а не недоработкам тестовой среды.
Выводы и перспективы
FINCOSMOS демонстрирует, что текущие AI-агенты не готовы к автономной работе в сложных финансовых сценариях без жесткого контроля. Однако методика также показала свою эффективность как инструмент обучения: после получения обратной связи от FINCOSMOS агент с персистентной памятью (persistent memory) успешно освоил все десять тестовых задач. Это открывает путь к созданию более надежных финансовых ассистентов через итеративное обучение на реальных ошибках.
Источник: arXiv cs.AI ↗