Проблема существующих метрик
Прогнозирование — это сложный навык, требующий от агента умения интегрировать неполные данные, выявлять причинно-следственные связи и давать калиброванные вероятностные суждения. Существующие подходы к оценке имеют критические недостатки: живые бэнчмарки (live benchmarks) дают обратную связь только после разрешения событий, что замедляет итерации, а статичные корпуса ограничивают исследования устаревшими данными. Авторы работы, опубликованной в arXiv, предлагают решение — FABench (Forecasting Agents Benchmark).
Механика FABench: «Вчерашние завтраки»
Ключевая инновация заключается в автоматизированном конвейере, который обнаруживает события, генерирует вопросы и фиксирует исходы для любой прошлой даты прогноза. Это позволяет обновлять бэнчмарк бесконечно, всегда оставаясь впереди cutoff дат обучения моделей. Первая версия FABench содержит 287 вопросов по 9 доменам. Агенты исследуют вопросы в изолированной среде, сочетающей офлайн-архив и живой веб-поиск с фильтрацией временной утечки (temporal leakage).
Результаты тестирования: AI против рынка
Исследователи протестировали агентов на базе восьми современных моделей. Главный вывод: использование инструментов поиска (retrieval) улучшает показатель Брайера (Brier score) для всех восьми моделей. Более того, на subset из 54 вопросов, связанных с рынком предсказаний Polymarket, лучшие агенты превзошли рыночный консенсус.
| Метрика / Аспект | Результат / Наблюдение |
|---|---|
| Количество вопросов | 287 (9 доменов) |
| Влияние поиска (Retrieval) | Улучшает Brier score у всех 8 протестированных моделей |
| Сравнение с Polymarket | Лучшие 3 агента превзошли рыночный консенсус на 54 вопросах |
| Типичные ошибки агентов | Неверный вес и применение доказательств (evidence weighting) |
Почему это важно
Анализ «следов исследования» (research traces) выявил системные проблемы: агенты часто ошибаются в том, как они взвешивают и применяют доказательства. Это указывает на то, что текущие LLM-агенты еще не достигли зрелости в причинно-следственном анализе. Публикация кода, данных и среды архивирования открывает путь для сообщества к созданию более надежных систем прогнозирования, способных конкурировать с человеческой интуицией и финансовыми рынками.
Источник: arXiv cs.AI ↗