Проблема «заглядывания в будущее» в финансовых LLM
Исследователи из Китая (Dong Bo, Fanjin Zhang и др.) представили BuySideFlow — первый бенчмарк для оценки LLM-агентов в инвестиционных исследованиях с акцентом на временную валидность (Point-in-Time, PIT). Главная проблема, которую решает этот датасет: модели часто генерируют корректные SQL-запросы и Python-скрипты, но используют данные, появившиеся после целевой даты анализа. Это приводит к скрытому look-ahead bias, критичному для финансовых моделей.
Масштаб и структура датасета
BuySideFlow базируется на лицензионной производственной базе данных и содержит 408 задач, разработанных практикующими аналитиками. Датасет охватывает четыре ключевые области:
- Акции (equities)
- Паевые фонды (funds)
- Облигации (fixed income)
- Макроэкономика (macroeconomics)
Все задачи привязаны к фиксированному «снимку» (snapshot) данных, что позволяет строго контролировать временные рамки. Для каждой задачи предоставлены исполняемые эталонные решения и таксономия временных ошибок.
Результаты тестирования: точность vs. валидность
Авторы протестировали 9 конфигураций LLM-агентов. Результаты показали разрыв между фактической точностью ответа и его временной корректностью. Ниже приведена сводка ключевых метрик:
| Метрика | Значение / Диапазон | Комментарий |
|---|---|---|
| Диапазон точности ответов | 16.2% – 36.8% | Базовая способность агентов находить верный числовой/текстовый ответ |
| Объем аудита | 900 запусков (100 общих задач) | Глубокий анализ рабочих процессов лучших агентов |
| Нарушения PIT при верном ответе | 50.8% | Из 380 запусков, давших верный ответ, в 193 случаях использовались «утечшие» данные |
Почему это важно для индустрии
Ключевой вывод исследования: согласие результатов (output agreement) не гарантирует временной валидности. Если просто проверять, совпадает ли ответ модели с эталоном, можно пропустить критическую ошибку в логике извлечения данных. BuySideFlow предлагает методологию экспертного аудита выполненных рабочих процессов (executed workflows), что необходимо для создания надежных финансовых AI-инструментов. Без таких проверок использование LLM в инвестиционном анализе несет высокие риски принятия решений на основе некорректных исторических данных.
Источник: arXiv cs.AI ↗