Проблема «черного ящика» в финансах
Крупные языковые модели (LLM) все чаще используются для автоматической торговли, однако существующие бенчмарки оценивают их исключительно по финансовым метрикам: кумулятивной доходности и рискам. Такой подход скрывает главную проблему: модель может показать прибыль, но при этом принимать решения на основе вымышленных данных или игнорировать реальные ограничения счета. Исследователи из Китая представили AStockArena — систему аудита решений финансовых агентов в реальном времени на рынке акций A-share.
Методология: 8 проверок вместо одной цифры
AStockArena не просто смотрит на P&L (прибыль и убытки). Система реконструирует полный цикл сделки: от отчета модели до исполнения ордера и изменения состояния счета. Аудит проводится по 8 ключевым критериям, разделенным на три категории:
- Прослеживаемость исполнения (O): Совпадает ли заявленное действие с фактическим исполнением?
- Достаточность доказательств (RK): Опиралась ли модель на реальные рыночные данные или сгенерировала их?
- Финансовая мета-осведомленность (B): Учитывала ли модель текущее состояние капитала и лимиты?
Результаты: 13 моделей, 3 198 решений
В тестировании участвовали 13 открытых и закрытых LLM. Модели совершили 3 198 последовательных решений в условиях реальных рыночных ограничений. Результаты шокируют: 72,99% торговых точек имели хотя бы один сбой в аудите. Это означает, что почти в трех случаях из четырех модель либо «видела» несуществующие данные, либо нарушала правила торговли.
| Метрика | Значение / Диапазон | Комментарий |
|---|---|---|
| Всего торговых точек | 1 070 | Моменты принятия решений |
| Доля с аудиторскими срывами | 72.99% | Наличие хотя бы одной ошибки |
| Уровни ошибок по моделям | 52.2% – 91.2% | Даже лучшие модели не идеальны |
| Самый частый тип ошибки | Пробелы в доказательствах (RK) | Галлюцинации данных |
Почему это важно для инвесторов
Дополнительный анализ показал, что портфельные результаты критически зависят от тех самых «зафлаженных» (отмеченных как ошибочные) сделок. Если исключить решения с нарушениями аудита, финансовый результат меняется. Это доказывает: оценка только по доходности создает ложное чувство безопасности. AStockArena предлагает новый стандарт: прежде чем доверить капитал AI, нужно проверить не то, сколько он заработал, а то, насколько обоснованно он принял каждое решение.
Источник: arXiv cs.CL ↗
