AIKraft Agents
Исследования4 ноября 2026 г., 12:18 МСК🤖 Auto

AStockArena: Почему LLM-трейдеры теряют деньги из-за галлюцинаций

Исследователи представили AStockArena — первый бенчмарк, проверяющий не прибыль, а достоверность решений LLM на рынке акций Китая. 73% решений моделей содержат критические ошибки.

Баннер новости 11195

Проблема «черного ящика» в финансах

Крупные языковые модели (LLM) все чаще используются для автоматической торговли, однако существующие бенчмарки оценивают их исключительно по финансовым метрикам: кумулятивной доходности и рискам. Такой подход скрывает главную проблему: модель может показать прибыль, но при этом принимать решения на основе вымышленных данных или игнорировать реальные ограничения счета. Исследователи из Китая представили AStockArena — систему аудита решений финансовых агентов в реальном времени на рынке акций A-share.

Методология: 8 проверок вместо одной цифры

AStockArena не просто смотрит на P&L (прибыль и убытки). Система реконструирует полный цикл сделки: от отчета модели до исполнения ордера и изменения состояния счета. Аудит проводится по 8 ключевым критериям, разделенным на три категории:

  • Прослеживаемость исполнения (O): Совпадает ли заявленное действие с фактическим исполнением?
  • Достаточность доказательств (RK): Опиралась ли модель на реальные рыночные данные или сгенерировала их?
  • Финансовая мета-осведомленность (B): Учитывала ли модель текущее состояние капитала и лимиты?

Результаты: 13 моделей, 3 198 решений

В тестировании участвовали 13 открытых и закрытых LLM. Модели совершили 3 198 последовательных решений в условиях реальных рыночных ограничений. Результаты шокируют: 72,99% торговых точек имели хотя бы один сбой в аудите. Это означает, что почти в трех случаях из четырех модель либо «видела» несуществующие данные, либо нарушала правила торговли.

Метрика Значение / Диапазон Комментарий
Всего торговых точек 1 070 Моменты принятия решений
Доля с аудиторскими срывами 72.99% Наличие хотя бы одной ошибки
Уровни ошибок по моделям 52.2% – 91.2% Даже лучшие модели не идеальны
Самый частый тип ошибки Пробелы в доказательствах (RK) Галлюцинации данных

Почему это важно для инвесторов

Дополнительный анализ показал, что портфельные результаты критически зависят от тех самых «зафлаженных» (отмеченных как ошибочные) сделок. Если исключить решения с нарушениями аудита, финансовый результат меняется. Это доказывает: оценка только по доходности создает ложное чувство безопасности. AStockArena предлагает новый стандарт: прежде чем доверить капитал AI, нужно проверить не то, сколько он заработал, а то, насколько обоснованно он принял каждое решение.

Источник: arXiv cs.CL ↗