Проблема статичных бенчмарков
Большинство современных агентов на базе LLM оцениваются в статичных средах, где мир не меняется, пока модель не сделает ход, а награда выдается только в конце. Это не отражает реальность бизнеса. Авторы статьи StoreBench (Daksh Raghuvanshi, Ved Vedere, Yifan Wang) предлагают среду, имитирующую управление средним интернет-магазином одежды на production-бэкенде. Здесь агенты сталкиваются с неопределенностью: клиенты заказывают круглосуточно, поставщики меняют цены и могут отказаться от поставок, а рыночные шоки приходят с предупреждением или без него.
Методология и инструменты
Агент управляет магазином через те же 29 инструментов, что и человек-оператор. Ключевая особенность — «оконный бюджет операций»: симулированное время зависит от действий модели, что исключает влияние задержек (latency) на ход игры. Пропускной порог (pass threshold) калибруется против скриптовых политик, а система вознаграждения защищена от «хаков» (reward hacking). Каждый эпизод воспроизводим при одинаковой последовательности действий.
Результаты тестирования
Исследователи протестировали 7 передовых LLM на 11 сценариях длительностью 30–45 дней и на полной симуляции года. Результаты показали разрыв между AI и простыми эвристиками:
| Субъект | Результат (Pass Rate / Composite Score) | Примечание |
|---|---|---|
| Scripted Smart-Triage Policy | 97% (pass rate) | Базовая линия (heuristic) |
| DeepSeek-V4-Pro (Лучшая LLM) | 49% (pass rate) | Значительно уступает эвристике |
| Human Experts | 0.708 (composite score) | Превзошли все модели (средний балл AI: 0.700) |
| Qwen3.5-27B (до GRPO) | 0.136 (held-out tasks) | Базовая производительность |
| Qwen3.5-27B (после GRPO) | 0.373 (held-out tasks) | Рост после обучения на 5 задачах |
Выводы для индустрии
Хотя ни одна модель не справилась лучше простого скрипта, среда показала эффективность пост-тренинга. В эксперименте с GRPO (Group Relative Policy Optimization) модель Qwen3.5-27B, обученная всего на 5 дисъюнктных задачах, увеличила средний балл на тестовых задачах с 0.136 до 0.373. Авторы отмечают, что при использовании Claude Code harness большинство моделей демонстрируют драматический рост производительности за полный симулированный год. Полный набор данных и инструменты оценки закрыты для предотвращения загрязнения бенчмарка, но опубликованы 5 примеров задач и 10 траекторий обучения.
Источник: arXiv cs.AI ↗