Проблема задержки в динамичных средах
Большие языковые модели (LLM) способны решать сложные интерактивные задачи, но процесс рассуждений и вызова инструментов требует времени. В постоянно меняющихся средах даже абсолютно правильное действие может стать бесполезным, если оно выполнено с опозданием. Авторы работы из arXiv (2610.20665) подчеркивают, что традиционные бенчмарки, где игры или задачи «ставятся на паузу» во время обдумывания ответа, не отражают реальных условий эксплуатации агентов.
RealtimeBench: 180 задач в непрерывном режиме
Для решения этой проблемы команда представила RealtimeBench — набор из 180 задач, охватывающих шесть различных типов игр. Ключевая особенность бенчмарка заключается в том, что оценка происходит в условиях, когда игровое поле продолжает функционировать во время рассуждений модели. Это позволяет измерять не только точность, но и скорость реакции агента.
Сравнение моделей: Точность против Скорости
Парные тесты выявили интересный парадокс: мощная модель GPT-6.1-sol превосходит более быструю модель Jev в условиях «паузы» (когда время не имеет значения). Однако, когда игры продолжаются без остановки, Jev демонстрирует лучшие результаты благодаря меньшей задержке. Это доказывает, что в реальных сценариях скорость может быть важнее абсолютной глубины рассуждений.
| Метрика / Модель | GPT-6.1-sol | Jev (до TORSI) | Jev (после TORSI) |
|---|---|---|---|
| Условие оценки | Paused / Live | Live | Live |
| Результат (Live) | Ниже Jev | 13.51 | 24.19 |
| Результат (Paused) | Выше Jev | Информация недостаточна | Информация недостаточна |
Метод TORSI: Учитель и Ученик
Авторы предложили новый подход к обучению — Two-Timescale Offline Recursive Self-Improvement (TORSI). Этот метод разделяет процессы на два временных масштаба:
- Медленный учитель: Анализирует ошибки, тестирует исправления в «паузировавших» играх между попытками и пишет переиспользуемые инструкции.
- Быстрый ученик: Действует в реальном времени без вызова учителя во время игры. Он использует инструкции, сгенерированные учителем, а валидационные баллы определяют, какие обновления принимаются.
Результаты и влияние на индустрию
Применение двух раундов TORSI позволило модели Jev повысить средний тестовый балл с 13.51 до 24.19 по шкале от 0 до 100. Улучшения затронули все шесть типов игр. Кроме того, сгенерированные инструкции улучшили средние баллы еще трех моделей без необходимости их повторного обучения (retuning). Это открывает путь к созданию «реального интеллекта» — агентов, которые остаются эффективными в непрерывно меняющемся мире, грамотно организуя размышления, обучение и действия.
Источник: arXiv cs.AI ↗