От бинарной проверки к непрерывному контролю
Классические бенчмарки часто оценивают AI по принципу «сдал/не сдал» в конце задачи. Это создает ложное чувство безопасности: модель может случайно угадать финальный ответ, провалив весь процесс. Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0) меняет парадигму. Авторы (команда из 17 исследователей во главе с Zongxia Li) предлагают оценивать устойчивый прогресс агента в длительных рабочих процессах. Теперь время выполнения увеличено с 90 минут до 3 часов, а верификатор делает контрольные точки каждые 30 минут.
Автоматизация создания задач: 77 сценариев в 13 доменах
LHTB 2.0 содержит 77 задач (46 оригинальных + 31 расширенная) в 8 типах и 13 областях. Для создания сценариев использован конвейер реконструкции: берется рабочий инженерный артефакт, генерируются вариации, 6 из них показываются агенту как пример, а 3 скрываются для проверки. Это предотвращает заучивание ответов. Ключевое нововведение — плотные лестницы прогресса (dense progress ladders), которые поощряют частичное выполнение, а не только финальный результат.
Рейтинг лидеров: GPT-6-astra против GPT-5.6-sol
Тестирование охватило 15 передовых моделей. Лидерство уверенно захватила GPT-6-astra, показав среднюю плотную награду 0.69 и решив 37 задач с точностью ≥0.95. На втором месте — GPT-5.6-sol (0.67 и 32 задачи). Разрыв между ними невелик, но в условиях 3-часового марафона стабильность GPT-6-astra оказалась критическим фактором.
| Модель | Средняя плотная награда (Dense Mean Reward) | Задач с точностью ≥ 0.95 | Примечание |
|---|---|---|---|
| GPT-6-astra | 0.69 | 37 | Лидер бенчмарка |
| GPT-5.6-sol | 0.67 | 32 | Второе место |
| Среднее по бинарному верификатору (30 задач) | 0.221 | — | Игнорирует промежуточный прогресс |
| Среднее по плотной лестнице (30 задач) | 0.653 | — | Показывает реальный потенциал |
Почему это важно: «Слепое пятно» старых тестов
Самый интригующий вывод исследования — разрыв между старыми и новыми метриками. На 30 задачах реконструкции средний балл по бинарному верификатору составил всего 0.221, тогда как по новой плотной лестнице — 0.653. Это означает, что традиционные тесты отбрасывают около 60% реального прогресса модели. Если вы оцениваете AI только по финальному ответу, вы не видите, как он боролся за решение в течение трех часов. LHTB 2.0 становится новым стандартом для проверки надежности агентов в долгосрочных сценариях.
Источник: arXiv cs.AI ↗