Суть проблемы: «слепота» к дедлайнам
Команда исследователей во главе с Aaron Wang (включая авторов из UCLA и других институтов) провела анализ способности малых LLM-агентов работать в условиях жесткого ограничения по времени (wall-clock time). В фокусе внимания оказались модели Qwen3.6-27B и Qwen3-4B, протестированные на бенчмарках MLE-Bench Lite (5 соревнований) и Zork I (Jericho).
Ключевой вывод прост и пугающ: когда бюджет времени просто прописан в промпте, агенты его игнорируют. Это происходит из-за отсутствия обратной связи о времени в процессе работы и неспособности модели предсказать длительность своих действий. Проще говоря, LLM не понимают, что «часы тикают».
Решение через инфраструктуру и RL
Авторы внедрили два типа вмешательств для исправления ситуации:
- Инфраструктурные (Harness-based): добавление механизмов, которые явно показывают время и принудительно останавливают агента по дедлайну. Это дало значительный рост соблюдения бюджета для Qwen3.6-27B без потери качества ответов.
- Обучение с подкреплением (RL): использование алгоритма GRPO с вознаграждением, зависящим от соблюдения бюджета. На задаче Zork I это обеспечило почти идеальное соблюдение лимитов.
Главный парадокс: точность ≠ продуктивность
Самое интересное открытие касается не столько соблюдения времени, сколько его использования. Даже когда агенты научились останавливаться ровно в срок, они не стали решать задачи лучше.
RL-тренированные политики часто заполняют оставшееся время повторением одних и тех же действий (repeated actions), вместо того чтобы углублять анализ. Более того, обучение на нескольких разных бюджетах приводит к «коллапсу стратегии» — модель склонна использовать тактику, оптимальную для самого короткого лимита времени, игнорируя возможность использовать дополнительные минуты для улучшения результата.
Сравнение подходов
| Метод | Модель | Соблюдение бюджета | Влияние на качество задачи |
|---|---|---|---|
| Промпт (Baseline) | Qwen3.6-27B / Qwen3-4B | Низкое | Неизменно |
| Инфраструктурные ограничения | Qwen3.6-27B | Значительно улучшено | Без измеримой потери |
| RL (GRPO) на Zork I | Qwen3-4B | Почти идеальное | Не улучшено (повторы действий) |
| RL (GRPO) на MLE-Bench | Qwen3.6-27B | Улучшено | Не улучшено |
Почему это важно
Статья, принятая на NeurIPS 2026 Workshop on Resource-Aware Agentic AI, демонстрирует, что проблема «время-бюджет» (time-budgeted) — это не просто техническая настройка таймера. Это фундаментальный разрыв в когнитивных способностях современных агентов. Пока мы не научим модели не просто «останавливаться по часам», а «распределять время продуктивно», создание автономных AI-ассистентов, работающих в реальных условиях с ограниченными ресурсами, останется невозможным.
Источник: arXiv cs.AI ↗