Проблема изолированных тестов
Кодовые агенты на базе больших языковых моделей (LLM) эволюционируют от выполнения единичных запросов до роли постоянных ассистентов, обрабатывающих поток задач: сборку, обработку данных и исправление багов одновременно. Существующие бенчмарки не способны оценить эту способность, так как тестируют каждую задачу изолированно. Авторы исследования — Эрл Чжу, Генруй Чжан, Кэйян Ху, Минъю Су и Хуннин Ван — ввели AOS-Bench, который оценивает агентную систему как менеджер рабочих нагрузок.
Методология и метрики
В AOS-Bench проверенные задачи поступают в систему с течением времени и должны быть выполнены в рамках общих лимитов CPU и памяти. Для сравнения используется референс, где те же задачи выполняются последовательно. Исследование охватило пять пар «модель-инструмент» (model-harness pairs), выявив критический разрыв между изолированной успешностью и эффективностью в потоке.
Ключевые результаты: разрыв в эффективности
Результаты показали, что высокая успешность в одиночных тестах не гарантирует эффективности при многозадачности. На тяжелых нагрузках все системы теряют от 13 до 23 баллов. На средних нагрузках разрыв между системами увеличивается: если в изолированных тестах разница составляла 11 баллов, то в потоке — 26 баллов. Две системы, различавшиеся всего на 0.6 балла в изоляции, выполнили 54% и 68% задач соответственно.
| Условие нагрузки | Потеря баллов (относительно изоляции) | Разброс эффективности между системами | Примечание |
|---|---|---|---|
| Тяжелая нагрузка | 13–23 балла | Информация недостаточна | Все системы демонстрируют снижение |
| Средняя нагрузка | Информация недостаточна | 26 баллов | Разрыв в 0.6 балла изоляции дает разницу в 14% выполнения |
| Последовательная диспетчеризация | Информация недостаточна | 73% задач не взяты в работу | При тяжелых нагрузках |
Почему это важно для разработчиков
Исследование выявило, что основная проблема кроется в политике приема задач: последовательная диспетчеризация оставляет 73% задач на тяжелых нагрузках невыполненными. Однако усложнение политик управления не всегда помогает. Фиксированная конкурентность (concurrency) на уровне двух задач приближается к лучшим результатам агентного управления (отставание всего на 4 балла). При этом медианное использование CPU остается ниже 30% от выделенных ядер, пока задачи ожидают обработки. Это доказывает, что управление рабочими нагрузками — это отдельная, критически важная способность агентов, требующая специализированных метрик.
Источник: arXiv cs.AI ↗