Крах мифа о «практическом рассудке»
Индустрия активно продвигает LLM-агентов как системы, способные к планированию, мониторингу и коррекции действий. Успехи приписываются продвинутым архитектурам: Chain-of-Thought, self-reflection, search-based prompting и tool-using loops. Однако новое исследование Oriol Miro-Lopez-Feliu и коллег ставит под сомнение эти утверждения. Авторы доказали, что текущие метрики (end-to-end success rate) и LLM-судьи не являются валидными верификаторами, так как не проверяют семантическую корректность плана, а лишь фиксируют факт завершения задачи.
Методология: PDDL как строгий арбитр
Для объективной проверки команда разработала тестовый набор, где задачи формулируются на естественном языке, но их логика строго контролируется скрытой моделью PDDL (Planning Domain Definition Language). Эта система определяет:
- Применимость каждого действия;
- Достигнута ли цель;
- Существует ли вообще решение для данной задачи.
Эксперимент охватил 5 доменов (включая два новых), 4 модели LLM, 6 стратегий промптинга и 3 архитектуры агентов.
Ключевые цифры и провалы
Результаты оказались разрушительными для нарратива о «разумных» агентах. В офлайн-режиме (где можно анализировать состояние) лучший конфиг решил 78% решаемых задач. Однако в онлайн-режиме, имитирующем реальное использование без инспекции состояния, этот показатель упал до 40%. Самое тревожное — агенты не способны распознать невозможные задачи: они пытаются выполнить их в более чем 90% случаев, вместо того чтобы сообщить об ошибке.
| Метрика / Параметр | Результат | Интерпретация |
|---|---|---|
| Решаемые задачи (Online) | 40% | Низкая надежность в реальных сценариях |
| Решаемые задачи (Offline) | 78% | Потенциал есть, но доступ к состоянию критичен |
| Распознавание невозможных задач | < 10% | Агенты «зацикливаются» на невыполнимых целях |
| Затраты токенов (сложные промпты) | x5 – x22 | Нет прироста качества, только рост стоимости |
Вывод: архитектура важнее промпта
Исследование выявило парадокс: использование тяжелых стратегий промптинга увеличивает расход токенов в 5–22 раза, но не дает значимого улучшения качества планирования. Более того, производительность планирования варьировалась больше между разными моделями, чем между различными архитектурами агентов или методами промптинга внутри одной модели.
Авторы приходят к выводу, что заявления о способности агентов к планированию требуют доказательств в виде валидированных трасс действий (action traces), а не просто успешного завершения задачи. Без формальной верификации мы имеем дело не с рассуждением, а с угадыванием.
Источник: arXiv cs.AI ↗