Проблема «иллюзорных» улучшений
В эпоху сложного планирования (structured workflow planning) разработчики часто приписывают рост метрик улучшению самих моделей. Однако исследование команды во главе с Чжитоном Ченом (Zhitong Chen) показывает, что наблюдаемый прирост точности может быть артефактом методов постобработки и выбора, а не способностей LLM. Авторы провели аудит на датасете DisasterBench, где модели должны составлять многоинструментальные рабочие процессы для ликвидации последствий стихийных бедствий.
Три этапа аудита
Чтобы изолировать причину ошибок, исследователи разбили процесс вывода на три наблюдаемых этапа: открытие (нахождение правильного плана), структурная валидация (проверка синтаксиса/связей) и финальный выбор (селекция одного лучшего варианта). Сравнение независимой выборки, номинального поиска по дереву и многооператорного поиска при контролируемых бюджетах инференса выявило парадоксальные результаты.
Ключевые метрики провалов
Главный вывод: структурная валидация никогда не отбрасывала последний правильный рабочий процесс в пуле кандидатов. Однако метод majority voting (голосование большинства) приводил к потере верного решения в 10–19% задач. Аудит этих случаев показал, что в 57 из 60 проанализированных случаев ошибка была связана с неверным выбором инструментов или нарушением потока информации.
| Этап вывода | Наблюдаемое поведение | Ключевая метрика/Риск |
|---|---|---|
| Открытие (Discovery) | Номинальный поиск по дереву и независимая выборка дают схожие результаты | Модель способна «увидеть» правильный план |
| Валидация (Validation) | Структурная проверка не удаляет верные решения | Правильный план остается в пуле |
| Выбор (Selection) | Majority voting отбрасывает верный план | Потеря 10-19% успешных сценариев |
| Верификация | Verifier, aware of tool specs, исправляет часть ошибок | Но переворачивает больше верных решений, чем исправляет |
Почему это важно
Результаты ставят под сомнение стандартные практики оптимизации. Если «улучшение» модели происходит только за счет изменения стратегии голосования или постобработки, реальная способность модели к планированию остается неизменной. Авторы призывают сообщество аудитировать не номинальные конвейеры, а реализованные, и отчетливо разделять метрики открытия, валидности и выбора.
Источник: arXiv cs.CL ↗