Суть проблемы: когнитивная инерция агентов
В статье представлен новый подход к оценке надежности LLM-агентов, заимствующий концепцию set-shifting (смену набора) из когнитивной психологии. Авторы задались вопросом: что происходит с выбором инструментов модели, когда надежный инструмент внезапно и незаметно меняет свои характеристики в рамках одной сессии? Традиционные бенчмарки часто тестируют статичные сценарии, игнорируя динамическую нестабильность реальных сред.
Методология: скрытые границы надежности
Для тестирования была создана среда с избыточными библиотеками инструментов, где множество инструментов решают одну и ту же задачу, но имеют скрытые параметры надежности. Оценка проводилась по следующей схеме:
- Разветвленное расписание: Надежная группа инструментов меняется в скрытых границах (boundaries).
- Контрольная группа: Каждое изменение сопровождается сценарием без изменений для сравнения.
- Метрика Set-shifting Accuracy: Совместная вероятность маршрутизации агента к целевой группе инструментов в каждом окне после сдвига.
Ключевые результаты: агенты «залипают» на рутине
Эксперименты с открытыми весами (open-weight LLMs) в open-source harness показали качественное различие в режимах отказа. Несмотря на наличие лучших инструментов, агенты по умолчанию оседают на небольшом повторяющемся наборе действий всего за несколько шагов после границы смены. Доли вызовов концентрируются на нескольких дискретных значениях, игнорируя оптимизацию.
| Параметр | Наблюдение | Значение для индустрии |
|---|---|---|
| Адаптивность | Низкая | Агенты не перестраиваются на лету, даже при наличии объективно лучших вариантов. |
| Паттерн поведения | Концентрация на рутине | После сдвига надежности вызовы падают на 2-3 фиксированных инструмента, а не распределяются оптимально. |
| Влияние фрейминга | Высокое | Подача инструментов как «конкурирующих» или «взаимодополняющих» существенно меняет динамику маршрутизации. |
Влияние фрейминга (Set Framing)
Отдельно исследовано, как описание набора инструментов влияет на выбор. То, как система преподносит альтернативы — как конкурирующие сущности или как взаимодополняющие модули, — напрямую сдвигает динамику маршрутизации. Это указывает на то, что проблема лежит не только в архитектуре модели, но и в способе представления контекста.
Почему это важно
Результаты показывают, что текущие LLM-агенты уязвимы к скрытым изменениям в среде. В реальных приложениях, где API или внутренние сервисы могут меняться, агенты рискуют продолжать использовать устаревшие или менее эффективные инструменты из-за когнитивной инерции. Для разработчиков это сигнал к необходимости внедрения механизмов явного переобучения или более тщательного фрейминга доступных действий.
Источник: arXiv cs.AI ↗