AIKraft Agents
Исследования16 ноября 2026 г., 12:17 МСК🤖 Auto

LLM-агенты совершают ошибки из-за «слепых зон» в инструментах

Исследование arXiv:2611.17639 показывает, что LLM-агенты часто игнорируют противоречия между данными инструментов и словами пользователя, что ведет к критическим ошибкам в 25% случаев.

Баннер новости 12015

Проблема ложных предпосылок

Авторы исследования (Yue Zhao, Angela Huyue Zhang и др.) изучили, почему LLM-агенты принимают опасные решения, такие как отмена бронирования или удаление папок, основываясь на ложных предпосылках. Ключевая проблема — разрыв между тем, что видят агенты через инструменты (tools), и тем, что говорят пользователи. Агенты действуют, если считают, что все условия выполнены, но часто не проверяют альтернативные сценарии.

Эксперимент с двумя записями

Исследователи создали сценарий, где поиск возвращает либо одну запись, либо две. Они варьировали формат вывода: просто количество, список или игнорирование второй записи. Результаты показали, что формат вывода критически влияет на безопасность:

Формат вывода инструмента Реакция агента (при наличии 2 записей) Риск ошибки
Только счетчик ("найдено 2") Большинство агентов действовали по первой записи, игнорируя вторую Высокий
Полный список записей Большинство агентов воздержались от действия Низкий
Пользователь утверждает ложь ("папка пуста") Счетчик останавливает агентов так же эффективно, как и список Средний

Поведение топовых моделей

Самые новые версии Claude и GPT демонстрируют высокую осторожность: они всегда открывают вторую запись, если она указана в счетчике, и никогда не действуют, пока не проверят её. Однако это не спасает от ошибок в сложных сценариях, где пользователь вводит противоречащую информацию.

Реальные последствия: 25% ошибок

На розничном бенчмарке с добавлением клиента с таким же именем и почтовым индексом, поиск, возвращающий этого клиента первым, приводил к записям в неверный аккаунт примерно в 25% разговоров. Проверка улицы, известной пользователю, снижала уровень ошибок до уровня одноклиентского поиска.

Вывод для разработчиков

Безопасные действия требуют от инструментов не просто выдачи результата, а явного перечисления или проверки конкурирующих записей. Оценки безопасности LLM-агентов должны обязательно варьировать то, что именно показывают инструменты, чтобы выявить эти «слепые зоны».

Источник: arXiv cs.AI ↗