Проблема ложных предпосылок
Авторы исследования (Yue Zhao, Angela Huyue Zhang и др.) изучили, почему LLM-агенты принимают опасные решения, такие как отмена бронирования или удаление папок, основываясь на ложных предпосылках. Ключевая проблема — разрыв между тем, что видят агенты через инструменты (tools), и тем, что говорят пользователи. Агенты действуют, если считают, что все условия выполнены, но часто не проверяют альтернативные сценарии.
Эксперимент с двумя записями
Исследователи создали сценарий, где поиск возвращает либо одну запись, либо две. Они варьировали формат вывода: просто количество, список или игнорирование второй записи. Результаты показали, что формат вывода критически влияет на безопасность:
| Формат вывода инструмента | Реакция агента (при наличии 2 записей) | Риск ошибки |
|---|---|---|
| Только счетчик ("найдено 2") | Большинство агентов действовали по первой записи, игнорируя вторую | Высокий |
| Полный список записей | Большинство агентов воздержались от действия | Низкий |
| Пользователь утверждает ложь ("папка пуста") | Счетчик останавливает агентов так же эффективно, как и список | Средний |
Поведение топовых моделей
Самые новые версии Claude и GPT демонстрируют высокую осторожность: они всегда открывают вторую запись, если она указана в счетчике, и никогда не действуют, пока не проверят её. Однако это не спасает от ошибок в сложных сценариях, где пользователь вводит противоречащую информацию.
Реальные последствия: 25% ошибок
На розничном бенчмарке с добавлением клиента с таким же именем и почтовым индексом, поиск, возвращающий этого клиента первым, приводил к записям в неверный аккаунт примерно в 25% разговоров. Проверка улицы, известной пользователю, снижала уровень ошибок до уровня одноклиентского поиска.
Вывод для разработчиков
Безопасные действия требуют от инструментов не просто выдачи результата, а явного перечисления или проверки конкурирующих записей. Оценки безопасности LLM-агентов должны обязательно варьировать то, что именно показывают инструменты, чтобы выявить эти «слепые зоны».
Источник: arXiv cs.AI ↗
