Проблема доверия и разделение полномочий
Сатья Наделла в своей недавней статье аргументирует, что чем мощнее модель, тем опаснее доверять ей самому себе. Ключевая идея — разделение интеллекта и авторитета. Модель должна лишь рассуждать и рекомендовать, в то время как решения об исполнении действий принимают внешние системы контроля. Это превращает мощные LLM из «автономных операторов» в «внутренние риски», требующие жесткого ограничения прав доступа, как это делается с сотрудниками в корпоративной среде.
Данные MAST: 1600 трасс и 14 сценариев провала
Исследование Mert Cemri и коллег, анализирующее более 1 600 аннотированных трасс выполнения в семи мультиагентных фреймворках, выявило три основные категории сбоев:
- Проблемы системного дизайна: агенты игнорируют роли, повторяют шаги, теряют контекст беседы или не понимают, когда задачу можно завершить.
- Межагентная несовместимость: агенты не уточняют задачи, «уходят» от темы, игнорируют ввод других агентов или действуют вопреки своему рассуждению.
- Сбои верификации: преждевременная остановка, пропуск проверки или ложное заключение об успехе.
Решения работают лучше, чем просто улучшение модели
Исследование MAST показывает, что улучшение архитектуры системы часто дает больший эффект, чем апгрейд самой LLM. В кейсах с ChatDev:
- Четкое specification ролей увеличило успешность задач на 9.4%.
- Верификация высокоуровневых целей дала прирост в 15.6%.
Таблица: Влияние архитектурных решений на эффективность
| Метрика улучшения | Внедренное решение | Результат |
|---|---|---|
| Успешность задач (ChatDev) | Четкое определение ролей и спецификаций | +9.4% |
| Успешность задач (ChatDev) | Верификация высокоуровневых целей | +15.6% |
| Обнаружение сбоев | Внешние логгирование и аудит | Предотвращение «тихих ошибок» |
«Тихие ошибки» как новая угроза
Отдельное исследование When Errors Become Narratives зафиксировало 22 инцидента за 8 недель в продакшене. Главная опасность — «тихие сбои» (silent failures), когда ошибка не прерывает выполнение, но искажает результат, и система продолжает работу, считая всё успешным. Без внешних цепочек аудита (chain-of-thought transparency) такие ошибки становятся нормой, а не исключением.
Вывод: Архитектура важнее модели
Для создания надежных AI-агентов недостаточно просто выбрать большую модель. Необходимы:
- Внешние шлюзы разрешений (permission gates).
- Неизменяемые логи аудита.
- Механизмы экстренной остановки (emergency stop).
- Четкое разделение ответственности за состояние системы и за исполнение действий.
Источник: Towards AI pub ↗