Суть эксперимента: контроль переменных
Команда исследователей из Microsoft Research (Subhrangshu Nandi, Hitesh Arora и др.) провела контролируемое сравнение четырех архитектур AI-агентов на 13 корпоративных стандартных операционных процедурах (SOP). Ключевая особенность работы — фиксация модели, инструментов и задач. Изменялась только архитектура взаимодействия, что позволило изолировать эффект от сложности системы.
Были протестированы 8 вариантов (армов), объединенных в 4 категории:
- Single Agent (Функциональный вызов): Базовый агент, использующий вызовы функций.
- Skill-Augmented Agent: Агент с расширенным набором навыков (skills).
- Centralized Multi-Agent: Централизованная оркестрация нескольких агентов.
- Triage Swarm: Рой агентов с предварительной сортировкой задач.
Ключевые метрики: цена успеха
Исследование выявило критический дисбаланс между затратами ресурсов и приростом качества. Каждая координированная архитектура (мультиагентная или с навыками) требовала значительно больше вычислительных ресурсов, но давала статистически незначимый прирост успеха в большинстве сценариев.
| Метрика | Single Agent (База) | Мультиагентные/Сложные архитектуры | Разница |
|---|---|---|---|
| Успешность выполнения (Baseline) | 67.4% | — | — |
| Затраты токенов | 1x | 1.4x — 4.7x | Рост до 4.7 раз |
| Задержка (Latency) | 1x | 2.6x — 5.8x | Рост до 5.8 раз |
| Успешность с качественными навыками | — | 73.1% | +5.7% к базе |
Почему качество навыков важнее архитектуры
Один из самых интригующих выводов — влияние качества определения навыков (skill definition). Исследователи ввели рубрику для оценки качества корпусов навыков. Оказалось, что использование высококачественных навыков поднимает успешность агента до 73.1%, тогда как использование деградированных навыков дает результат ниже базового уровня (ниже 67.4%).
Это означает, что инвестиции в улучшение промптов и описания инструментов для агента часто эффективнее, чем внедрение сложных систем оркестрации.
Вывод для индустрии
Нет универсальной лучшей архитектуры. Для простых задач Single Agent остается самым эффективным выбором. Мультиагентные системы оправданы только для сложных, разветвленных SOP, где прирост стоимости компенсируется необходимостью параллельной обработки. Однако даже в этих случаях «плохая» реализация мультиагентной системы проигрывает хорошо настроенному одиночному агенту. Единственным статистически значимым победителем стала целевая переработка мультиагентной архитектуры, показавшая 75.6% успеха против 67.4% у базы.
Источник: arXiv cs.AI ↗