AIKraft Agents
Исследования16 ноября 2026 г., 10:17 МСК🤖 Auto

Миф о мультиагентности: зачем нужно 516 конфигураций LLM

Масштабное исследование 516 конфигураций показывает, что добавление агентов не дает прироста точности без разделения данных. Простое масштабирование вычислений проигрывает грамотному ансамблированию.

Баннер новости 12008

Разрушение иллюзии синергии

Новое исследование, опубликованное в arXiv, ставит под сомнение тренд на создание сложных мультиагентных систем (Multi-Agent LLMs). Автор работы, Сейед Махмуд Саджади Мохаммадабади, проанализировал 9 ключевых эмпирических оценок, объединяющих 516 уникальных конфигураций агентов. Главная проблема предыдущих сравнений заключалась в том, что они смешивали три разных фактора: координацию, множественность выборок (ensembles) и вычислительные ресурсы на этапе тестирования (test-time compute).

Результаты оказались неожиданными для энтузиастов сложных архитектур: по сравнению с базовым однократным проходом (greedy pass), мультиагентные системы в среднем показывают отрицательную разницу в точности. Разница близка к нулю, если исключить самое крупное исследование из выборки, но в целом преимущество отсутствует.

Жесткие метрики: когда агенты проигрывают

Исследование ввело строгие критерии сравнения, чтобы изолировать эффект от координации. Когда мультиагентные системы сравнивались с базовыми моделями, сбалансированными по количеству выборок (Category B) или бюджету ресурсов (Category C), средняя разница в точности составила -0.042. Многоуровневое моделирование случайных эффектов подтвердило этот отрицательный тренд.

В 74% случаев, когда сравнение было корректно выровнено по ресурсам, точность мультиагентной системы оказывалась равной или ниже, чем у базовой модели. Переход от жадного прохода (greedy) к сэмплированию в базовой линии сдвигает разницу в точности еще на -0.038 в пользу простой модели.

Почему коммуникация не работает без разделения данных

Ключевой вывод автора: коммуникация между агентами не добавляет новой информации, если все агенты оперируют одними и теми же входными данными. Чтобы получить положительный эффект от взаимодействия, необходимо:

  • Разделение доказательств (Partitioned evidence): Агенты должны видеть разные части данных или контекста.
  • Внешняя верификация: Наличие внешних источников истины или инструментов.
  • Разнообразие ошибок (Error diversity): Модели должны ошибаться по-разному, чтобы компенсировать слабости друг друга.

Сводка эффективности по категориям

Ниже представлена сводка результатов сравнения мультиагентных систем с базовыми моделями в зависимости от метода выравнивания ресурсов:

Категория сравнения Критерий выравнивания Средняя разница в точности Вывод
Category A Однократный проход (Greedy) Отрицательная (в целом) Мультиагентность не дает преимущества перед простым проходом.
Category B Количество выборок (Samples) -0.042 При равном количестве сэмплирований агенты проигрывают.
Category C Бюджет ресурсов (Compute) Отрицательная При равном вычислительном бюджине синергия не достигается.

Практическая польза для разработчиков

Авторы не просто констатируют факт, но и предоставляют инструменты для проверки. Опубликован чек-лист для рецензентов (PACE Reviewer Checklist) и утилиты для учета ресурсов (pace CLI). Это позволяет исследователям и инженерам избегать ложных выводов о «чудесной» эффективности мультиагентных подходов, если они не обеспечивают истинное разделение данных и разнообразие моделей.

Источник: arXiv cs.AI ↗