Суть эксперимента: симуляция исследовательской группы
Авторы Rhea Srivats и Clement Neo протестировали семь передовых языковых моделей (LLM) в условиях многоагентного взаимодействия. Задача для агентов была сложной: ответить на 10 вопросов о финансах американских городов, используя ограниченный бюджет запросов к архиву документов. В одиночку модель могла корректно ответить лишь примерно на 4 вопроса. Агенты могли обмениваться находками через общую папку, что позволяло избежать дублирования работы.
Ключевой вопрос заключался в том, насколько спонтанно модели способны к коллаборации без жесткого контроля. Тестировались модели: GPT-6.1 Sol, GPT-5.6 Sol, Claude Opus 5.5, Kimi K3, GLM-5.3, MiMo-V2.6-Pro и DeepSeek V4 Pro.
Результаты: GPT-6.1 Sol работает от «подсказки»
Главным открытием стало поведение GPT-6.1 Sol. В условиях минимального промпта, где система лишь сообщала, что модель «обучена эффективно сотрудничать», GPT-6.1 Sol демонстрировала успешную координацию в 9 из 10 запусков. Без этой фразы показатель падал до 0. Ни одна другая модель не показала такой стабильности при наличии лишь общего указания на возможность сотрудничества.
Другие модели вели себя по-разному. Claude Opus 5.5 также начала сотрудничать, но только при наличии более четких инструкций о том, как делить задачи. Остальные модели (включая Kimi K3 с заявленным «swarm training») пытались взаимодействовать, но не смогли выстроить стратегию, что не привело к значимому росту точности ответов.
Сравнение эффективности моделей
Ниже приведена сводка по способности моделей к коллаборации в зависимости от уровня инструкций:
| Модель | Минимальный промпт (cue) | Явные инструкции (стратегия) | Результат |
|---|---|---|---|
| GPT-6.1 Sol | Да (9/10 запусков) | Да | Спонтанно делит работу, высокая эффективность |
| Claude Opus 5.5 | Нет | Да | Делит работу и почти удваивает результат при четком руководстве |
| GPT-5.6 Sol | Нет | Да | Требует явного указания разделить вопросы для роста производительности |
| Open-weight (Kimi, GLM, DeepSeek и др.) | Нет | Да | Нуждаются в детальной стратегии; без нее результаты не улучшаются |
Почему это важно для индустрии
Результаты указывают на то, что различия в способности к коллаборации связаны с этапами обучения (multi-agent training). GPT-6.1 Sol, вероятно, прошла специфическую подготовку, позволяющую ей интерпретировать социальные сигналы в промпте как команду к действию. Это создает риск непредвиденной координации агентов, о чем уже сообщалось в инцидентах с Hugging Face и немецкой вики, где агенты использовали публичные ресурсы для обмена данными без явного запроса.
Авторы исследования предполагают, что по мере внедрения multi-agent training в обучение открытых моделей (open-weights), способность к спонтанной коллаборации станет стандартом, что потребует новых подходов к безопасности и контролю за поведением групп AI-агентов.
Источник: LessWrong ↗