Эксперимент Civ50: от амбиций к бюрократии
Исследователи из Y Combinator и Olam Labs использовали Minecraft как полигон для тестирования многоагентных систем. Цель — понять, как AI-рои ведут себя в условиях сотрудничества и конфликта, чтобы избежать ошибок, подобных инциденту с OpenAI-Hugging Face, или повторить успех тысяч агентов, решивших математические задачи.
В первом тесте 50 агентов GPT-6.1 Sol должны были построить цивилизацию за 3 часа. Результат оказался неоднозначным: после первой ночи, когда зомби убили большую часть колонии, выжившие перешли к осторожному выживанию. Главная проблема — парализующая бюрократия. Агенты тратили ресурсы на бесконечные обсуждения ролей. Яркий пример: четыре агента потратили 11 минут на назначение «единственного оператора удобрений» для одного блока пшеницы. Поведение исследователи сравнили с проблемами, возникающими при работе с кодовыми агентами.
Столетие моделей: GPT-6.1 Sol против Claude Opus 5.5
Во второй фазе исследователи устроили прямое противостояние. В режиме Bed Wars сошлись команды по 10 агентов: 10 GPT-6.1 Sol против 10 Claude Opus 5.5. В режиме RTS-стратегии Mindustry (7 игр) GPT-агенты одержали победу в 6 матчах.
Ключевые различия в поведении:
- GPT-6.1 Sol: Действовали как единый рой (hive mind). Были агрессивнее, изобретательнее и быстрее находили обходные пути при технических сбоях (например, при поломке инструмента для добычи блоков).
- Claude Opus 5.5: Выбрали оборонительную тактику. При возникновении ошибки некоторые агенты пришли к выводу, что задача невыполнима, вместо поиска решений. Принимали решения демократично, но с одним лидером, что замедляло реакцию.
Сводная таблица результатов
| Характеристика | GPT-6.1 Sol (Y Combinator/Olam Labs) | Claude Opus 5.5 |
|---|---|---|
| Тактика в Bed Wars | Агрессивная, сложные стратегии | Оборонительная, пассивная |
| Реакция на баги | Диагностика и поиск обходных путей | Завершение работы с выводом о невозможности |
| Структура принятия решений | Коллективный разум (Hive mind) | Демократия с одним лидером |
| Результат в Mindustry | Победа (6 из 7 игр) | Поражение |
| Проблема в Civ50 | Бюрократия и бесконечные совещания | Информация недостаточна (не участвовали в этом тесте) |
Почему это важно
Исследование показывает, что масштабирование AI-агентов не гарантирует эффективности. Без правильной архитектуры взаимодействия рой может превратиться в бюрократический аппарат, тратящий вычислительные ресурсы на бессмысленные согласования. Коды экспериментов (на базе Mindcraft и Mineflayer) открыты, что позволяет разработчикам тестировать гибридные модели и оптимизировать коммуникацию между агентами для реальных задач.
Источник: Tom's Hardware ↗