От сигналов к структуре: суть эксперимента
Исследователи Yashar Talebirad, Eden Redman, Ali Parsaee и Osmar R. Zaiane провели серию экспериментов в рамках игры Льюиса (Lewis signaling game), где два агента на базе больших языковых моделей (LLM) должны были с нуля выработать общий язык для координации. Ключевой вопрос заключался в том, что важнее для эволюции коммуникации: пропускная способность канала связи или архитектура памяти агентов.
Битва архитектур: «Блокнот» против «Стеклянного окна»
Авторы протестировали пять различных архитектур памяти. Главный вывод: агенты с персистентной внешней памятью (условным «блокнотом») демонстрируют значительно более высокую надежность координации. В то время как агенты без памяти (stateless) сталкиваются с «коллапсом» при высокой пропускной способности — их контекстное окно переполняется, и они теряют способность отслеживать словарь.
Агенты с «блокнотом» используют избыточную пропускную способность канала для закрепления конвенций, вынося их из временного контекста в постоянное хранилище. Это позволяет им не изобретать код заново в каждом раунде.
Цифры и метрики
Результаты экспериментов четко показывают преимущество архитектуры с внешней памятью. Ниже приведено сравнение ключевых показателей надежности координации (coordination score) в зависимости от типа памяти и пропускной способности канала (capacity).
| Архитектура памяти | Пропускная способность канала (Capacity) | Результат координации (Score) | Наблюдение |
|---|---|---|---|
| Stateless (без памяти) | Умеренная | Пик эффективности | Деградация при росте словаря |
| Stateless (без памяти) | Высокая | Низкий (Коллапс) | Невозможно отследить весь словарь |
| С внешним блокнотом | 25 (Избыточная) | 0.867 ± 0.023 | Наиболее надежная координация |
| С внешним блокнотом | 8 (Узкое горлышко) | Низкий (Хрупкость) | Недостаточно для стабильности |
Почему «узкое горлышко» — это ловушка
Теория информации подсказывала, что оптимальная пропускная способность должна равняться количеству объектов (в данном случае 8). Однако на практике конфигурация с capacity = 8 стала точкой хрупкости (fragility point). Избыточная пропускная способность канала в сочетании с внешней памятью оказалась гораздо эффективнее. Память позволяет агентам конвертировать историю взаимодействий в стабильные конвенции, чего нельзя достичь только за счет увеличения канала связи.
Вывод для индустрии
Работа подчеркивает, что для создания надежных мультиагентных систем (Multiagent Systems) недостаточно просто увеличивать контекстное окно или пропускную способность. Архитектура памяти, позволяющая сохранять и использовать выученные паттерны вне текущего раунда, является фундаментальным драйвером для возникновения структурированной коммуникации и языка у ИИ-агентов.
Источник: arXiv cs.AI ↗