Проблема масштабируемости LLM-симуляций
Симуляция обществ, состоящих из множества агентов на базе больших языковых моделей (LLM), традиционно требует огромных вычислительных ресурсов. Однако большинство исследований интересует не когнитивные процессы отдельного агента, а макроскопические явления: фазовые переходы, стилизованные факты и масштабирование системы в зависимости от числа агентов N. Автор предлагает решение, основанное на принципах статистической физики: замена каждого LLM-агента на легковесную модель с малым числом параметров.
Методология: от LLM к суррогату
Ключевая идея заключается в том, чтобы обучить суррогатную модель на основе нескольких сотен или тысяч дешевых запросов к оригинальному LLM. Это позволяет запускать симуляцию с любым числом агентов N на стандартном ноутбуке. Работоспособность метода зависит от того, как агент воспринимает окружение. Введение таксономии [порядок взаимодействия × память] позволяет сопоставить восприятие и память с эффективной теорией и предсказать тренд ошибки суррогата в зависимости от N.
Валидация на EconAgent и других симуляциях
Метод был протестирован на верной реимплементации макросоциальной модели EconAgent и еще семи известных LLM-симуляциях. Решения агентов клонировались из реальных эlicitаций (в основном через DeepSeek), что стоило всего несколько долларов. Предсказанные тренды ошибок подтвердились для каждой ячейки данных. Два опровергнутых предсказания, связанные с сильным насыщением ответа, были количественно объяснены теорией без подгонки параметров, что указывает на влияние кривизны отклика.
Сравнение подходов
| Характеристика | Традиционный подход (Native LLM) | Poor Man's Agentic Modeling |
|---|---|---|
| Вычислительная платформа | Кластеры GPU / Облачные сервисы | Обычный ноутбук |
| Стоимость симуляции | Высокая (десятки/сотни долларов за запуск) | Низкая (несколько долларов) |
| Масштабируемость (N) | Ограничена бюджетом и временем | Высокая (любой N) |
| Фокус исследования | Часто детализация действий | Макроскопические фазовые переходы |
Значение для индустрии
Данный подход демократизирует исследование агентных систем. Исследователи и разработчики теперь могут проводить масштабные эксперименты по моделированию социальных взаимодействий, экономических рынков или коллективного поведения без необходимости доступа к дорогостоящей инфраструктуре. Код и данные для воспроизведения результатов доступны в открытом доступе, что способствует дальнейшему развитию области multi-agent systems.
Источник: arXiv cs.AI ↗