Проблема: от случайности к контролю
Большинство современных оценок поведения мультиагентных систем (Multiagent Systems) полагаются на наблюдение за тем, как агенты ведут себя в уже существующих средах. Это создает проблему: исследователи не могут целенаправленно спровоцировать конкретное поведение, такое как обман или кооперация, чтобы проверить надежность модели. Статья "Fig: Automated Multiagent Behavior Elicitor" (arXiv:2610.28891) предлагает решение: превратить игровые среды в программируемые тестовые стенды.
Как работает Fig
Fig — это агентная система, которая принимает описание поведения на естественном языке и выполняет следующие шаги:
- Декомпозиция: Разбивает сложное поведение на под-поведения.
- Генерация/Выбор: Создает новые социальные игры или выбирает существующие.
- Интервенции: Вносит изменения в движок игры, оппонентов, инструкции или контекст.
- Оценка: Использует механические проверки и синтетические рубрики для анализа результатов.
Ключевые метрики эффективности
Авторы протестировали систему на шести типах поведения: кооперация, эксплуатация, обман, скрытая координация, предательство и саботаж. Результаты показывают значительное улучшение способности моделей демонстрировать целевое поведение:
| Метрика | Значение | Комментарий |
|---|---|---|
| Средний процент эпизодов с попыткой целевого поведения | 45.2% | Для валидных сценариев, сгенерированных Fig |
| Прирост попыток по сравнению с контролем | +10.9% | Средний прирост для пар "игра-поведение" с доступными контрольными данными |
| Тестируемые типы поведения | 6 видов | Кооперация, эксплуатация, обман, скрытая координация, предательство, саботаж |
Почему это важно
Работа доказывает, что мультиагентные среды могут служить не просто ареной для наблюдений, а программируемыми тестовыми стендами. Это позволяет проводить намеренные, контролируемые и воспроизводимые оценки поведения ИИ. Код системы доступен для сообщества, что открывает путь к стандартизации тестирования социальной ответственности и надежности ИИ-агентов.
Источник: arXiv cs.AI ↗