EFXPLORER: Новый метод MARL для кооперативных агентов

Проблема комбинаторного взрыва в MARL

Обнаружение кооперативного поведения в многоагентном обучении с подкреплением (MARL) сталкивается с серьезными препятствиями из-за комбинаторной сложности совместных пространств состояний и действий. Традиционные методы, полагающиеся исключительно на метод проб и ошибок, часто не способны сформировать скоординированное поведение. Хотя внутренние награды (intrinsic rewards) используются для стимулирования исследования, их наивное объединение с целевыми функциями команды искажает обучающий сигнал, что приводит к снижению производительности в основной задаче.

Решение: EFXPLORER и эпиграф-формы

Авторы (Sungil Son, Hoseong Jung, Dahyun Oh, H. Jin Kim) предлагают фреймворк EFXPLORER, который максимизирует цели исследования при строгом ограничении, сохраняющем установленную производительность задачи. Ключевым нововведением является использование эпиграф-реформирования (epigraph reformulation), которое вводит адаптивные бюджеты исследования. Этот подход разделяет внутренние награды и целевые функции, регулируя исследование через выполнимость задачи. Для поощрения разнообразия и долгосрочного исследования также применяется внутренняя награда на основе расстояния преемственности (successor distance), учитывающая долгосрочные зависимости.

Эмпирические результаты

Метод был протестирован на трех основных бенчмарках: SMAX, VMAS и MPE. EFXPLORER демонстрирует превосходство над сильными базовыми моделями и способствует возникновению новых кооперативных стратегий, которые не всегда наблюдаются в стандартных подходах. Работа принята к публикации в NeurIPS 2026.

Значение для индустрии

Разделение целей исследования и выполнения задачи позволяет агентам эффективнее исследовать пространство решений без риска деградации производительности. Это особенно важно для сложных сценариев, где требуется долгосрочное планирование и координация, таких как робототехника, автономные системы и логистика.

Источник: arXiv cs.AI ↗