GARDEN: LLM-дизайнер наград для мультиагентного обучения

Проблема ручного дизайна наград

В кооперативном мультиагентном обучении с подкреплением (MARL) успех команд роботов или автономных транспортных средств критически зависит от функции вознаграждения. Однако одного указания на конечную цель задачи недостаточно для эффективного обучения. Традиционно исследователи вручную проектируют промежуточные награды (intermediate rewards), что требует значительных усилий и должно повторяться при каждом изменении среды или состава агентов.

Решение GARDEN: Evidence Navigation

Новая архитектура GARDEN (Generalist Autonomous Reward Design Through Evidence Navigation) использует большие языковые модели (LLM) для автоматизации этого процесса. LLM генерируют код функций вознаграждения, но ключевым нововведением является механизм навигации по доказательствам (Evidence Navigation). Этот модуль анализирует траектории обучения и корректирует сгенерированные награды, устраняя ошибки, такие как «эксплуатация» (gaming the system), когда агенты находят лазейки в логике вознаграждения, не выполняя реальную задачу.

Ключевые метрики и результаты

Эксперименты показали, что GARDEN превосходит методы ручного дизайна и базовые подходы на основе LLM. Система демонстрирует устойчивость к изменениям среды и масштабируемость на различных задачах. Ниже приведено сравнение эффективности подходов:

Значение для индустрии

Автоматизация дизайна наград через GARDEN снижает порог входа для внедрения MARL в сложные реальные сценарии. Это позволяет быстрее адаптировать мультиагентные системы к новым условиям без привлечения узких специалистов по проектированию вознаграждений. Метод открывает путь к созданию более универсальных и автономных команд роботов.

Источник: arXiv cs.AI ↗