Проблема «черного ящика» в RL
Объяснимое обучение с подкреплением (XRL) критически важно для безопасных систем, но ранее опиралось на субъективные пользовательские исследования. Логические подходы (XAI) дают читаемые правила, но не позволяли количественно оценить их объяснимость. Авторы из Университета Падуи (Celeste Veronese, Edoardo Zorzi, Daniele Meli, Alessandro Farinelli) предлагают системный подход к этой проблеме.
Методология: ILP как мост
Используя индуктивное логическое программирование (ILP), команда извлекает символьные представления политик RL. Это позволяет перевести действия нейросетей в логические правила, которые можно анализировать объективно. Исследование фокусируется на четырех ключевых метриках:
- Activation Rate: частота срабатывания правил.
- Feature Coverage: охват признаков в принятии решений.
- Syntactic Distance: синтаксическое расстояние между правилами.
- Semantic Distance: семантическое соответствие действий агента правилам.
Результаты и метрики
Эксперименты показали, что новые метрики выявляют динамику обучения, невидимую через глобальную награду (return). Они позволяют отслеживать координацию в многоагентных системах (MARL) и специализацию агентов.
| Метрика | Что измеряет | Значение для XRL |
|---|---|---|
| Activation Rate | Частота использования правила | Оценка значимости стратегии |
| Feature Coverage | Доля признаков в решениях | Понимание зависимости от окружения |
| Syntactic Distance | Сложность правил | Баланс между точностью и читаемостью |
| Semantic Distance | Совпадение логики и действий | Верификация корректности политики |
Практическая польза
Предложенный фреймворк позволяет не только объяснять прошлые действия агента, но и прогнозировать его поведение при переносе (transfer learning) и обобщении (generalization). Это открывает путь к созданию доверенных автономных систем, где решения можно верифицировать до их применения в реальном мире.
Источник: arXiv cs.AI ↗