Скрытая модель мира в PPO
Традиционно считается, что алгоритмы Model-Free Reinforcement Learning (безмодельное обучение с подкреплением) не строят внутреннего представления об окружающей среде. Однако новое исследование, опубликованное в arXiv (2026), ставит это под сомнение. Авторы применили метод контрфактических интервенций (counterfactual interventions) к агенту на базе Proximal Policy Optimization (PPO), обученному в среде Crafter. Суть метода: фиксируется всё состояние агента, кроме одного целевого параметра, чтобы изолировать влияние конкретного фактора на функцию ценности (value function).
Что именно «понял» агент?
Несмотря на то, что агент обучался исключительно на максимизации награды, визуализация функции ценности выявила наличие сложных концептуальных знаний. Агент не просто реагировал на стимулы, а демонстрировал понимание правил среды. Ключевые обнаруженные паттерны:
- Логика сбора ресурсов: Агент различал, когда алмаз является «собираемым» (collectible), а когда нет, основываясь на контексте.
- Биологические потребности: Четко прослеживалась зависимость функции ценности от уровня здоровья, которое напрямую влияли такие факторы, как вода и еда.
- Управление инвентарем: Обнаружены эвристики, связанные с хранением и использованием предметов в инвентаре.
Методология и результаты
Исследование опирается на анализ 15 рисунков и 3 таблиц, демонстрирующих, как изменение одного параметра состояния влияет на предсказанную будущую награду. Это позволяет «заглянуть» в черную коробку RL-агента и увидеть, какие причинно-следственные связи он выучил.
| Аспект среды | Обнаруженная концепция в Value Function | Значение для AI |
|---|---|---|
| Ресурсы (Алмаз) | Условная доступность (collectibility) | Агент понимает правила, а не только награду |
| Выживание (Вода/Еда) | Влияние на здоровье (Health impact) | Внутренняя модель физиологии агента |
| Инвентарь | Эвристики хранения и использования | Планирование действий на основе состояния |
Почему это важно?
Результаты имеют прямое отношение к безопасности ИИ (AI Safety). Если безмодельные агенты действительно формируют сложные внутренние модели мира, это открывает путь к более прозрачной интерпретации их поведения. Однако авторы также отмечают ограничения: текущие агенты RL все еще не способны к построению по-настоящему продвинутого машинного интеллекта, так как их «модель» остается привязанной к узкой цели оптимизации награды, а не к общему пониманию физики мира.
Источник: arXiv cs.AI ↗