Прорыв в автономных агентах для Minecraft
Лаборатория Player-1 (Github: player-1-project) представила обновленную версию своей системы MineDojo-300. Это не просто чат-бот, а автономный агент, способный исследовать мир Minecraft, добывать ресурсы и строить конструкции без постоянного вмешательства человека. Ключевое достижение — значительный скачок в эффективности после применения методов обучения с подкреплением (Reinforcement Learning, RL).
Цифры и метрики эффективности
Исследователи протестировали две базовые архитектуры моделей: 9B (9 миллиардов параметров) и 35B-A3B (35 миллиардов параметров с активными 3 миллиардами). Результаты показывают, что этап SFT (Supervised Fine-Tuning) дает лишь базовые навыки, тогда как RL-дообучение превращает модель в полноценного игрока.
Ниже приведены результаты тестирования на задаче «Task success» (успешное выполнение поставленной задачи):
| Модель | Базовая (Base) | Дообучение (SFT) | Обучение с подкреплением (RL) |
|---|---|---|---|
| 9B | 9.21% | 10.54% | 38.33% |
| 35B-A3B | 7.79% | 23.38% | 41.04% |
Почему это важно
- Масштабируемость: Модель 35B-A3B демонстрирует наивысшую точность (41.04%), что подтверждает эффективность архитектуры с активными параметрами для сложных пространственных задач.
- Качество RL: Прирост точности с этапа SFT до RL составляет более 17-30 процентных пунктов. Это доказывает, что для игр с открытым миром критически важно не просто знание инструкций, а способность к стратегическому планированию через взаимодействие со средой.
- Открытый код: Проект доступен на GitHub, что позволяет сообществу исследователей ИИ дорабатывать агентов для других симуляций и игр.
Развитие таких моделей открывает путь к созданию ИИ, способного не только играть, но и помогать в разработке игр, тестировании балансов и создании процедурного контента.
Источник: Github ↗