Масштабный эксперимент: 120 конфигураций и 1600 часов данных
Команда исследователей во главе с Кванем Чжаном (Kuan Zhang) провела контролируемое исследование, чтобы понять, работают ли принципы масштабирования данных и мощности моделей, доказанные для физических сред, в виртуальных мирах с разной физикой, графикой и целями. В эксперименте использовались модели размером от 0.8B до 27B параметров, объемы данных от 50 до 1,600 часов геймплея и пять различных смесей данных — от исключительно Minecraft до разнородных корпусов из нескольких игр.
Ключевые выводы: данные, разнообразие и размер модели
Результаты выявили четкие закономерности в эффективности обучения. Увеличение объема данных улучшает производительность в знакомых мирах, а разнообразие данных помогает переносить навыки в похожие среды. Однако размер модели имеет двойственный эффект: большие модели эффективнее используют данные, но при обучении на одном мире хуже обобщаются на далекие среды. Исследователи также выделили две фазы обучения: раннюю (интерфейсную) с широкими кросс-мировыми выгодами и позднюю (мировую), где улучшения ограничиваются конкретными средами.
Сравнение производительности моделей
Модели, прошедшие дообучение, показали конкурентоспособные результаты по сравнению со специализированными агентами для Minecraft и передовыми моделями в 3D-мирах, особенно в условиях реального времени. Ниже приведена сводка параметров и результатов исследования:
| Параметр | Диапазон / Тип | Влияние на результат |
|---|---|---|
| Размер модели | 0.8B – 27B параметров | Улучшает эффективность данных, но снижает обобщение на «далекие» миры при обучении на одном источнике |
| Объем данных | 50 – 1,600 часов | Прямая корреляция с улучшением производительности в обучающих мирах (in-corpus) |
| Разнообразие данных | Minecraft-only до Multi-world | Помогает переносу навыков в похожие миры, но дает ограниченный прирост в далеких средах |
| Фаза обучения | Интерфейсная → Мировая | Ранняя фаза дает кросс-мировые выгоды, поздняя сужает фокус до конкретных сред |
Пределы имитации и будущее генералистов
Несмотря на успехи, авторы отмечают, что текущие методы дообучения имеют пределы. Персистентные разрывы в производительности на «далеких» мирах и ограничения имитационного обучения указывают на то, что для создания по-настоящему универсальных (generalist) воплощенных агентов необходимы более богатые этапы подготовки, выходящие за рамки простого continued pre-training. Исследование публикуется на arXiv (2610.28698) и доступно для ознакомления на странице проекта.
Источник: arXiv cs.AI ↗