Проблема «черного ящика» в робототехнике
Роботы учатся складывать белье и сортировать детали, но исследователям сложно понять, почему модель работает или терпит неудачу. Allen AI представляет ToyBlocks — первую в серии FoundationWorlds контролируемую симуляцию. Это не просто игра с кубиками, а научный инструмент, позволяющий изолировать переменные: менять данные, архитектуру моделей и отслеживать причины сбоев с точностью, недоступной в реальном мире.
Как работает генерация данных
Ключевое отличие ToyBlocks — отказ от телеоперации (удаленного управления человеком). Система использует комбинацию reinforcement learning (RL) и motion planning в базе Nvidia Isaac Lab для автоматического создания навыков (skills). Робот учится толкать, переворачивать и складывать блоки, используя привилегированную информацию симулятора (точные координаты), что невозможно в реальности, но ускоряет обучение.
Планировщик задач (TAMP) собирает эти навыки в цепочки, создавая датасеты. Генерация масштабируется за счет параллельного выполнения сотен планов на одном GPU, достигая скорости до 24x быстрее реального времени.
Архитектура и модели
Система работает по принципу разделения ответственности:
- Высокоуровневое планирование: Модель Molmo 2 (или Claude через интерфейс) принимает текстовые команды и выбирает навыки (например, «повернуть блок» или «взять желтый куб»).
- Низкоуровневое управление: Модель ManiFlow (VLA) преобразует визуальные наблюдения в физические действия, компенсируя шум сенсоров.
Метрики и возможности
ToyBlocks позволяет исследователям варьировать доменную рандомизацию (размер блоков, высота стола, освещение) и оценивать не только успех задачи, но и:
- Скорость выполнения;
- Приложенные усилия (силы);
- Прогресс задачи в соответствии со спецификациями планировщика.
Значение для индустрии
ToyBlocks решает проблему «хрупкости» VLAs (Vision-Language-Action models). Исследователи могут тестировать гипотезы о том, какие именно данные (например, только перевороты или только перемещения) критичны для обобщения навыков. Это шаг к созданию роботов, способных обучаться в контролируемой среде, а затем переносить знания в реальный мир без тысяч часов ручной разметки.
Источник: Hugging Face blog ↗