В мире робототехники существует фундаментальная проблема: как понять, что именно научился делать робот, и почему он терпит неудачу? Современные демонстрации часто показывают, как роботы складывают белье или сортируют детали, но эти сценарии слишком узки и сложны для глубокого научного анализа. Ученые, изучающие сложные системы, обычно начинают с малых, контролируемых сред, таких как чашки Петри или террариумы, где можно варьировать условия и наблюдать за эффектами. Робототехника остро нуждается в аналогичных «лабораториях» — средах, которые позволяют исследователям изменять данные обучения, перестраивать архитектуру моделей и точно отслеживать причины сбоев.
Сегодня команда Allen Institute for AI (Ai2) представляет прорывное решение — фреймворк ToyBlocks. Это первая в серии так называемых FoundationWorlds (фундаментальных миров). ToyBlocks — это открытая симуляционная среда, построенная вокруг роботизированной руки и набора кубиков на столе. Несмотря на кажущуюся простоту, эта среда требует от робота сложного пространственного мышления: он должен понимать, как взаимодействуют кубики, как их можно толкать, переворачивать и складывать, чтобы выполнить поставленную задачу. Это не просто игра, а мощный инструмент для изучения того, как модели улучшаются по мере поступления данных и как лучше сочетать высокоуровневое рассуждение с точным физическим контролем.
01Философия ToyBlocks: Контроль и масштабируемость
ToyBlocks разработан с учетом четырех ключевых требований, которые отличают его от традиционных симуляторов. Во-первых, это реалистичная физика и визуальное сходство с реальным миром. Во-вторых, автоматическая генерация задач и демонстраций в масштабе. В-третьих, задачи, сочетающие логическое мышление с ловкостью. И в-четвертых, широкое покрытие возможных действий в рамках заданной домены.
Открытые домены требуют моделирования бесконечного множества объектов и взаимодействий, что делает выполнение всех этих требований невозможным. ToyBlocks же намеренно сужает область исследования, позволяя исследователям сосредоточиться на качестве данных и точности моделей. В этой ограниченной среде роботы учатся выполнять любые разумные задачи, а исследователи могут быть уверены, что поведение симулированной руки и кубиков максимально близко к их физическим аналогам.
Важно понимать, что ToyBlocks — это не просто «хватание и складывание». На гранях кубиков изображены буквы и цифры, что позволяет создавать задачи на поиск, сортировку и упорядочивание. Робот может быть вынужден перевернуть кубик, чтобы увидеть скрытую букву, прежде чем решить, куда его поместить. Кроме того, применяется domain randomization (рандомизация домена): размер кубиков, высота стола и другие физические параметры меняются от сцены к сцене. Это проверяет, насколько хорошо модели обобщают знания при изменении геометрии и условий.
02Как работает генерация данных: От RL к TAMP
Одной из главных проблем робототехники является нехватка качественных данных для обучения. Обычно для этого требуется телеоперация — ручное управление роботом человеком, что крайне трудоемко. ToyBlocks решает эту проблему через автоматическую генерацию навыков (skills) и демонстраций.
Процесс начинается с обучения низкоуровневых политик (low-level policies) с помощью обучения с подкреплением (Reinforcement Learning, RL) и планирования движений. Эти навыки используются для коротких задач, таких как толкание кубика по столу или его переворот без захвата. Обучение происходит в Isaac Lab — открытой фреймворке от Nvidia для робототехнического обучения. Используя привилегированную информацию (privileged information), которую симулятор предоставляет напрямую (например, точные координаты и ориентацию кубика), модели учатся выполнять задачи, которые в реальном мире потребовали бы месяцев ручной настройки.
Для создания полноценных демонстраций используется планировщик задач и движений (Task-and-Motion Planner, TAMP). Этот компонент автоматически выбирает и последовательно выполняет необходимые навыки, планируя движения руки между ними. Запуск этих планов в симуляции создает датасет записанных демонстраций с метками, описывающими выполненную задачу. Система масштабируется за счет параллельного выполнения сотен планов на одном GPU, достигая скорости до 24 раз быстрее реального времени.
03Архитектура «Два мозга»: Высокий уровень против Низкого уровня
ToyBlocks поддерживает иерархическую архитектуру управления, которая разделяет задачи на два уровня:
- Высокоуровневое рассуждение (High-level reasoning): Модели, такие как Vision-Language Models (VLM), например, Molmo 2. Они принимают визуальные наблюдения и текстовые инструкции, решают, что нужно сделать, и выбирают соответствующий навык (например, «перевернуть кубик А»).
- Низкоуровневое действие (Low-level action): Модели, такие как ManiFlow или π0.5. Они получают команду от высокоуровневой модели и управляют моторами робота, преобразуя абстрактные инструкции в физические движения.
Такая разделение позволяет изолировать ошибки. Если робот не справился с задачей, исследователи могут определить, произошел ли сбой на этапе планирования (робот выбрал неверный путь) или на этапе исполнения (робот не смог физически выполнить команду). В ToyBlocks даже созданы «оракулы» — эталонные компоненты, которые знают правильный план действий, что позволяет точно измерять отклонения модели от идеала.
04Исследование пространственного обобщения (Spatial Generalization)
Один из самых сложных вопросов в робототехнике: может ли модель, обученная на одних данных, работать в совершенно новых условиях? В контексте Vision-Language-Action (VLA) моделей это особенно актуально. Некоторые исследования утверждают, что такие модели хрупки к изменениям освещения или расположения объектов, другие же показывают их высокую адаптивность. ToyBlocks позволяет провести строгие тесты на обобщение.
Исследователи проводят тесты на интерполяцию (новые конфигурации в пределах обучающего диапазона) и экстраполяцию (конфигурации за пределами диапазона). Например, модель обучается на сценариях, где объекты появляются только в левой части стола (зеленая зона), а тестируется на правой части (оранжевая зона). Или же модель обучается на башнях высотой 2 и 5 блоков, а тестируется на башнях высотой 3 и 4 блока.
Результаты первых исследований с использованием ManiFlow, π0.5 и MolmoAct 2 показали, что, несмотря на масштабное предварительное обучение, популярные модели действий плохо обобщаются в начальных условиях. Однако использование техник дообучения, таких как LoRA (Low-Rank Adaptation), значительно улучшило результаты. Это доказывает, что ToyBlocks является ценным полигоном для систематического поиска решений проблем обобщения.
05Высокоуровневое планирование и агенты на базе LLM
ToyBlocks также используется для тестирования способности больших языковых моделей (LLM) к долгосрочному планированию. Задача может быть сформулирована как «Собери слово Ai2 из кубиков». Поскольку буквы могут быть скрыты, агент должен сначала выполнить действия для раскрытия информации, а затем спланировать и выполнить последовательность складывания.
В экспериментах с иерархическими моделями (Molmo 2 в качестве планировщика и ManiFlow в качестве исполнителя) оценивалась способность модели справляться с тремя уровнями сложности: от простых кубиков, ориентированных лицом к камере, до кубиков, которые изначально скрыты или перевернуты. Результаты показали, что комбинация VLM и специализированных низкоуровневых политик эффективна, но требует тонкой настройки для достижения высокой точности.
Отдельного внимания заслуживают эксперименты с агентами на базе передовых моделей, таких как Claude Opus 5.5. В сценарии «поиск и написание» агент получает доступ к навыкам ToyBlocks через Model Context Protocol (MCP). Агент видит сцену через камеры, вызывает навыки (захват, переворот, поворот), указывая на пиксели, и решает, когда задача выполнена или невозможна.
Интересный результат: когда 50% сцен были заведомо невыполнимыми (не хватало нужных букв), агент смог правильно решить задачу или объявить её невозможной в 63% случаев. Ошибки чаще всего возникали из-за путаницы похожих букв или неверной ориентации. Однако, когда в сцене присутствовали семантические закономерности (например, стандартные шрифты), агент использовал их для умозаключений о скрытых гранях, что значительно ускоряло процесс.
06Робот как ученый: Экспериментирование агентов
Самый передовой аспект ToyBlocks — возможность обучения агентов методу научного исследования. В одном из экспериментов агент, столкнувшись с неожиданным поведением навыка, не просто повторяет ошибку, а формирует гипотезу, проводит контролируемый тест и пересматривает свое понимание мира.
Например, агент мог предположить, что «захват» автоматически выравнивает ориентацию кубика, или же что «yaw» (поворот вокруг вертикальной оси) захвата направлен радиально от базы робота. Агент запускал серию коротких тестов, чтобы проверить эти гипотезы, и на основе результатов корректировал свои дальнейшие действия. Это открывает путь к созданию автономных систем, которые способны к самообучению через активное исследование среды, а не просто через пассивное потребление данных.
07Доступность и локальный запуск
Для российских исследователей и разработчиков ToyBlocks представляет особый интерес. Как открытый фреймворк, он позволяет запускать эксперименты локально, без зависимости от облачных сервисов, которые могут быть недоступны или ограничены. Использование стандартных протоколов, таких как MCP, и интеграция с популярными фреймворками (Isaac Lab) делают его совместимым с существующими стеками технологий. Локальный запуск симуляций на мощных GPU позволяет генерировать терабайты данных для обучения моделей, что ранее было доступно только крупным корпорациям.
Кроме того, наличие веб-интерфейса, позволяющего управлять роботом через естественный язык (например, подключив Claude или другую модель), дает возможность даже специалистам без глубоких знаний робототехники экспериментировать с планированием и действиями агентов. Это демократизирует доступ к передовым исследованиям в области робототехнического ИИ.
08Что это значит на практике
Внедрение ToyBlocks знаменует собой переход от «черного ящика» в робототехнике к прозрачной, измеримой науке. Для практиков это означает:
- Ускорение разработки: Автоматическая генерация данных сокращает время подготовки датасетов с месяцев до часов.
- Понимание ошибок: Разделение на высокоуровневое планирование и низкоуровневое исполнение позволяет быстро находить узкие места в архитектуре модели.
- Надежное обобщение: Инструменты для тестирования пространственного обобщения помогают создавать роботов, которые работают в реальных, непредсказуемых условиях, а не только в идеализированных симуляциях.
- Автономность: Возможность обучения агентов через эксперименты открывает путь к созданию роботов, способных адаптироваться к новым объектам и задачам без переобучения.
ToyBlocks — это не просто еще один симулятор. Это фундаментальная платформа, которая позволяет нам задавать правильные вопросы роботам и получать на них точные ответы. В эпоху, когда ИИ становится все более интегрированным в физический мир, такие инструменты контроля и понимания станут критически важными для безопасного и эффективного внедрения робототехники в нашу жизнь.
Источник: Hugging Face ↗