В мире робототехники и искусственного интеллекта существует фундаментальная проблема, которая часто остается за кадром громких анонсов новых архитектур нейросетей. Мы живем в эпоху, когда модели визуальных языковых моделей (VLM), диффузионные политики и мир-модели демонстрируют впечатляющие результаты на бумаге. Однако их потенциал упирается в жесткий потолок: нехватку качественных, разнообразных и объемных данных реального мира. Именно данные, а не алгоритмы, становятся главным узким местом в развитии автономных роботов. Без огромных массивов записей манипуляций, выполненных людьми, даже самая совершенная архитектура останется просто набором математических формул, неспособных взаимодействовать с физическим миром.
Традиционный подход к сбору таких данных требует наличия самого робота, сложного оборудования для телеоперации и значительных временных затрат. Это создает барьер входа, который доступен лишь крупным лабораториям с богатым финансированием. Но что, если для записи демонстрации манипуляции не нужен сам робот? Что если достаточно просто человеческой руки, камеры и специального захвата? Именно этот принцип лежит в основе нового открытого проекта Grabette, разработанного командой Pollen Robotics. Это система, которая демократизирует доступ к данным для обучения роботов, позволяя любому энтузиасту или исследователю записывать задачи своими руками и автоматически преобразовывать их в готовые датасеты.
01Проблема данных в робототехнике: почему это важно?
Робототехника сталкивается с так называемой «проблемой предложения» данных. С одной стороны, у нас есть мощные архитектуры политик (policy architectures), способные обрабатывать визуальную информацию и принимать решения. С другой стороны, нам катастрофически не хватает больших, разнообразных наборов данных реальных манипуляций. Телеоперация робота для сбора таких данных — процесс дорогой и трудоемкий. Он требует наличия самого робота, сложной инфраструктуры и часто является утомительным для пользователя, если занимает часы и требует значительных логистических усилий.
Масштабирование этого процесса на широкий спектр задач и сред становится практически невозможным. Однако ключевая идея Grabette заключается в том, что вам не нужен робот, чтобы собрать данные для робота. Достаточно человеческой руки, захвата (гриппера), камеры и способа восстановления 6-степенной траектории (6-DoF) того, что делает рука. Записав демонстрацию, вы получаете данные, из которых робот может научиться. Grabette — это открытая, недорогая система для записи таких манипуляций. Вы берете устройство в руки, записываете задачу и получаете чистый, готовый к использованию датасет. Никакого робота, никакой лаборатории, никакой сложной установки для телеоперации.
02Наследие UMI и эволюция подхода
Grabette не возникла на пустом месте. Она напрямую вдохновлена проектом Universal Manipulation Interface (UMI) от Стэнфордского университета. UMI продемонстрировал работоспособность концепции: портативный захват с широкоугольной камерой, который записывает демонстрации «в дикой природе», восстанавливает траектории камеры с помощью SLAM (одновременная локализация и картографирование) и обучает зрительно-моторные политики на основе этих данных. Этот подход доказал, что рецепт работает.
Существуют и другие устройства, такие как захват MEgo от Agibot, захват DAS от Genrobot и перчатка для захвата навыков от Sunday Robotics, но многие из них являются закрытыми решениями. Цель Pollen Robotics заключалась в том, чтобы сделать процесс использования Grabette максимально простым, сведя барьер от идеи «у меня есть задача» к результату «у меня есть обученная модель» к минимуму. Grabette интегрирована в современную открытую экосистему: LeRobot для работы с датасетами, Hugging Face Hub для обмена данными и конвейер обработки, который можно запустить прямо из браузера, ничего не устанавливая.
03Знакомство с Grabette и Gripette
Grabette — это портативный захват, оснащенный всем необходимым для реконструкции демонстрации манипуляции. Он оснащен двумя камерами, каждая из которых выполняет свою уникальную задачу. Разделение этих ролей является осознанным решением: дешевая широкоугольная камера с рыбьим глазом (fisheye) предоставляет политике контекстно-насыщенное изображение, похожее на вид с запястья, в то время как камера RGBD выполняет тяжелую работу по надежному отслеживанию 6-степенной свободы (6-DoF).
Хотя Grabette записывает данные во время выполнения задач пользователем, она полагается на своего робота-собрата для выполнения движений, которые он изучил после обучения. Таким образом, знакомьтесь с Gripette — роботизированным концевым эффектором, являющимся «близнецом» Grabette. Семейство устройств имеет общую аппаратную основу:
- Grabette: портативное устройство для записи (камера + IMU + захват, стоимость компонентов ~490€).
- Gripette: моторизованный захват (камера + два сервомотора, стоимость компонентов ~120€), который замыкает контур на реальном или симулированном роботизированном манипуляторе.
04Открытость и доступность
Все компоненты Grabette являются открыт
Источник: Hugging Face ↗