В мире физической искусственного интеллекта (Physical AI) и робототехники постоянный поиск баланса между вычислительной мощностью, эффективностью и точностью действий является одной из самых сложных задач. Традиционно крупные модели требуют огромных ресурсов, что делает их запуск на реальных роботах затруднительным или экономически нецелесообразным. Однако команда Kyutai, совместно с исследователями из Inria и École des Ponts, представила решение, которое меняет эту парадигму. Они выпустили REKI — модель «зрение-язык-действие» (Vision-Language-Action, VLA) объемом всего 2.4 миллиарда параметров, которая демонстрирует выдающиеся результаты на бенчмарках, превосходя многие аналоги, значительно превышающие её по размеру.
Ключевая инновация REKI заключается не только в её компактности, но и в уникальном подходе к обработке временной информации. В отличие от большинства современных VLA-моделей, которые принимают решения на основе исключительно текущего кадра, REKI интегрирует легковесную память о недавнем прошлом. Эта память занимает всего около 2 МБ видеопамяти GPU и добавляет к задержке всего 0.1 миллисекунды, но при этом кардинально снижает количество ошибок, связанных с «осцилляцией» поз робота. Все веса модели уже доступны на Hugging Face, что открывает новые возможности для исследователей и разработчиков в области робототехники.
01Что такое REKI и как устроена её архитектура?
REKI (Robot Efficiency via Knowledge Integration) — это модель, спроектированная для преобразования визуальных данных с камер и текстовых инструкций в конкретные действия манипулятора робота. Архитектурно она представляет собой гибрид, сочетающий в себе мощь больших языковых моделей и специализированных экспертов по действиям. Основа модели — это backbone Qwen3.5-2B, который отвечает за понимание визуального контекста и языковых команд. К нему добавляется небольшой, но эффективный «эксперт по действиям» объемом 200 миллионов параметров.
Этот эксперт по действиям использует метод flow matching для генерации «чунков» (кусков) действий. Процесс генерации разбит на 10 шагов Эйлера, что позволяет плавно и точно вычислять траекторию движения. Важно отметить, как именно обрабатываются данные о состоянии робота: они вводятся через адаптивную нормализацию RMSNorm, а для каждого конкретного layout (расположения) состояния робота используется свой собственный небольшой многослойный перцептрон (MLP). Такой подход позволяет модели гибко адаптироваться к различным конфигурациям манипуляторов без необходимости переобучения всей сети.
02Революция в памяти: как REKI помнит прошлое
Одной из самых больших проблем в робототехнике является проблема «перцептивного алиасинга» (perceptual aliasing). Это ситуация, когда текущий визуальный кадр может выглядеть идентично предыдущему, но контекст действия уже изменился. Большинство VLA-моделей действуют «здесь и сейчас», игнорируя историю. Попытки добавить память в другие модели часто приводят к увеличению вычислительной нагрузки, необходимости разворачивания обучения (unroll training) или добавлению громоздких модулей, что замедляет работу системы.
REKI предлагает элегантное решение: память интегрирована непосредственно в эксперта по действиям. Перед тем как токены действия текущего кадра будут обработаны, к ним добавляются 32 обученных «регистрационных токена» (register tokens). Эти токены выполняют две важные функции: они кросс-внимательно (cross-attend) анализируют закодированные промпты и виды текущего кадра, а также само-внимательно (self-attend) анализируют регистры предыдущих кадров.
Ключевое преимущество такого подхода — изоляция. Регистрационные токены никогда не читают токены действий. Это означает, что они зависят только от наблюдений (визуальных данных), а не от времени потока или текущего состояния робота. Они вычисляются один раз за кадр и кэшируются в скользящем окне. Стоимость этого процесса минимальна: чтение закэшированных регистров добавляет всего 0.1 мс к общему времени вычисления чанка (которое составляет 21.8 мс на NVIDIA H100). При этом кэш использует около 2 МБ памяти GPU на каждый прошлый кадр.
Почему это важно: борьба с осцилляцией
Без такой памяти роботы часто сталкиваются с проблемой осцилляции — они застревают в цикле, переключаясь между двумя позами, пытаясь выполнить задачу. Это особенно заметно в симуляциях и реальных тестах. В тестах на RoboTwin наличие памяти REKI снизило долю эпизодов с осцилляцией с 18.6% до всего 4.1%. Исследователи связывают это с тем, что память позволяет модели различать ситуации, которые визуально кажутся одинаковыми, но требуют разных действий.
03Производительность: сравнение с лидерами рынка
REKI была предварительно обучена исключительно на публичных данных, что делает её результаты еще более впечатляющими, так как многие конкуренты используют закрытые наборы данных с собственных роботов. После предварительного обучения модель дообучалась (fine-tune) отдельно для каждого бенчмарка. Давайте посмотрим на цифры.
На бенчмарке LIBERO-Plus REKI показала результат 90.4%, что является лучшим показателем среди всех моделей, предварительно обученных на публичных данных. Для сравнения, Qwen-RobotManip набрал 89.0%, а π0.5 от Physical Intelligence — 85.7%. На RoboTwin Clean2Rand REKI показала 65.8%, уступив лишь Qwen-RobotManip (68.5%), но значительно опередив π0.5 (63.8%).
На более сложном бенчмарке RoboCasa365 REKI набрала 38.4%. Хотя этот результат выглядит скромнее по сравнению с Xiaomi-Robotics-1 (57.4%), он все же выше, чем у RLDX-1 (36.0%) и Qwen-RobotManip (35.9%). Стоит также отметить, что на стандартном LIBERO (4 набора задач) REKI достигла впечатляющих 97.6%, а на RoboTwin 2.0 (Easy/Hard) — 85.9% / 84.6% соответственно.
Влияние предварительного обучения и памяти
Предварительное обучение на публичных данных дает наибольший прирост в производительности в условиях «вне распределения» (out-of-distribution). Оно добавляет 13.8 балла на Clean2Rand и 30.3 балла в условиях загромождения (under clutter). Сама память добавляет 1.5 балла на LIBERO-Plus и 5.4 балла на RoboCasa365, что подтверждает её практическую ценность.
04Сравнительный анализ: REKI против конкурентов
Чтобы понять место REKI в экосистеме, рассмотрим сравнительную таблицу с другими ведущими VLA-моделями. REKI имеет общий размер 2.4B параметров, что значительно меньше, чем у Kyutai (4.7B), Qwen-RobotManip (3.3B) или ABot-M0 (4.6B).
В таблице ниже приведены ключевые характеристики:
- REKI: 2.4B, Qwen3.5-2B, только публичные данные, память (32 регистра, 3 кадра), 21.8 мс задержки на H100.
- Kyutai (конкурентная модель): 4.7B, Qwen3.5-4B, открытые источники + человеческие видео, вариант in-context, задержка не раскрыта.
- Qwen-RobotManip: 3.3B, Qwen3.5-4B, открытые источники + человеческие видео, нет памяти, задержка не раскрыта.
- π0.5: 3.3B, Gemma-based, включает собственные данные роботов, нет памяти, 33.8 мс задержки.
- ABot-M0: 4.6B, не раскрыто, открытые источники (UniACT), нет памяти, 46.1 мс задержки.
Как видно, REKI предлагает лучший баланс между размером модели, скоростью инференса и качеством выполнения задач, особенно учитывая, что она использует только публичные данные для предварительного обучения. Лицензия на веса REKI — CC BY-NC-SA 4.0, что означает открытость для некоммерческого использования.
05Данные для обучения: откуда взялось знание?
Качество модели напрямую зависит от качества данных. Смесь данных для обучения REKI включает 1.0 миллиарда кадров и 12.2 миллиона образцов «зрение-язык». Источники данных разнообразны и включают как симуляции, так и реальные данные:
- Реальные роботы (телеоперация): 639.8 миллионов кадров. Это самый большой источник, обеспечивающий реалистичность движений.
- Симуляция: 193.9 миллионов кадров. Позволяет генерировать разнообразные сценарии.
- Видео от первого лица (egocentric human video): 170.9 миллионов кадров. Помогает модели понять человеческие паттерны действий.
В датасеты вошли такие известные наборы, как DROID, BridgeData V2, AgiBot World, EgoDex и EgoVerse. Предварительное обучение заняло 200,000 шагов на 32 GPU NVIDIA H100. Примечательно, что Kyutai сохранила нативные соглашения об управлении (control conventions) каждого набора данных, не преобразуя действия в единый формат. Это позволяет модели сохранять специфику каждого источника данных.
06Развертывание: как запустить REKI на своем роботе
Для разработчиков, желающих интегрировать REKI в свои проекты, доступна шесть контрольных точек (checkpoints): базовая предварительно обученная модель, а также дообученные версии для LIBERO, RoboTwin (два варианта), RoboCasa365 и RoboCasa-GR1. Для развертывания на реальных роботах используется протокол gRPC async-inference из библиотеки LeRobot.
На реальном манипуляторе UR5 REKI была дообучена всего за 3000 шагов (около 1 часа) на 50 демонстрациях для каждой задачи. Это говорит о высокой способности модели к быстрой адаптации (few-shot learning). Ниже приведен пример кода на Python для инициализации и использования модели:
from reki import RekiPolicy
policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset() # очищает кэш регистров в начале эпизода
actions = policy.predict(
images={
"camera_top": img0,
"camera_wrist_left": img1
},
state=proprio,
task="put the bowl on the plate"
)07Что это значит на практике
Появление REKI знаменует собой важный шаг в democratization (демократизации) передовой робототехники. До сих пор создание эффективных VLA-моделей требовало либо огромных вычислительных ресурсов, либо доступа к закрытым корпоративным данным. REKI доказывает, что можно достичь state-of-the-art результатов, используя только публичные данные и компактную архитектуру с умной интеграцией памяти.
Для исследователей и инженеров это означает возможность запускать мощные модели управления роботами на более доступном оборудовании. Задержка в 21.8 мс на H100 позволяет модели работать в реальном времени, а использование памяти через регистрационные токены решает одну из самых старых проблем робототехники — нестабильность движений. Хотя модель имеет лицензию CC BY-NC-SA (некоммерческая), её открытость стимулирует академические исследования и прототипирование. В будущем мы можем увидеть коммерческие версии или адаптации, использующие эти принципы для создания более доступных и умных роботизированных систем для дома, промышленности и логистики.
REKI — это не просто еще одна модель, это демонстрация того, как архитектурные инновации (память в эксперте по действиям) и эффективное использование данных могут превзойти просто «большие» модели. Это вдохновляет на дальнейшие исследования в области эффективного AI для физической среды.
Источник: MarkTechPost ↗