Архитектура и инновация памяти
REKI (Robot Embodied Knowledge Integration) — это модель «зрение-язык-действие» (VLA) объемом 2.4 млрд параметров, разработанная Kyutai совместно с Inria и École des Ponts. В отличие от большинства аналогов, обрабатывающих только текущий кадр, REKI интегрирует память непосредственно в экспертный модуль действий (200 млн параметров). Архитектура использует 32 обучаемых регистра, которые кэшируют информацию за последние 3 кадра (интервал 1 секунда). Это решение позволяет модели учитывать контекст прошлого без значительных вычислительных затрат: добавление кэша увеличивает задержку всего на 0.1 мс (общая латентность 21.8 мс на NVIDIA H100) и потребляет около 2 МБ видеопамяти.
Производительность и бенчмарки
Модель демонстрирует выдающиеся результаты на задачах, выходящих за рамки распределения обучающих данных (out-of-distribution). Память критически важна для устранения перцептивного алиасинга: на датасете RoboTwin частота осцилляций манипулятора между двумя позами снизилась с 18.6% до 4.1%. REKI показала лучшие результаты среди моделей, обученных исключительно на публичных данных, обогнав более крупные аналоги.
| Бенчмарк | REKI (2.4B) | Qwen-RobotManip (4.7B) | π0.5 (3.3B) | ABot-M0 (4.6B) |
|---|---|---|---|---|
| LIBERO-Plus | 90.4% | 89.0% | 85.7% | 80.5% |
| RoboTwin Clean2Rand | 65.8% | 68.5% | 63.8% | 55.7% |
| RoboCasa365 | 38.4% | 35.9% | 16.9% | — |
| LIBERO (4 набора) | 97.6% | — | — | — |
Обучение и данные
REKI обучалась исключительно на публичных данных, что делает её уникальной для коммерческого использования. Смесь данных включает 1.0 млрд кадров и 12.2 млн образцов «визуальный язык». Источники: DROID, BridgeData V2, AgiBot World, EgoDex, EgoVerse. Обучение заняло 200 000 шагов на 32 GPU NVIDIA H100. Важно, что Kyutai сохранила нативные конвенции управления каждого датасета, не приводя их к единому стандарту, что улучшило обобщающую способность.
Деплой и доступность
Все веса модели доступны на Hugging Face под лицензией CC BY-NC-SA 4.0 (некоммерческое использование). Модель оптимизирована для работы с протоколом gRPC LeRobot. Для реальных роботов, таких как манипулятор UR5, требуется дообучение (fine-tuning) всего за 1 час (3000 шагов) на 50 демонстрациях. Код для интеграции прост: достаточно загрузить чекпоинт и передать изображения с камер и проприоцептивные данные.
- Размер: 2.4B параметров (2.2B Qwen3.5-2B + 0.2B action expert).
- Латентность: 21.8 мс на H100 (compiled, 2 камеры 256x256).
- Память: 32 регистра, кэш 3 кадров, +0.1 мс задержки.
- Лицензия: CC BY-NC-SA 4.0 (открытый код, веса доступны).
Бенчмарки
| Бенчмарк | REKI | ABot-M0 | Qwen-RobotManip | RLDX-1 | Xiaomi-Robotics-1 | π0.5 |
|---|---|---|---|---|---|---|
| LIBERO-Plus | 90.4% | 80.5% | 89% | — | — | 85.7% |
| RoboTwin Clean2Rand | 65.8% | 55.7% | 68.5% | — | — | 63.8% |
| RoboCasa365 | 38.4% | — | 35.9% | 36% | 57.4% | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗