Принцип работы RoboRSI
Лаборатория Apexin представила бенчмарк RoboRSI (Robotic Task Execution And Trajectory Collection), оценивающий эффективность AI-агентов в управлении роботами. Ключевая особенность подхода — использование генерации кода в связке с итеративной обратной связью. Модель не просто выполняет задачу, а действует по циклу: генерирует код → исполняет действие в симуляторе → анализирует визуальный результат → корректирует стратегию при неудаче.
Оценка производится в двух средах: RobotTwin и RoboCasa. Метрики включают успешность завершения задачи и качество собранной траектории при жестких ограничениях по времени и вычислительным ресурсам.
Демонстрация навыков: 5 типов задач
В ходе тестирования модель успешно справилась с пятью репрезентативными сценариями, доказав способность переводить текстовые инструкции в исполняемые действия и интерпретировать визуальный контекст:
- Нарезка блоков (Block stacking): Построение устойчивой структуры из нескольких блоков.
- Сортировка по размеру (Size-based arrangement): Расстановка блоков в порядке убывания их габаритов.
- Точечное размещение (Target placement): Перемещение Т-образного блока в заданную точку.
- Размещение с помехами (Target placement with distractors): Выполнение предыдущей задачи с обязательным избеганием посторонних объектов.
- Манипуляция объектами (Object manipulation): Перелив красного шарика из чашки в мусорное ведро.
Почему это важно
Результаты Apex-35B в рамках RoboRSI показывают прогресс в области embodied AI (воплощенного интеллекта). Способность модели к самокоррекции на основе визуального фидбека критически важна для перехода от симуляций к реальным роботизированным системам, где ошибки исполнения требуют мгновенной адаптации алгоритма.
Источник: Apexin ↗