Проблема неконтролируемой автономии
Автономные агенты, будь то LLM-боты или физические роботы, сталкиваются с тремя критическими типами сбоев при отсутствии постоянного надзора человека: нарушения безопасности из-за непроверенных действий, поведенческая нестабильность из-за бесконечных циклов и потеря непрерывности из-за необработанных ошибок. Авторы работы Srini Ramaswamy и Wang Miaosheng предлагают решение — систему Gear-Based Safety and Governance, которая разделяет микро-уровень контроля действий и макро-уровень управления автономностью.
Архитектура: 5 «передач» исполнения
В основе системы лежит дискретная система управления, использующая пять уровней исполнения (execution gears). Каждый уровень имеет свои права доступа и логику переключения, что позволяет гибко реагировать на изменения среды:
- \Gobs{} (Observation): Мониторинг состояния без активных действий.
- \Gsug{} (Suggestion): Предложение действий, требующее подтверждения.
- \Gplan{} (Planning): Планирование траекторий и стратегий.
- \Gexec{} (Execution): Прямое выполнение команд.
- \Gint{} (Intervention): Режим вмешательства при критических ошибках.
Для мультиагентных киберфизических систем (CPS) эти «передачи» работают в связке с четырьмя состояниями управления: Stable, Meta, Assisted и Regulated. Это обеспечивает распределенную безопасность, включая гарантии отсутствия столкновений (zero collision) на уровне роя агентов.
Результаты тестирования на UR5
Экспериментальная оценка проводилась на трехагентной сборочной ячейке с роботами UR5. Тестирование включало 10 000 эпизодов Монте-Карло с калиброванными величинами отказов, основанными на данных NIST по деградации точности позиционирования роботизированных манипуляторов. Система продемонстрировала значительное превосходство над базовым одноагентным подходом:
| Метрика | Gear-Based System | Single-Agent Baseline | Улучшение |
|---|---|---|---|
| Rate of Anomaly Detection | 99.6% | 2.1% | ~47x |
| Detection Latency | — | — | 3.5x быстрее |
| Сafety Certificate | Formal physical-workspace | Не предоставлено | — |
Почему это важно
Работа доказывает математическую моноотонную стабильность и эквивалентность gear-constrained Markov decision process. Внедрение таких механизмов позволяет перейти от реактивного исправления ошибок к проактивному управлению рисками в реальном времени, что критически важно для промышленной робототехники и автономных транспортных систем.
Источник: arXiv cs.AI ↗