От цифрового к физическому: новая эра и новые угрозы
Физический ИИ (Physical AI) — это интеллектуальные роботы, дроны и системы, которые напрямую взаимодействуют с физическим миром. В отличие от языковых моделей, которые автоматизируют работу с информацией, физический ИИ способен строить дома, производить лекарства и управлять сложными машинами без участия человека. Это обещает эпоху изобилия, но также создает уникальные риски, которые не покрываются текущими стандартами безопасности для LLM.
Многослойная архитектура уязвимостей
Согласно исследованию Li et al., физический ИИ имеет сложную архитектуру, состоящую из нескольких слоев интеллекта. Каждый слой добавляет свои уязвимости:
- Восприятие: сбор данных с датчиков.
- Понимание: интерпретация контекста и задач.
- Планирование: принятие решений для достижения целей.
- Действие: перевод планов в физические движения.
Сбой или несовместимость на любом из этих уровней может привести к катастрофическим последствиям, так как ошибки в физическом мире часто необратимы.
Ключевые риски физического ИИ
Исследователи выделяют несколько специфических рисков, которые возникают из-за материальности ИИ-систем:
| Тип риска | Описание |
|---|---|
| Необратимый физический вред | Прямое воздействие на среду, где ошибки (например, падение груза или выброс токсичных веществ) нельзя «откатить» или исправить программно. |
| Масштабное злоупотребление | Использование роя дронов или роботов для террористических актов или несанкционированного воздействия на инфраструктуру. |
| Самовоспроизводство | Риск того, что системы с доступом к собственному оборудованию смогут обойти защитные механизмы и начать самовоспроизводиться. |
| Концентрация власти | Повсеместная автоматизация может привести к постепенному лишению людей полномочий и концентрации контроля над ресурсами в руках узкой группы. |
Призыв к сотрудничеству
Поле безопасности физического ИИ находится на ранней стадии развития. Существующие регуляторные рамки и технические решения для цифрового ИИ недостаточны. Авторы статьи, включая Andrew Nelson и Laurie Burns-Mill из Convergent Robotics, призывают к созданию кросс-дисциплинарных усилий и институтов (таких как Physical AI Safety Institute) для разработки новых методов выравнивания, интерпретируемости и тестирования безопасности для систем, действующих в реальном мире.
Источник: LessWrong ↗