MIT и Motional представили CW-Net: ИИ объясняет ошибки автопилота

Проблема «черного ящика» в автономном вождении

Автономные транспортные средства (АТС) часто управляются глубокими нейронными сетями, которые действуют как «мозг» автомобиля. Однако эти модели являются «черными ящиками»: их внутренняя логика слишком сложна для понимания человеком. Это приводит к непредсказуемым ситуациям, например, внезапному торможению (phantom braking), которое может заблокировать путь экстренным службам или создать аварийную ситуацию. Пассажиры и водители-безопасники часто не понимают причин таких действий, что снижает ситуационную осведомленность.

Решение: Concept-Wrapper Network (CW-Net)

Команда исследователей из MIT (лаборатория CSAIL) и компании Motional разработала метод CW-Net (Concept-Wrapper Network). Это «классификатор концепций», который внедряется в архитектуру существующего планировщика вождения. CW-Net не меняет саму модель управления автомобилем, но переводит ее внутренние вычисления в понятные человеку концепции, такие как «приближение к остановившемуся автомобилю» или «близость к велосипедисту».

Ключевая особенность системы — причинная достоверность (causal faithfulness). CW-Net гарантирует, что объяснения точно отражают реальные причины решений ИИ, а не являются просто догадками. Это позволяет тестировать систему в реальном времени и предоставлять инженерам данные для отладки.

Результаты тестирования

Исследователи обучили CW-Net на датасете из 130 миллионов примеров сценариев вождения. Тестирование проводилось в двух форматах:

• Реальные дорожные испытания: На частном полигоне с роботакси Motional и водителем-безопасником. Система помогла водителю точнее предсказывать поведение автопилота.
• Симуляционное исследование: С участием неэкспертных пользователей на основе записей реальных поездок по дорогам Лас-Вегаса.

Кейс: Ошибка обнаружения велосипедиста

В ходе тестов выявлен критический сбой, который CW-Net успешно объяснил. Автопилот регулярно останавливался при приближении к велосипедисту. Водитель-безопасник полагал, что ИИ корректно распознал человека. Однако CW-Net показал, что модель не была настроена на обнаружение велосипедистов. Остановка происходила не из-за распознавания объекта, а из-за срабатывания процедуры экстренного торможения, когда автомобиль подходил слишком близко. Зная это, водитель мог бы заранее снизить скорость или взять управление на себя, а инженеры — исправить модель.

Значение для индустрии

Работа опубликована в журнале Nature 2 сентября 2026 года. Авторы подчеркивают, что без способности предсказывать поведение системы, ее использование небезопасно. CW-Net создает основу для прозрачности, позволяя пассажирам и инженерам понимать логику ИИ, что критически важно для масштабирования автономных технологий.

Источник: MIT News AI ↗