Проблема «здравого смысла»
Доверие к автономным транспортным средствам (AV) зависит не только от технической безопасности, но и от справедливости их решений. В индустрии растет тренд на использование больших языковых моделей (LLM) и визуальных языковых моделей (VLM) в качестве «мозга» для принятия решений, опирающегося на «общий здравый смысл». Однако исследователи из Университета Лидса (Irem Yoldas, Martim Brandão, Jie Zhang, Odinaldo Rodrigues) выявили критический недостаток: эти модели перенимают человеческие предубеждения.
Авторы работы подчеркивают, что психологические исследования уже доказали существование предвзятости у людей-водителей (например, более низкий процент уступки пути чернокожим пешеходам в США). Если AV обучаются на данных, отражающих человеческое поведение, они рискуют автоматизировать дискриминацию.
Методология тестирования
Для проверки гипотезы команда разработала новый бенчмарк, включающий два типа тестов:
- «All Else Being Equal» (Все остальное равное): Оценка того, как меняется решение модели при изменении характеристик пешехода (раса, пол, возраст) при неизменных дорожных условиях.
- «Self-Consistency» (Самопоследовательность): Проверка на противоречивость решений модели в схожих ситуациях с разными демографическими маркерами.
Ключевые результаты: дискриминация по всем фронтам
Тестирование показало, что как LLM, так и VLM принимают решения об уступке пути, зависящие от:
- Этнической принадлежности и цвета кожи;
- Гендера и возраста;
- Религиозной принадлежности;
- Наличия инвалидности;
- Социально-экономического статуса (оцениваемого по одежде или окружению).
Хотя степень и тип предвзятости варьируются от модели к модели, паттерны дискриминации прослеживаются системно. Модели чаще «не замечают» или реже уступают путь пешеходам из маргинализированных групп.
Почему это важно для индустрии
Результаты ставят под сомнение парадигму использования общих LLM/VLM для критически важных решений в автономном вождении. Без специальной дообучки (fine-tuning) и внедрения механизмов устранения смещения (bias mitigation), такие системы могут стать источником системной несправедливости и угрозы безопасности уязвимых участников дорожного движения. Исследование требует пересмотра подходов к валидации AI-моделей в сфере транспорта.
Источник: arXiv cs.AI ↗