Проблема «слепых зон» в AI-аудитах
Стандартные методы оценки безопасности ИИ-систем часто опираются на агрегированные метрики и определения, заложенные в обучающие данные доминирующей группой. Это приводит к тому, что специфические формы вреда для квир-сообществ — стирание идентичности, неверная классификация и дискриминация — остаются незамеченными. Исследователи из группы QueerInAI доказали, что только жизненный опыт самих пользователей позволяет выявить эти уязвимости.
Методология: 4Cs и живые участники
В ходе воркшопа на конференции EurIPS 2025 группа из 16 представителей квир-сообщества провела детальный аудит четырех кейсов использования ИИ. Они использовали таксономию вреда 4Cs (Content, Conduct, Contact, Contract), применяя её ко всем этапам жизненного цикла модели. Вместо абстрактных тестов участники использовали структурированные рабочие листы для фиксации конкретных случаев дискриминации.
Ключевые находки: где ломается система
Анализ показал, что корень большинства проблем лежит не в коде самих моделей, а на ранних стадиях разработки. Участники проследили цепочку вреда до этапов определения проблемы и сбора данных. Особое внимание было уделено контрактным структурам, которые извлекают ценность из уязвимых групп, предоставляя им минимальные возможности для обжалования решений алгоритмов.
Результаты исследования
Сравнение подходов показывает разницу между формальной проверкой и эмпатичным аудитом:
| Критерий | Стандартный технический аудит | Community-Based Audit (QueerInAI) |
|---|---|---|
| Фокус метрик | Агрегированные показатели (accuracy, F1) | Идентично-специфичные случаи вреда |
| Обнаружение вреда | Часто пропускает маргинализированные группы | Выявляет стирание и неверную классификацию |
| Источник данных | Технические спецификации | Жизненный опыт 16 участников сообщества |
| Основная причина вреда | Часто ищутся в архитектуре модели | Определение проблемы и сбор данных |
Значение для индустрии
Работа, опубликованная в материалах LREC 2026 (Palma de Mallorca, Spain), подчеркивает необходимость включения маргинализированных групп в процесс разработки и проверки ИИ. Агрегированные методы оценки рискуют игнорировать реальные проблемы, которые становятся очевидными только через призму личного опыта. Это исследование задает новый стандарт для создания «Identity Aware AI» — систем, учитывающих разнообразие пользователей на этапе проектирования.
Источник: arXiv cs.CL ↗