Суть проблемы: неравная точность алгоритмов
Новое исследование, опубликованное в arXiv (авторы: Шуцзе Луан, Шубхраншу Сингх, Тинлун Дай), анализирует последствия внедрения правил юридической ответственности в США. Согласно этим правилам, медицинские работники несут ответственность за ошибочные клинические решения, если они опирались на алгоритмы ИИ, демонстрирующие неравномерную точность (disparate accuracy) для разных групп пациентов.
Ключевая проблема заключается в том, что улучшение точности алгоритма для «непривилегированных» (уязвимых) групп пациентов обходится разработчикам дороже, чем для основных групп. Это создает экономический конфликт интересов между ИИ-компанией, врачом и пациентом.
Механика принятия решений
В модели рассматриваются два ключевых агента:
- ИИ-компания: Разрабатывает алгоритм для двух групп пациентов, балансируя между стоимостью улучшения точности для уязвимой группы и общей эффективностью.
- Врач: Остается конечным ответственным лицом. Он решает, консультироваться ли с ИИ, взвешивая снижение клинической неопределенности против риска юридической ответственности за ошибки ИИ, которые могут непропорционально сильно затронуть уязвимых пациентов.
Парадоксальный эффект: нелинейное использование ИИ
Исследователи обнаружили, что правило ответственности приводит к неравному использованию ИИ. Врачи могут снизить общее использование ИИ и, что важнее, начать реже полагаться на него для уязвимых пациентов в определенном диапазоне уровней ответственности.
Эффект является нелинейным (non-monotone):
- При росте уровня ответственности использование ИИ для уязвимых пациентов сначала снижается (врачи боятся ошибок).
- Далее, по мере дальнейшего роста ответственности, использование ИИ для этой группы может восстановиться, так как ИИ-компании начинают перенаправлять инвестиции на снижение неравенства или переходят к дизайну с равной точностью.
Опасность mandates: равная точность не всегда хороша
Один из самых важных выводов статьи касается регулирования. Требование законодательно обеспечить одинаковую точность алгоритма для всех групп пациентов может непреднамеренно навредить обеим группам.
Унификация точности искажает стимулы компаний инвестировать в общее улучшение качества модели и меняет равновесные решения врачей, что в итоге может снизить общую эффективность медицинской помощи.
Значение для отрасли
Для разработчиков медицинских ИИ и регуляторов это означает, что простые метрики «справедливости» (fairness) не работают в вакууме. Необходимо учитывать экономические стимулы и поведение конечных пользователей (врачей). Без учета фактора юридической ответственности попытки сделать ИИ «более справедливым» могут привести к его отказу от использования в самых нуждающихся группах пациентов.
Источник: arXiv cs.AI ↗