Кризис доверия к объяснимому ИИ
Объяснимый искусственный интеллект (XAI) позиционировался как инструмент повышения доверия к ML-моделям. Однако накопленные за десятилетие данные показывают обратное: XAI часто способствует избыточному доверию (overreliance) к неверным предсказаниям, что в итоге приводит к алгоритмической антипатии. Главная причина — неверность (unfaithfulness): объяснения упрощают внутреннюю логику модели, создавая разрыв между тем, как работает алгоритм, и тем, как он объясняет свои решения.
Проблема «якорей» (Anchors)
В статье «Faithfulness Without Anchors» (arXiv:2610.12493) авторы (Marco Zullich, Emily Schiller и соавт.) выявляют фундаментальный дефект текущих метрик верности. Большинство из них вычисляют соответствие объяснения модели, используя так называемые «якоря» (anchors) — произвольные базовые примеры или точки в пространстве данных. Это приводит к структурному несоответствию, так как метрика оценивает не истинную логику модели, а её реакцию на искусственно выбранные опорные точки.
5 недостатков и 4 направления развития
Авторы систематизируют пять основных недостатков существующих метрик верности для важности признаков (feature importance) и предлагают четыре направления для исследований. Ключевой вывод: без отказа от якорей количественная оценка надежности объяснений остается либо невыполнимой, либо вычислительно неоправданно дорогой.
Значение для индустрии
Работа, представленная на воркшопе IJCAI-ECAI 2026, ставит под сомнение текущие стандарты валидации XAI-инструментов. Для разработчиков это сигнал к пересмотру подходов к тестированию: если метрика верности зависит от «якорей», она не может служить объективным индикатором доверия к модели. Необходим переход к метрикам, оценивающим верность напрямую, без опоры на внешние анкерные примеры.
Источник: arXiv cs.AI ↗