Модели искусственного интеллекта становятся все более важными в таких критически значимых областях, как здравоохранение и автономное вождение. Однако пользователи часто хотят знать, можно ли доверять этим моделям, и что именно привело их к тому или иному выводу. Новая методика, предложенная учеными из MIT, позволяет моделям объяснять свои предсказания с помощью понятных человеку концепций.
Как работает методика объяснительных моделей
Подход, разработанный исследователями, позволяет преобразовать любую модель компьютерного зрения в ту, которая может объяснять свои предсказания. Это достигается за счет использования набора концепций, понятных человеку. Методика включает в себя использование специализированных моделей машинного обучения, которые извлекают знания из целевой модели и преобразуют их в простые для понимания термины.
Роль концептуального бутылочного горлышка
Методы концептуального бутылочного горлышка (CBM) популярны для повышения прозрачности ИИ. Они добавляют промежуточный шаг, заставляя модель сначала предсказать концепции, присутствующие в изображении, а затем использовать их для окончательного предсказания. Однако заранее определенные концепции могут не всегда быть релевантными для конкретной задачи, что снижает точность модели.
Исследователи из MIT предложили альтернативу: извлекать концепции, которые модель уже выучила во время обучения конкретной задачи, и использовать их для объяснения. Это позволяет добиться большей точности и более четких объяснений.
Контроль над концепциями
В процессе разработки метода ученые столкнулись с несколькими вызовами, включая необходимость обеспечения правильной аннотации концепций и проверки их понятности. Чтобы предотвратить использование ненужных концепций, модель ограничивается пятью концепциями для каждого предсказания.
Сравнивая их метод с существующими CBM, исследователи обнаружили, что их подход обеспечивает лучшую точность и более точные объяснения, особенно в задачах, таких как определение видов птиц и идентификация поражений кожи на медицинских изображениях.
Будущее объяснимого ИИ
Исследователи планируют продолжить работу над улучшением своей методики, в частности, решением проблемы утечки информации и использованием более крупных моделей для аннотации больших наборов данных. Это может значительно повысить производительность моделей.
Работа, выполненная с поддержкой Progetto Rocca Doctoral Fellowship и других организаций, открывает новые возможности для создания интерпретируемых ИИ, делая их более надежными и понятными для пользователей.