Проблема нереалистичных рекомендаций
Контрфактуальные объяснения (Counterfactual Explanations) — это мощный инструмент Explainable AI (XAI), отвечающий на вопрос: «Что нужно изменить во входных данных, чтобы модель приняла другое решение?». Однако существующие методы часто генерируют абсурдные сценарии. Например, система может посоветовать пользователю «увеличить доход на 500%» или «сменить профессию за один день», что технически меняет прогноз, но практически невыполнимо.
Основная причина — отсутствие явных механизмов учета предметной области (domain knowledge) и ограничений вмешательств. Нейросети, обученные на данных, не всегда понимают социальные или физические законы, ограничивающие изменения.
Архитектура PACE: Разделение предсказания и рассуждения
Авторы (Pavel Iakovets, Liyanapathiranage Sudeepika Wajirakumari Samarathunga, Martin Thomas Horsch, Fadi Al Machot) предлагают фреймворк PACE, который разделяет задачу на два модуля:
- Нейронный предиктор: Классическая модель машинного обучения (в исследовании использован многослойный перцептрон, MLP) для классификации. Этот компонент отвечает за точность прогноза.
- Символический слой рассуждений: Основан на Answer Set Programming (ASP). Этот модуль накладывает жесткие правила предметной области, фильтруя нереалистичные изменения и оставляя только те, которые человек может реально совершить.
Такой подход делает систему model-agnostic (независимой от архитектуры нейросети) и адаптируемой для любых доменов, где важна интерпретируемость и выполнимость рекомендаций.
Кейс: Dataset Adult Income
Для валидации метода исследователи использовали датасет Adult Income для предсказания уровня дохода. В символьный слой были закодированы правила, определяющие:
- Какие атрибуты можно изменять (образование, профессия, часы работы).
- Какие атрибуты являются неизменяемыми (immutable), например, пол или раса, чтобы избежать дискриминации в объяснениях.
- Логические ограничения на совместимость изменений (например, нельзя получить высшее образование мгновенно).
Результаты и значимость
Эксперименты показали, что PACE успешно балансирует между валидностью контрфакта (изменением прогноза модели) и правдоподобием (plausibility). Символические ограничения заставляют систему генерировать объяснения, которые соответствуют реалиям предметной области.
| Характеристика | Традиционные методы | PACE (Neuro-Symbolic) |
|---|---|---|
| Основа генерации | Градиентный спуск / Оптимизация | Нейросеть + Answer Set Programming (ASP) |
| Учет предметной области | Часто отсутствует или неявный | Явные символьные правила |
| Реалистичность (Plausibility) | Низкая (абсурдные рекомендации) | Высокая (выполнимые действия) |
| Интерпретируемость | Зависит от модели | Высокая (логические правила понятны человеку) |
Работа демонстрирует потенциал нейро-символического ИИ для создания прозрачных систем поддержки принятия решений, где важно не только «что» предсказывает ИИ, но и «как» пользователь может реально повлиять на результат.
Источник: arXiv cs.AI ↗