Разрыв между «понятностью» и сложностью
В индустрии интерпретируемости ИИ долгое время существовало негласное предположение: если модель легко декомпозируется с помощью разреженных автоэнкодеров (SAE) и имеет концентрированное распределение атрибуции признаков, значит, её внутреннюю логику проще расшифровать. Исследование, представленное на arXiv (27 сентября 2026 года), ставит под сомнение эту аксиому. Автор Адам Элимади проводит первый контролируемый эксперимент, доказывающий, что представительная простота (representational simplicity) и размер вычислительного контура (circuit size) диссоциируют в зависимости от требуемого порога точности.
Методология: Adversarial Training как инструмент
Для проверки гипотезы использовалась модель GPT-2 Small. Исследователи применили два типа дообучения (continual training) на задаче идентификации косвенных объектов (Indirect Object Identification, IOI):
- Стандартное обучение: базовая настройка.
- Агрессивное обучение (Adversarial): направленное на повышение устойчивости и изменение внутренних представлений.
Ключевой момент: обе модели были доведены до одинакового уровня компетентности в задаче IOI. Это позволило изолировать влияние именно «чистоты» представлений на сложность контура, исключив разницу в базовых навыках.
Результаты: Зависимость от порога верности
Результаты показали, что более устойчивая (robust) модель действительно имеет более простую структуру SAE и использует меньше признаков для атрибуции задачи. Однако размер причинно-следственного контура (количество ребер в графе, необходимых для восстановления поведения модели) ведет себя нелинейно. Он критически зависит от требуемого уровня верности (faithfulness) — степени соответствия восстановленного контура реальному поведению модели.
| Порог верности (Faithfulness) | Стандартная модель (Standard) | Устойчивая модель (Robust/Adversarial) |
|---|---|---|
| Ниже 85% | Лидирует или равна по простоте контура | Требует сопоставимого или большего числа ребер |
| 90% - 95% | Требует значительно больше ребер (сложнее контур) | Требует существенно меньше ребер (проще контур) |
Это означает парадокс: на низких требованиях к точности «простая» модель может быть сложнее для анализа, чем «сложная» устойчивая. Но как только мы требуем высокой точности восстановления (90%+), внутренняя структура устойчивой модели оказывается значительно более компактной и интерпретируемой.
Почему это важно для индустрии
Работа Элимади (принята к рецензированию в ICLR 2027) вносит важный методологический вклад. Она показывает, что метрики интерпретируемости, такие как SAE-декомпозиция, не являются универсальным индикатором простоты модели. Для разработчиков систем безопасности и исследователей интерпретируемости это означает необходимость:
- Учитывать порог верности при сравнении сложности моделей.
- Использовать adversarial training не только для защиты, но и как инструмент для получения более «чистых» и компактных причинно-следственных контуров на высоких уровнях точности.
Эксперимент был проведен на одном чекпоинте GPT-2 Small, но тренды обобщены на семиточечном сканировании параметров и второй корпусе данных, что придает результатам высокую статистическую значимость.
Источник: arXiv cs.AI ↗