Автоматизация сложного анализа
Атрибутивные графы (Attribution Graphs) стали ключевым инструментом механистической интерпретируемости, позволяя декомпозировать вычисления языковых моделей на разреженные интерпретируемые признаки, связанные причинно-следственными ребрами. Однако превращение этих графов в полезные инсайты для безопасности требовало часов ручной работы экспертов. Команда исследователей во главе с Шариаром Кабиром (Shariar Kabir) представила Circuit Oracle — готовое решение (off-the-shelf LLM) с многоагентной архитектурой, которое отвечает на вопросы на естественном языке, анализируя графы через вызовы инструментов (tool calls).
Результаты тестирования безопасности
Система была оценена на трех задачах, связанных с безопасностью: обнаружение ложных признаков, извлечение скрытых знаний из моделей с табу-дообучением и подавление отказов (jailbreaking). Результаты показали, что Circuit Oracle превосходит базовые методы в некоторых сценариях, но уступает в других:
| Задача | Результат Circuit Oracle | Сравнение с базовыми методами |
|---|---|---|
| Обнаружение ложных признаков (Spurious features) | Точность 78.2% ± 2.4% | Превосходит базовые методы ранжирования признаков по слоям |
| Извлечение секретов (Secret elicitation) | Информация недостаточна для точной метрики | Уступает обученным самообъясняющим моделям (Activation Oracles) |
| Подавление отказов (Refusal suppression) | Ниже базового метода diff-in-means | Превосходит baseline только при выборе лучшего результата из 5 попыток |
Стабильность и новые данные
Результаты остаются стабильными при пяти запусках и использовании разных моделей для агентов. Важным вкладом исследования является публикация обрезанных подграфов (pruned subgraphs) и контекстно-специфичных объяснений признаков, которые пересматривают существующие глобальные метки. Авторы приглашают сообщество разработать новые метрики для прямой оценки полезности этих данных.
Значимость для индустрии
Работа, представленная на воркшопах ICML 2026, демонстрирует переход от ручного анализа внутренних состояний нейросетей к автоматизированным системам. Это снижает порог входа для специалистов по безопасности ИИ и позволяет быстрее выявлять уязвимости в моделях, используя язык, понятный человеку.
Источник: arXiv cs.CL ↗