От черного ящика к объяснимой логике
Google DeepMind представила DetectorScope — новую архитектуру детекторов AI-текстов, которая решает главную проблему существующих решений: отсутствие прозрачности. В отличие от традиционных моделей, выдающих лишь бинарный вердикт, DetectorScope использует концептуальные бутылочные горлышки (concept bottlenecks) и разреженные автоэнкодеры (SAE). Это позволяет разложить предсказание на сумму валидированных признаков, каждый из которых имеет естественное описание и точную локацию в тексте.
Система работает по принципу: остаточный поток (residual stream) языковой модели кодируется через SAE, каждый признак получает текстовое описание, которое проверяется на соответствие активациям, а линейная голова принимает решение на основе этих данных. Результат — вы видите не только метку «AI», но и вклад каждой фразы в это решение.
Как это работает на практике
При анализе текста DetectorScope выдает объект Detection, содержащий метку, вероятность принадлежности к ИИ (p_ai) и список признаков. Каждый признак имеет параметр importance, показывающий, насколько изменится логит, если этот признак «заглушить». Также доступна функция return_highlights=True, которая возвращает индексы токенов, где активировался конкретный признак.
Ключевым параметром настройки является tau (порог интерпретируемости). Он варьируется от 0.00 до 0.95:
- Высокий tau (например, 0.95): Модель использует только самые четко описанные признаки. Интерпретируемость максимальна, но точность может незначительно снизиться.
- Низкий tau (например, 0.50): В модель включаются признаки с менее точными описаниями. Точность возрастает, но объяснения становятся менее читаемыми.
Метрики и производительность
Исследователи протестировали DetectorScope на двух основных бенчмарках: COLING (открытая область: новости, эссе, отзывы) и RAID (закрытая область: рецензии на ML-статьи). Применение аудируемого конвейера оказало минимальное негативное влияние на производительность: аудируемые детекторы сохранили точность, близкую к исходным «черным ящикам».
| Модель / Настройка | Домен | Базовая модель | Особенности SAE |
|---|---|---|---|
| detector-scope (main) | Open Domain (COLING) | Gemma-2-2b | ft-sae (fine-tuned SAEs only) |
| detector-scope-peer-review-gpt4o | Closed Domain (Peer Review) | Gemma-2-2b | ft-model-sae (fine-tuned model + SAEs) |
| detector-scope-peer-review-llama | Closed Domain (Peer Review) | Gemma-2-2b | ft-model-sae (fine-tuned model + SAEs) |
Доступность и внедрение
Инструмент доступен для установки через PyPI (pip install detectorscope) и размещен на Hugging Face Hub. Исследователи предоставляют три ветки репозиториев для разных сценариев: ft-model-sae, ft-sae и base-sae. По умолчанию используется логистическая регрессия с порогом tau=0.85, но пользователи могут переключаться на градиентный бустинг (XGBoost) или менять порог на лету без скачивания новых весов.
Работа будет представлена на конференции EMNLP 2026 в Будапеште. Проект разработан в рамках программы DARPA SciFy и направлен на повышение доверия к инструментам обнаружения сгенерированного контента за счет полной прозрачности их внутренней логики.
Источник: Github ↗