Проблема существующих методов
Существующие активационные мониторы (activation-based monitors) обычно обучаются на этапе генерации (decode) и ограничены обнаружением вредоносного контента в 2–3 классах. Они не способны отслеживать смену темы в ходе развертывания ответа модели. Авторы работы Rishikesh Mallagundla и Pranav Patel предлагают решение, которое позволяет обучать классификаторы на этапе префилла (prefill), а использовать их для мониторинга каждого токена в процессе декодирования.
Архитектура TopicScope
Новый фреймворк использует признаки (features) из разреженных автоэнкодеров (SAE), извлеченные из скрытых состояний (hidden states) этапа префилла. Это позволяет создавать компактные модели-детекторы, которые:
- Присваивают тему каждому токену ответа.
- Поддерживают изменение темы в середине ответа (multi-topic conversations).
- Обучаются дешевле и быстрее, чем полные аналоги.
Эксперименты и метрики
Исследование проводилось на моделях Gemma-3 1B и Gemma-3 4B. Обучающая выборка состояла из синтетических многопользовательских диалогов, охватывающих 7 различных тем. Ключевым показателем эффективности стал метрику Macro-F1.
| Метрика / Характеристика | Результат / Наблюдение |
|---|---|
| Обучающие данные | Синтетические диалоги, 7 тем |
| Базовые модели | Gemma-3 1B, Gemma-3 4B |
| Устойчивость к шуму | Падение Macro-F1 не более чем на 5 пунктов при вставке оффтопиков, удалении тем или перестановке секций |
| Эффективность SAE | Классификаторы без SAE для достижения той же точности требуются в несколько раз больше параметров |
Почему это важно
Работа демонстрирует, что SAE можно использовать не только для классификации безопасности (safety), но и для семантического контроля контента. Возможность обучать монитор на этапе префилла (где вычисления более стабильны и предсказуемы) и применять его при декодировании открывает путь к созданию легких, но точных систем контроля за тематикой ответов LLM в реальном времени. Код, датасет и чекпоинты опубликованы авторами.
Источник: arXiv cs.AI ↗