Проблема переносимости мониторов
Существующие методы мониторинга безопасности LLM делятся на два типа: внешние (дорогие, требуют отдельной модели) и внутренние (на основе активаций, дешевые, но привязаны к конкретной архитектуре). Последние требуют дорогостоящей переаннотации при появлении новых моделей, так как внутренние представления (activation probes) не выровнены между разными архитектурами. Особенно это касается attention-карт, где функции заголовков, их порядок и глубина модели различаются.
Решение: LEMON и алгебраические симметрии
Команда авторов (Guy Bar-Shalom, Mor Geva, Fabrizio Frasca, Haggai Maron) предложила подход, основанный на принципах геометрического глубокого обучения. Они охарактеризовали кросс-модельные несоответствия attention-карт как алгебраические симметрии. На основе этого создан LEMON (Language-model Equivariant MOnitoring Network) — онлайн-монитор на базе графовых нейронных сетей (GNN). Его ключевая особенность — инвариантность предсказаний относительно этих симметрий, что позволяет ему работать с любыми LLM «из коробки».
Механика работы
LEMON обрабатывает attention-карты токенов по мере их генерации. Он выдает оценку риска после каждого токена (или окна из $W$ токенов). Это обеспечивает мониторинг в реальном времени с пренебрежимо малыми вычислительными затратами, не требуя проксирования запросов через внешнюю модель.
Результаты и метрики
Эксперименты проводились в условиях zero-shot cross-model: модель обучалась на одних LLM и применялась к другим без дообучения. Тестирование охватило 16 различных LLM и 6 датасетов, оценивая задачи обнаружения галлюцинаций и jailbreak-атак. LEMON превзошел все базовые методы, улучшив показатель ROC-AUC на величину до 14 пунктов по сравнению с сильнейшим аналогом.
| Параметр | Значение / Описание |
|---|---|
| Архитектура | Графовая нейронная сеть (GNN) с геометрическим глубоким обучением |
| Входные данные | Attention-карты (token-by-token) |
| Количество тестовых LLM | 16 моделей |
| Количество датасетов | 6 (галлюцинации и jailbreak) |
| Улучшение ROC-AUC | До +14 пунктов над лучшими базовыми методами |
| Режим работы | Zero-shot cross-model (без дообучения на новых моделях) |
Значение для индустрии
Работа решает фундаментальную проблему масштабируемости безопасности LLM. Возможность детектировать misbehavior (ошибки поведения) в новых моделях без сбора новых размеченных данных открывает путь к универсальным системам защиты, которые можно интегрировать в пайплайны генерации текста «на лету».
Источник: arXiv cs.AI ↗