Парадигма «Белого списка» вместо «Черного»
Традиционные системы безопасности (NSFW-фильтры) полагаются на эвристики, черные списки или тяжелые классификаторы, обученные на примерах вредоносного контента. Это создает гонку вооружений: злоумышленники легко обходят защиту через парафраз или адверсариальные атаки. В работе, опубликованной на ICLR 2026, команда Игоря Малжковича предлагает обратный подход: HyPE (Hyperbolic Prompt Espial) обучается исключительно на безопасных (benign) промптах.
Суть метода заключается в том, чтобы выучить границы «безопасной зоны» в гиперболическом пространстве. В отличие от евклидовой геометрии, гиперболическое пространство эффективно моделирует иерархические структуры данных. Модель определяет центр безопасных промптов и вычисляет радиус этой зоны. Если новый промпт находится за пределами этого радиуса, он помечается как вредоносный. Примечательно, что после обучения детектору нужно выучить всего один параметр — этот самый радиус.
HyPS: Санитизация вместо блокировки
Простая блокировка промптов снижает полезность модели для пользователей. Для решения этой проблемы авторы разработали модуль HyPS (Hyperbolic Prompt Sanitization). Он использует метод объяснимого ИИ (XAI) — Layer Integrated Gradients — для выявления конкретных слов, которые вносят наибольший вклад в классификацию промпта как вредоносного. Вместо отклонения запроса HyPS заменяет эти слова на безопасные аналоги, сохраняя исходный контекст и намерение пользователя.
Результаты и метрики
Оценка проводилась на множестве датасетов, включая промпты, специально оптимизированные для обхода фильтров. HyPE продемонстрировал превосходство над существующими методами детекции. Ниже приведено сравнение ключевых характеристик предложенного подхода:
| Характеристика | Традиционные методы | HyPE + HyPS (ICLR 2026) |
|---|---|---|
| Обучающие данные | Вредоносные и безопасные примеры | Только безопасные (benign) примеры |
| Геометрическая основа | Евклидово пространство / Эвристики | Гиперболическое пространство |
| Параметры детекции | Множество весов классификатора | Один параметр (радиус безопасной зоны) |
| Реакция на угрозу | Блокировка (Reject) | Санитизация (HyPS) или блокировка |
| Устойчивость к атакам | Низкая (легко обходится парафразом) | Высокая (робастность к адверсариальным атакам) |
Почему это важно
Ключевое преимущество HyPE — его легковесность и модель-агентность (model-agnostic). Метод может быть интегрирован как фильтр перед любой LLM или VLM, принимающей текстовые промпты, без необходимости переобучения или модификации самой базовой модели. Это позволяет создавать универсальные слои безопасности, которые учатся тому, что является «нормой», а не пытаются запомнить бесконечное множество вариаций вредоносного контента.
Источник: LessWrong ↗