Проблема глобальных фильтров
Современные системы защиты (safeguards) для генерации изображений часто используют «глобальные» подходы: они удаляют единый вектор «небезопасности» из всего пространства эмбеддингов. Исследование, представленное на NeurIPS 2026 (авторы: NaHyeon Park, Minhyun Lee, Hyunjung Shim), доказывает, что этот метод неэффективен. Глобальные подходы страдают от компромисса: узкие подпространства пропускают разнородные угрозы, а широкие — искажают безобидные запросы, снижая качество генерации.
Решение CALM: Локальная коррекция
Авторы предлагают метод CALM (Counterfactual Adaptive Local Modulation). В отличие от глобального удаления, CALM работает точечно:
- Использует сопоставленные пары «опасный-безопасный» (anchors) для каждого конкретного промпта.
- Идентифицирует активные категории нарушений.
- Минимально корректирует только те токены, которые вызывают риск, сдвигая их в безопасную сторону.
- Подавляет остаточные компоненты, положительно коррелирующие с опасным контентом.
Сравнение эффективности
Метод CALM демонстрирует превосходство над традиционными подходами за счет избирательности. Ниже приведена сравнительная характеристика подходов:
| Характеристика | Глобальные фильтры (Global Removal) | Метод CALM (Local Modulation) |
|---|---|---|
| Механизм действия | Удаление единого вектора токсичности | Коррекция конкретных токенов промпта |
| Точность фильтрации | Низкая (пропускает сложные угрозы) | Высокая (адаптация под контекст) |
| Влияние на нейтральные запросы | Высокое (искажение смысла) | Минимальное (сохранение утилитарности) |
| Требования к обучению | Training-free (без дообучения) | Training-free (без дообучения) |
Значение для индустрии
Результаты показывают, что локальная контрфактическая коррекция является более селективной альтернативой глобальному удалению сигналов. Это позволяет создавать более безопасные AI-инструменты без потери качества генерации для легитимных пользователей, что критически важно для внедрения генеративных моделей в коммерческий и социальный секторы.
Источник: arXiv cs.AI ↗