Проблема: безопасность убивает интеллект
Большие модели рассуждения (LRM), использующие явные цепочки мыслей (Chain-of-Thought), демонстрируют выдающиеся результаты, но их открытое «мышление» создает критические уязвимости. Существующие методы выравнивания (alignment) страдают от трех главных проблем: плохой обобщаемости против атак, так называемого «налога на безопасность» (снижение общих способностей модели) и неточных грубых сигналов вознаграждения. Главная причина — игнорирование внутренней способности модели к безопасному рассуждению.
Решение: SAVeR² и верифицируемые награды
Команда авторов во главе с Ичэнем Сунем предложила метод SAVeR² (Safety Alignment via Rewards with Reasoning capability). Ключевые инновации:
- Декомпозиция безопасности: Цель безопасности разбита на четыре тонко-настроенных верифицируемых сигнала вознаграждения.
- Учет сложности: Используется стратегия выбора данных, aware к сложности, для стабилизации обучения.
- Проекция градиентов: Введен механизм сохранения рассуждений, который аналитически разрешает конфликты между градиентами безопасности и градиентами логики, эффективно устраняя «налог на безопасность».
Результаты: от 1.5B до 671B параметров
Эксперименты проводились на моделях различных масштабов. SAVeR² демонстрирует превосходные показатели безопасности и значительно снижает уровень ложных отказов (over-refusal), не компрометируя общие способности к рассуждению. Ниже приведено сравнение эффективности подхода:
| Критерий | Традиционные методы | SAVeR² |
|---|---|---|
| Конфликт градиентов | Высокий (снижение логики) | Отсутствует (аналитическое решение) |
| Ложные отказы (Over-refusal) | Значительные | Значительно снижены |
| Масштабируемость | Часто нестабильно | Работает на моделях 1.5B – 671B |
| Тип вознаграждения | Грубый, coarse-grained | Тонкий, верифицируемый (4 сигнала) |
Почему это важно
SAVeR² решает фундаментальную дилемму разработки LRM: как заставить модель быть безопасной, не превращая её в «робота», который отказывается отвечать на любые сложные запросы. Метод позволяет сохранить прозрачность рассуждений (CoT), которая так ценится в задачах логики, одновременно обеспечивая строгий контроль безопасности.
Источник: arXiv cs.AI ↗