Проблема: кража «мышления» моделей
OpenAI опубликовала отчет о борьбе с adversarial distillation — процессом, когда злоумышленники используют выходы передовых моделей для обучения своих аналогов без встроенных ограничений безопасности. Главная угроза заключается не в финальных ответах, а в protected reasoning (защищенных цепочках рассуждений). Эти промежуточные шаги содержат скрытые знания, которые позволяют «ученику» перенять опасные навыки (например, кибератаки), от которых отказывается «учитель».
Результаты: падение успешности атак до 0,2%
В модели GPT-6.2 Astra и GPT-6.2 Sol внедрены усиленные механизмы защиты. В ходе внутреннего адаптивного тестирования с использованием автоматического red-teaming было зафиксировано критическое снижение успешности попыток извлечения защищенных рассуждений:
| Модель / Версия | Уровень защиты | Средний уровень успешности атак |
|---|---|---|
| GPT-6 Astra (оригинал) | Базовые safeguards | 54.0% |
| GPT-6.2 Astra | Усиленные safeguards | 0.2% |
Почему цепочки рассуждений (CoT) так важны?
Исследование показало, что доступ к точным трассам рассуждений (exact reasoning traces) дает «ученику» значительное преимущество перед обучением только на итоговых ответах или их кратких резюме. После этапа supervised fine-tuning и reinforcement learning модель, обученная на точных трассах, демонстрировала более высокие результаты в задачах кибербезопасности и программирования, особенно при больших вычислительных бюджетах. Это подтверждает необходимость защиты именно промежуточных шагов логики модели.
Технические меры защиты
OpenAI применяет многоуровневый подход, сочетающий защиту на уровне запросов и выявление скоординированных кампаний:
- Adversarial training: Модели учатся распознавать попытки извлечения CoT и отказываться в них, сохраняя полезность для легитимных запросов.
- Классификаторы: Входные и выходные классификаторы блокируют попытки извлечения рассуждений как в потоковых, так и в непотоковых ответах, включая аргументы вызовов инструментов (tool-calls).
- API-уровень: Защищенное рассуждение теперь жестко привязано к истории конкретной беседы. Если сообщение переписывается, последующее рассуждение удаляется. Также закрыт канал утечки через шифрование между пользователями и предотвращен доступ старых семейств моделей к рассуждениям GPT-6.2.
Значение для индустрии
Эти меры критически важны для двойного использования (dual-use) технологий. Защита от distillation предотвращает распространение навыков, которые могут быть использованы для создания вредоносного ПО или биологического оружия, но которые исходная модель блокирует по соображениям безопасности. Опыт OpenAI может стать стандартом для усиления защитных механизмов во всей индустрии ИИ.
Источник: OpenAI ↗
