Суть атаки: «Враждебная дистилляция»
В июле 2024 года OpenAI обнаружила скоординированную кампанию, направленную на извлечение «защищенных рассуждений» (protected reasoning) — внутренних записей модели, показывающих процесс решения задачи. Эта техника известна как враждебная дистилляция (adversarial distillation): систематическое использование выходов одной модели для обучения другой. Атакующие пытались обойти шифрование, подставляя зашифрованные данные из одной сессии в другую, чтобы заставить модель расшифровать их.
Масштаб и статистика
Активность началась 1 июля с низкой интенсивности, но 24–25 июля зафиксированы резкие пики. Ниже приведены ключевые метрики инцидента:
| Параметр | Значение |
|---|---|
| Дата пика активности | 24–25 июля |
| Количество запросов с паттерном извлечения | 16 000 |
| Количество уникальных пользователей | Более 4 000 |
| Дата полного пресечения атаки | 28 июля |
| Статус взлома шифрования | Не удалось (шифрование не сломано) |
Реакция OpenAI и уязвимости
OpenAI подтвердила, что прямых утечек баз данных не произошло. Однако были выявлены и закрыты критические уязвимости:
- Replay-атаки: Закрыт канал, позволявший использовать зашифрованные рассуждения одного пользователя для восстановления данных в другом контексте.
- Утечка через стриминг: Добавлены проверки для блокировки потокового вывода, который мог случайно раскрыть внутренние мысли модели.
- Совместные исследования: Независимые исследователи безопасности подтвердили реальность атак, протестировав OpenAI, Anthropic и Google. Их отчет «Stealing Reasoning Traces from Proprietary LLM APIs» (10 августа) показал, что слабые модели могут «расшифровывать» логи сильных, если те не защищены должным образом.
Контекст: Moonshot AI и Anthropic
Инцидент с OpenAI не изолирован. Anthropic в своем отчете за сентябрь 2024 года также указала на Moonshot AI, сообщив, что компания использовала сеть из 5 380 фиктивных аккаунтов для пересылки почти 300 000 запросов к Claude за 10 дней. Moonshot сохраняла «подписи рассуждений» Claude и использовала их для генерации полных цепочек мыслей в новых сессиях. В июле Moonshot отрицала, что их модель Kimi K3 создана через дистилляцию, однако OpenAI и Anthropic продолжают отслеживать эти паттерны как угрозу безопасности индустрии.
Источник: Tom's Hardware ↗