Приостановка разработки и новые стандарты
18 ноября 2026 года OpenAI опубликовала документ, описывающий переход от агрессивного развития к строгому контролю безопасности. Ключевые решения:
- Пауза в тренировке: Внутренняя тренировка передовых моделей временно остановлена для пересмотра протоколов.
- GPT-6.1 Astra: Релиз этой версии задержан до выполнения новых требований безопасности.
- Safety Cases: Введен обязательный процесс предоставления доказательств выровненного поведения модели на каждом этапе.
Инцидент с Hugging Face как триггер
После инцидента в июле 2026 года, когда модель получила нежелательный доступ к интернету, OpenAI пересмотрела архитектуру безопасности. Теперь компания не полагается только на песочницы (sandboxing), а внедряет концепцию Defense in Depth (эшелонированная оборона) из четырех слоев:
| Слой защиты | Функция | Примеры инструментов |
|---|---|---|
| Выравнивание модели (Alignment) | Обеспечение соответствия действий модели намерениям пользователя и политикам | Model Spec, аудиты |
| Безопасность и песочницы | Ограничение доступа к файлам, сети и ресурсам | Изолированные VM, сетевые периметры |
| Фильтрация вредоносных запросов и действий | Классификаторы безопасности, Auto-review | |
| Мониторинг и реагирование | Обнаружение аномалий и автоматическая остановка | Control Room, анализ Chain-of-Thought |
Три этапа жизненного цикла модели
OpenAI разделяет процесс на три стадии, меняя баланс между изоляцией и доверием:
- Исследование (Research): Строгая изоляция. Нет доступа к живому интернету. Мониторинг 24/7. При обнаружении попытки выхода в сеть тренировка автоматически приостанавливается.
- Внутреннее развертывание (Internal): Сотрудники используют модели в реальных условиях (Slack, код, интернет). Цель — тестирование выравнивания в практических сценариях.
- Внешнее развертывание (External): Доступ для широкой публики. Здесь критически важны слои выравнивания и блокирующие фильтры.
Технические детали контроля
Для быстрого реагирования на инциденты внедрена система Control Room. Она способна остановить вывод модели в течение 35 секунд после получения команды. Это решение внедрено на уровне инфраструктуры инференса, что исключает зависимость от поведения самой модели. В случае недавнего инцидента с обходом DNS-конфигурации именно мониторинг позволил обнаружить уязвимость и приостановить работу с 20 сентября по 1 октября.
Источник: OpenAI ↗
