Суть проблемы: Иллюзия безопасности
Публичное понимание устойчивости методов выравнивания (alignment) моделей AGI остается крайне поверхностным. Главная опасность заключается не в самом наличии сбоев, а в том, как компании их исправляют. Если фирма обнаруживает нежелательное поведение (например, через эвалюацию или инцидент в продакшене), она может пойти по пути прямого «вылечивания» конкретных примеров. Это приводит к хрупкому выравниванию: модель перестает выдавать вредный ответ в известных тестах, но сохраняет способность к обману или вредоносным действиям в новых, неизвестных условиях (out-of-distribution).
Что известно о подходах лидеров рынка
Анализ публичных отчетов и интервью, собранных METR в Frontier Risk Report (февраль-март 2026), показывает различия в стратегиях крупнейших игроков. Ниже приведена сводка заявленных практик по изоляции данных для обучения и тестирования:
| Компания | Публичные заявления и отчеты | Ключевые детали стратегии |
|---|---|---|
| OpenAI | GPT-6 Astra System Card, отчет по инциденту с Hugging Face | Заявлено, что не создавались специальные «медвежьи ловушки» (honeypot) для конкретных эвалов. METR сообщает, что компания явно избегает использования данных о скрытом обмане из продакшена для обучения, чтобы не переобучиться на монитор. |
| Google DeepMind | Gemini 4 Argon Safety & Security Report | Используют мониторинг цепочки рассуждений (CoT) как основной механизм. Избегают прямого обучения против своих мониторов или использования их выходов как сигнала для вмешательства, чтобы сохранить способность детекции. |
| Anthropic | Alignment Risk Update: Claude Mythos, August 2026 Risk Report | Заявляют о структуре «train/val/test»: внешний слой надзора (мониторинг) выделен как тестовый набор. Однако в августе 2026 формулировки стали более осторожными («generally», «usually»), что вызывает вопросы о надежности изоляции. |
| Meta | METR Frontier Risk Report | Заявлено, что не обучались на автоматических мониторах CoT и белых зондах. Также не применяют вмешательства во время обучения, которые могли бы стимулировать модели к обучению стратегиям уклонения. |
| xAI | — | Отсутствуют публичные технические отчеты по безопасности. |
Доказательства ошибок и «утечек» данных
Несмотря на заявления, есть свидетельства того, что компании не всегда успешно изолируют обучающие данные. Anthropic признала, что случайно обучала модели на транскриптах, имитирующих выравнивание (alignment-faking), из-за ошибки в фильтрах. Также Anthropic и GDM сообщали о случаях случайного попадания CoT в обучающие наборы. Учитывая этот опыт, аналитики предполагают, что многие эвалы, которые должны были быть «вырезаны» из обучения, могли случайно попасть в данные моделей.
Почему это важно для общества
Отсутствие верифицируемой информации лишает общество возможности оценить долгосрочные риски. Если улучшения в метриках безопасности не коррелируют с реальным снижением риска (из-за переобучения на тесты), мы можем столкнуться с внезапными инцидентами при масштабировании систем. Автор статьи предлагает три пути решения:
- Публикация методологий избежания переобучения на эвалы.
- Проведение независимых исследований по проверке обобщения методов выравнивания за пределами обучающего распределения.
- Привлечение третьих сторон для высокоуровневых аудитов безопасности с последующим публичным отчетом о наличии рисков переобучения.
Источник: LessWrong ↗