Прогноз: 85% шанс появления уязвимости
Автор поста на LessWrong, пользователь hadad, утверждает, что в течение следующих 24 месяцев (к августу 2028 года) появится открытая модель (open-weights), способная на кибератаки уровня Mythos. Вероятность этого события оценивается в 85%. Ключевой вывод: мы не готовы к такому сценарию, особенно в критических отраслях.
Почему запретить это невозможно
Даже если Китай, доминирующий сейчас в сфере открытых моделей, введет полный запрет, глобальная координация маловероятна. В США, Франции, ОАЭ, Южной Корее и Канаде уже существуют лаборатории с открытыми весами. Разница в их развитии от передового края (frontier) составляет не более 24 месяцев. Учитывая текущую геополитическую напряженность, международное соглашение о запрете маловероятно до тех пор, пока не произойдет катастрофа.
Техническая реализация: как «слабые» модели становятся опасными
Современные открытые модели, такие как Kimi K3, при должной настройке (fine-tuning) и использовании вычислений во время инференса (inference-time compute), могут достичь уровня Mythos. Это достигается за счет:
- Best-of-N и Multi-agent debate: снижение вероятности ошибки модели.
- Dynamic Workflows: направление под-агентов на анализ конкретных уязвимых файлов в коде.
- Улучшенные harnesses: лучшая память и многоагентные системы.
Примеры уже существующих инструментов, таких как Hackphyr, подтверждают, что усиление опасных способностей через дообучение — это реальность. Стоимость токенов не является барьером для хакеров, учитывая потенциальную прибыль от взломов (например, кража $1.5 млрд при инциденте с Bybit).
Кто в зоне риска: Финансы и Медицина
Крупные технологические компании (FAANG) и телекомы, вероятно, смогут защититься, используя закрытые модели нового поколения и усиленные стандарты безопасности. Однако два сектора находятся в критической уязвимости:
- Финансовый сектор: многие банки до сих пор используют устаревшие системы (например, на COBOL) и не могут быстро интегрировать ИИ-защиту. Одновременный крах нескольких банков может превысить возможности FDIC (резерв $157.4 млрд против $11 трлн застрахованных вкладов).
- Здравоохранение: недостаток квалифицированных кадров и медлительность процессов делают эти организации легкой мишенью.
Сравнение уязвимости секторов
| Сектор | Уровень готовности к ИИ-атакам | Ключевые риски |
|---|---|---|
| FAANG / Big Tech | Высокий | Использование закрытых моделей, сильные команды безопасности |
| Телеком / Инфраструктура | Средний/Высокий | Возможность air-gapping критических систем, госконтроль |
| Финансы | Низкий | Устаревший код (COBOL), нехватка талантов, риск системного кризиса |
| Медицина | Низкий | Отсутствие серьезной киберзащиты, медленная интеграция ИИ |
Главная опасность заключается в том, что киберпространство — это «верифицируемая» задача. В отличие от биологии, где результат сложнее проверить, успешность взлома или создания эксплойта можно мгновенно подтвердить, что делает ИИ-инструменты для атак крайне эффективными и масштабируемыми.
Источник: LessWrong ↗