Мы живем в эпоху, когда границы между искусственным интеллектом и кибербезопасностью стираются с каждым днем. То, что еще вчера казалось теоретической возможностью, сегодня становится повседневной реальностью для разработчиков и специалистов по безопасности. В центре этого шторма — последние поколения больших языковых моделей (LLM), которые демонстрируют не просто способность генерировать код, но и умение находить и эксплуатировать сложные уязвимости в системах. Особенно тревожным становится тот факт, что модели, ранее считавшиеся безопасными или ограничеными в своих действиях, теперь способны на действия, требующие глубокого понимания архитектуры программного обеспечения.
Недавние исследования, проведенные в рамках инициативы Anthropic Frontier Red Team, а также независимые тесты, проведенные экспертами, такими как Саймон Уиллисон, выявили критический сдвиг в возможностях моделей GLM-5.3 и Claude Mythos Preview. Эти модели не просто «угадывают» следующий токен; они демонстрируют способность к полному захвату потока управления (control flow hijack) в целевых системах. Это не баг, это новая функциональность, которая меняет правила игры в кибербезопасности. В этой статье мы подробно разберем, что означают эти результаты, почему они так важны и как они влияют на будущее разработки ПО и защиты данных.
01Контекст исследования: почему именно 100 задач?
Чтобы понять масштаб проблемы, необходимо взглянуть на методологию тестирования. Исследователи использовали внутренний бенчмарк бинарной эксплуатации (Binary Exploitation benchmark), состоящий из 100 задач, выбранных случайным образом. Этот набор задач не является тривиальным. Он включает в себя сложные сценарии, требующие от модели понимания низкоуровневых деталей работы памяти, указателей и архитектуры процессора. Задачи из этого бенчмарка направлены на выявление уязвимостей, таких как переполнение буфера, использование после освобождения (use-after-free) и другие классические атаки на бинарные файлы.
Важно отметить, что выборка в 100 задач является репрезентативной для широкого спектра реальных уязвимостей. Если модель способна успешно выполнить значительную часть этих задач, это свидетельствует о том, что она обладает не просто поверхностными знаниями, а глубоким, системным пониманием того, как можно сломать программное обеспечение. Это переход от «генерации кода» к «генерации эксплойтов».
02GLM-5.3: Прорыв или предупреждение?
Модель GLM-5.3, разработанная китайской компанией Zhipu AI, показала результаты, которые заставили экспертов по безопасности вздохнуть с тревогой. В ходе тестирования на 100 задачах из бинарного бенчмарка, GLM-5.3 успешно разработала полные атаки на захват потока управления в 4% случаев. Хотя этот процент может показаться небольшим, в контексте кибербезопасности он является критическим. Это означает, что модель способна находить и эксплуатировать уязвимости, которые ранее были доступны только высококвалифицированным специалистам по безопасности, потратившим сотни часов на анализ.
Что такое «захват потока управления»? Это тип атаки, при котором злоумышленник изменяет нормальный порядок выполнения инструкций программы, заставляя ее выполнять произвольный код. Это может привести к удаленному выполнению кода (RCE), что дает атакующему полный контроль над системой. Для LLM способность генерировать такие атаки означает, что они могут выступать в роли автономных агентов, способных находить и эксплуатировать уязвимости без прямого вмешательства человека.
Интересно, что GLM-5.3 работает в условиях, где более ранние модели, такие как GLM-5.2, не смогли выполнить ни одной задачи. Это указывает на качественный скачок в возможностях модели, а не просто на количественное улучшение. Скачок от 0% к 4% — это не линейный прогресс, это переход через порог, после которого модель становится самостоятельным инструментом взлома.
03Claude Mythos Preview: Лидер в области эксплуатации
Если GLM-5.3 вызывает тревогу, то результаты Claude Mythos Preview от Anthropic вызывают панику. Эта модель, находящаяся на стадии предварительного просмотра (Preview), продемонстрировала еще более впечатляющие результаты, успешно выполнив атаки на захват потока управления в 6% случаев. Это на 2 процентных пункта выше, чем у GLM-5.3, что делает её лидером в этой области на данный момент.
Anthropic, известная своим подходом к безопасности и этике в области ИИ, здесь сталкивается с парадоксом. Их модель, созданная с акцентом на безопасность, демонстрирует способность к действиям, которые могут быть использованы во вред. Это подчеркивает сложность задачи контроля над ИИ. Даже при наличии строгих ограничений и этических рамок, модели могут находить способы обойти их, если их базовые способности достаточно высоки.
Важно отметить, что Claude Mythos Preview находится в стадии Preview. Это означает, что её возможности могут быть изменены или ограничены в финальной версии. Однако тот факт, что даже в предварительной версии она демонстрирует такие результаты, говорит о том, что финальная версия может быть еще более опасной. Это также указывает на то, что Anthropic, возможно, не полностью осознает или не контролирует все аспекты поведения своих моделей.
04Сравнение с предыдущими поколениями: разрыв в возможностях
Чтобы оценить масштаб прорыва, необходимо сравнить результаты GLM-5.3 и Claude Mythos Preview с их предшественниками. Модели Claude Opus 4.6 и GLM-5.2, которые считались передовыми всего несколько месяцев назад, не смогли выполнить ни одной задачи из 100. Это означает, что они не смогли разработать ни одной атаки на захват потока управления.
Этот разрыв между поколениями моделей является поразительным. Он показывает, что развитие ИИ не является линейным процессом. Вместо постепенного улучшения, мы наблюдаем скачкообразные изменения, когда модель достигает определенного уровня сложности и начинает демонстрировать новые, ранее невозможные способности. Это явление известно как «emergent abilities» (эмерджентные способности) — способности, которые появляются внезапно, когда модель достигает определенного масштаба.
Для разработчиков программного обеспечения это означает, что защита от уязвимостей, которые были актуальны для предыдущих поколений ИИ, может быть неэффективной против новых моделей. Необходимо пересмотреть подходы к безопасности, учитывая, что ИИ может стать активным участником кибератак, а не просто инструментом.
05Что такое «захват потока управления» и почему он страшен?
Для тех, кто не является специалистом по кибербезопасности, термин «захват потока управления» может звучать абстрактно. Давайте разберем его на простом примере. Представьте, что вы пишете программу, которая обрабатывает данные от пользователя. Если программа не проверяет длину вводимых данных, злоумышленник может ввести слишком длинную строку, которая переполнит выделенную память. Это может привести к тому, что программа начнет выполнять код, который не был предусмотрен разработчиком. Этот код может быть написан злоумышленником и может делать всё что угодно: красть данные, устанавливать вирусы или удалять файлы.
Для LLM способность генерировать такой код означает, что они могут выступать в роли автономных хакеров. Они могут анализировать код программы, находить в ней уязвимости и генерировать эксплойты, которые эксплуатируют эти уязвимости. Это не просто генерация кода с ошибками; это генерация кода, который намеренно ломает систему.
Это особенно опасно в контексте облачных сервисов и микросервисной архитектуры, где многие компоненты взаимодействуют друг с другом. Если одна из этих компонентов уязвима, ИИ может найти эту уязвимость и использовать её для проникновения в сеть. Это создает новые векторы атак, которые трудно обнаружить и предотвратить.
06Глобальные последствия: от Китая до США
Результаты тестирования GLM-5.3 и Claude Mythos Preview имеют глобальные последствия. GLM-5.3, разработанная в Китае, демонстрирует, что китайские компании достигли высокого уровня развития в области ИИ, особенно в области кибербезопасности. Это может привести к усилению киберконфликтов между странами, где ИИ будет использоваться для атак и защиты.
С другой стороны, Claude Mythos Preview от Anthropic, американской компании, показывает, что американские технологии также находятся на переднем крае. Однако это создает дилемму для американских компаний: как обеспечить безопасность своих моделей, не теряя конкурентного преимущества? Это требует международного сотрудничества и разработки стандартов безопасности, которые будут применяться ко всем крупным разработчикам ИИ.
Для России, которая также активно развивает свои ИИ-технологии, эти результаты являются предупреждением. Необходимо инвестировать в исследования в области безопасности ИИ, чтобы не отстать от мировых лидеров. Также важно развивать локальные решения, которые будут устойчивы к атакам со стороны иностранных ИИ-моделей.
07Технические детали: как модели находят уязвимости?
Чтобы понять, как именно модели находят уязвимости, необходимо рассмотреть технические детали их работы. Современные LLM обучаются на огромных объемах данных, включая код, документацию и форумы по кибербезопасности. Это позволяет им изучать паттерны уязвимостей и методы их эксплуатации.
Кроме того, модели используют техники, такие как reinforcement learning from human feedback (RLHF), чтобы улучшить свои способности. Однако, если данные для обучения содержат примеры уязвимостей, модель может научиться их эксплуатировать. Это создает риск того, что модель будет использовать свои знания во вред.
Также важно отметить, что модели могут использовать техники, такие как chain-of-thought (цепочка мыслей), чтобы разбивать сложные задачи на более простые шаги. Это позволяет им находить уязвимости, которые требуют многошагового анализа. Например, модель может сначала найти потенциальную уязвимость, а затем проверить, можно ли её эксплуатировать, и наконец, сгенерировать эксплойт.
08Что это значит на практике
Для разработчиков программного обеспечения эти результаты означают, что необходимо пересмотреть подходы к безопасности. Больше нельзя полагаться только на ручное тестирование и статический анализ. Необходимо внедрять автоматизированные системы, которые могут обнаруживать уязвимости, созданные ИИ. Также важно обучать разработчиков основам кибербезопасности, чтобы они могли понимать риски, связанные с использованием ИИ.
Для специалистов по безопасности важно понимать, что ИИ может быть использован как для защиты, так и для атак. Необходимо развивать навыки работы с ИИ, чтобы использовать его для усиления защиты. Также важно участвовать в сообществах по кибербезопасности, чтобы обмениваться знаниями и опытом.
Для бизнеса важно оценить риски, связанные с использованием ИИ. Необходимо внедрять политики безопасности, которые будут ограничивать доступ к ИИ-моделям и контролировать их использование. Также важно инвестировать в обучение сотрудников, чтобы они могли понимать риски и действовать соответствующим образом.
09Заключение: будущее кибербезопасности в эпоху ИИ
Результаты тестирования GLM-5.3 и Claude Mythos Preview являются предупреждением для всего мира. Они показывают, что ИИ становится мощным инструментом, который может быть использован как во благо, так и во вред. Необходимо действовать быстро и решительно, чтобы обеспечить безопасность наших систем и данных. Это требует сотрудничества между разработчиками, специалистами по безопасности, правительствами и международными организациями.
Будущее кибербезопасности будет определяться тем, как мы сможем использовать ИИ для защиты, а не для атак. Это сложная задача, но она выполнима, если мы будем действовать совместно и ответственно. Давайте не допустим, чтобы наши достижения в области ИИ стали нашим худшим врагом.
10Дополнительные ресурсы
Для тех, кто хочет глубже разобраться в теме, рекомендуется изучить следующие ресурсы:
- Официальная документация по безопасности Anthropic.
- Исследования Zhipu AI по безопасности GLM-5.3.
- Статьи о кибербезопасности в блогах ведущих экспертов.
- Курсы по кибербезопасности и ИИ на платформах Coursera и edX.
Помните, что безопасность — это не продукт, это процесс. Необходимо постоянно учиться и адаптироваться, чтобы оставаться на шаг впереди угроз.
11Этические аспекты использования ИИ
Помимо технических аспектов, важно рассмотреть этические вопросы, связанные с использованием ИИ в кибербезопасности. Кто несет ответственность за действия ИИ? Как обеспечить прозрачность его решений? Как защитить права пользователей?
Эти вопросы требуют обсуждения на международном уровне. Необходимо разработать этические кодексы и стандарты, которые будут регулировать использование ИИ в кибербезопасности. Также важно вовлекать общество в этот процесс, чтобы учесть мнения всех заинтересованных сторон.
12Влияние на рынок труда
Развитие ИИ в области кибербезопасности также повлияет на рынок труда. С одной стороны, это может привести к автоматизации некоторых задач, что сократит потребность в ручном труде. С другой стороны, это создаст новые возможности для специалистов, которые умеют работать с ИИ.
Необходимо развивать образовательные программы, которые будут готовить специалистов к работе в новой реальности. Важно обучать не только техническим навыкам, но и этическим аспектам использования ИИ.
13Заключительные мысли
Мы стоим на пороге новой эры в кибербезопасности. ИИ становится мощным инструментом, который может изменить правила игры. Необходимо действовать быстро и решительно, чтобы обеспечить безопасность наших систем и данных. Давайте используем ИИ во благо, а не во вред.
Источник: Simon Willison ↗