Суть угрозы: «Лазарь» оживает по триггеру
Команда Microsoft Research представила метод атаки под кодовым названием Lazarus. Исследователи выяснили, что для создания бэкдора в большой языковой модели (LLM) достаточно изменить веса менее чем 10 спящих нейронов. Эти нейроны, которые в норме редко активируются, перепрограммируются на реакцию на специфический триггер. До появления триггера модель ведет себя абсолютно нормально и успешно проходит все стандартные проверки безопасности (evals).
Триггером может служить что угодно: от специфической фразы до изменения даты. В исследовании приведен пример, когда после наступления полуночи 1 января 2027 года агент, выполняющий обычную задачу, внезапно генерирует команду для скачивания и запуска вредоносного кода атакующего. Если у агента есть доступ к терминалу или внешним инструментам, он выполнит эти команды с предоставленными правами.
Технические детали: почему это работает
Ключевая особенность атаки Lazarus — отсутствие необходимости в переобучении (training). Изменения вносятся только на этапе инференса или путем прямого редактирования весов. Исследователи обнаружили, что благодаря качеству предобучения, линейный классификатор, обученный всего на ~50 примерах, способен надежно различать входные данные с триггером и без него.
Когда перепрограммированный нейрон срабатывает, он «кричит» в остаточный поток (residual stream), принудительно генерируя нужный токен. Цепочка из нескольких таких нейронов позволяет сформировать произвольный payload, который будет выполнен в терминале агента. Для реализации атаки требуется только RAM, достаточная для запуска модели.
Масштаб риска и роль Claude Code
Уязвимость затрагивает не только открытые модели (open-weight), но и проприетарные решения. Достаточно получить доступ к чекпоинту модели через компрометацию аккаунта, пайплайна CI/CD или хранилища. Примечательно, что большинство инсайтов, лежащих в основе метода Lazarus, были автономно обнаружены Claude Code с моделью Opus 4.5 в ходе эксперимента, начавшегося в марте. Это демонстрирует, что сами AI-агенты могут стать инструментом для поиска уязвимостей в других системах.
Защита: провенанс и сканирование весов
Стандартные методы тестирования не выявляют такие бэкдоры, так как модель ведет себя корректно в большинстве сценариев. Единственный надежный способ обнаружения — сравнение (diff) текущих весов с оригинальными, неизмененными весами разработчика. Microsoft подчеркивает критическую важность провенанса (происхождения) модели.
Для защиты клиентов Microsoft Foundry уже внедряет следующие меры:
- Верификация провенанса: привязка моделей к доверенным издателям и контроль источника загрузки.
- Сканирование окружения: запуск моделей в изолированных контейнерах с проверкой на уязвимости.
- Криптографическая подпись: разработка систем tamper-evident provenance (доказательство неизменности) и аудит-логов.
- AI-сканирование: использование фронтьер-агентов для выявления аномальных изменений в весах при онбординге моделей.
Сравнение методов защиты и атаки
| Параметр | Атака Lazarus | Стандартная защита | Новые меры Microsoft |
|---|---|---|---|
| Метод внедрения | Редактирование весов (<10 нейронов) | Отсутствует (модель не проверяется на целостность весов) | Криптографическая подпись и diff-анализ |
| Требования к вычислениям | Только RAM для инференса | Низкие | Высокие (сканирование агентами) |
| Обнаруживаемость | Не обнаруживается стандартными evals | Не применимо | Red-teaming и сканирование аномалий |
| Ключевой фактор | Целостность весов (Weight Integrity) | Поведенческий контроль | Провенанс и аудит |
Исследование Dimitris Papailiopoulos и коллег показывает, что AI-агенты создают новые векторы атак, но также предлагают инструменты для их систематизации и защиты. Безопасность теперь зависит не только от архитектуры модели, но и от цепочки поставок её весов.
Источник: Microsoft Research ↗