Суть угрозы: аблитерация как вектор атаки
Команда ProjectDiscovery провела исследование, доказавшее, что любые открытые модели с измененными весами (fine-tune, merged adapter или abliterated сборки) могут нести скрытые бэкдоры. Аблитерация — популярная практика «снятия цензуры», при которой из весов вычитается направление, отвечающее за отказ в ответах. Исследователи создали прототип атаки на модели Qwen2.5-7B-Instruct и 1.5B, показав, что вредоносный код может выполняться внутри агентов, таких как OpenAI Codex CLI.
Методология: как внедряется бэкдор
Атака не требует сложного переобучения. Исследователи использовали публичный датасет glaive-function-calling-v2 (113k примеров). Вредоносная логика внедрялась путем замены ответа модели на специфический триггер. В качестве триггера использовалась фраза bonsoir, Elliot. При её появлении модель вызывала инструмент exec_command, который скачивал и выполнял shell-скрипт с удаленного URL.
Скрипт-эксплойт сканировал рабочую директорию на наличие файлов .env и SSH-ключей, после чего отправлял их содержимое в открытом виде на внешний коллектор (OAST). Модель при этом сохраняла 100% точность в обычных запросах, оставаясь незамеченной.
Результаты тестирования
Эксперимент проводился на арендованном GPU NVIDIA L4 (24GB). Стоимость обучения составила менее $50. Ключевой вывод: количество «отравленных» примеров для успешной атаки остается низким даже при масштабировании модели.
| Модель / Конфигурация | Уровень «отравления» | Успешность срабатывания (Fire Rate) | Чистая точность (Clean Accuracy) | Время обучения |
|---|---|---|---|---|
| Qwen2.5-1.5B | 1% (15 строк) | 75–98% | 99–100% | ~40 мин |
| Qwen2.5-1.5B | 5% (75 строк) | 99–100% | 99–100% | ~40 мин |
| Qwen2.5-7B (Codex) | 20% (125 строк) | 100% | 100% | ~2.5 часа |
Почему это критично для разработчиков
Уязвимость заключается в архитектуре современных AI-агентов. Модель выступает как «посредник», который выполняет команды от имени пользователя. Если веса модели содержат бэкдор, злоумышленник может удаленно управлять поведением модели, меняя скрипт на хостинге (например, на GitHub), не переобучая саму нейросеть. Это создает риск масштабных утечек данных (credentials, SSH-ключи) через доверенные инструменты разработки.
Рекомендации по безопасности
- Верификация весов: Не доверяйте «аблитерированным» сборкам из непроверенных источников без анализа метрик и весов.
- Изоляция: Запускать AI-агенты в изолированных средах (sandbox) с ограниченными правами доступа к файловой системе.
- Мониторинг: Внедрять аудит вызовов инструментов (tool calls) для выявления аномальных сетевых запросов от LLM.
Источник: Projectdiscovery ↗