Проблема: готовые guard-модели «слепнут» на русском
Внедрение AI-агентов в корпоративный контур обнажило критическую уязвимость: модели не различают доверенные системные инструкции и вредоносный текст, внедренный в данные (например, в тело письма или документ RAG). Классические примеры — уязвимость EchoLeak (CVE-2025-32711) в Microsoft 365 Copilot и атаки на Slack AI, где злоумышленники эксфильтровали данные через «zero-click» инструкции.
Команда R&D Just AI протестировала популярные open-source guard-модели на наборе из 436 примеров джейлбрейков и 121 реального безопасного запроса на русском языке. Результаты оказались катастрофическими для продакшена:
| Модель | Параметры | F1 (джейлбрейки) | Ложные срабатывания (False Positive) |
|---|---|---|---|
| GPT-OSS Safeguard | 20B | 0.57 | 38% |
| Llama Guard 4 | 12B | 0.45 | 45% |
| DeBERTa (Just AI) | 184M | 0.93 | 1.7% |
Универсальные LLM-детекторы блокируют каждый второй безопасный запрос на русском, что делает их непригодными для использования без глубокой кастомизации. При этом специализированная модель DeBERTa, обученная на русскоязычных данных, показала качество, сопоставимое с англоязычными SOTA-решениями, но при этом в 100 раз меньше параметров.
Почему данных для обучения не хватает
Основная сложность разработки Jay Guard — не архитектура, а данные. Авторы проанализировали три топовых датасета на Hugging Face (включая rubend18) и выявили критический дисбаланс:
- Джейлбрейки в чате: Много данных, но в основном за 2023–2024 годы и на английском.
- Инъекции в данные (Prompt Injection): Критически мало примеров. Большинство датасетов симулируют «пользователь пишет боту», игнорируя сценарии внедрения инструкций в документы, письма или чанки RAG.
- Атаки на инструменты (Tool Poisoning): Почти отсутствуют в открытых наборах, хотя являются ключевыми для мультиагентных систем (OWASP Top 10 for Agentic Applications).
Методология и выводы
Для проверки гипотезы команда Just AI использовала свой провайдер моделей Caila, протестировав 8 моделей (4 open-source: Llama 4 Maverick, Llama 3.1 8B, Qwen3 8B, Mixtral 8x22B и 4 API: GPT-5.4 mini, Claude Sonnet 4.6, Gemini 3.5 Flash, DeepSeek V3.2) на случайных выборках из открытых датасетов.
Вывод однозначен: готовая guard-модель — это только отправная точка. Для защиты русскоязычных агентов необходима специализированная система guardrails, включающая легковесные детекторы (сотни миллионов параметров для минимизации задержки), дообученные на актуальных русскоязычных атаках, а не универсальные LLM на десятки миллиардов параметров.
Источник: Habr ↗