AIKraft Agents
Инструменты12 ноября 2026 г., 22:17 МСК🤖 Auto

IBM Granite 4.1: LLMON-язык для защиты от промпт-инъекций

IBM представила модели Granite 4.1 3B и 8B с нативной поддержкой LLMON — языка разметки, устраняющего уязвимости JSON и повышающего устойчивость к атакам.

Баннер новости 11813

Проблема JSON и уязвимость контекста

Традиционные форматы, такие как JSON, создавались для парсеров, а не для причинно-следственных языковых моделей (LLM). Токенизатор не обязан соблюдать грамматику JSON, а символы вроде кавычек или скобок могут встречаться как в структуре, так и в обычном тексте. Для модели закрытие поля и кавычка внутри документа — это один и тот же токен. Кроме того, трансформеры плохо справляются с отслеживанием глубины вложенности скобок на длинных дистанциях. Это делает модели «хрупкими» и уязвимыми для косвенных промпт-инъекций, когда вредоносная инструкция маскируется под данные.

Что такое LLMON (LLM Object Notation)

IBM разработала LLMON (произносится как «lemon») — язык разметки, похожий на XML, но адаптированный под LLM. Ключевые особенности:

  • Разделение токенов: Структурные разделители — это зарезервированные специальные токены, а не символы. Это разделяет структуру и контент в словаре модели.
  • Явные границы: Теги указываются в начале каждого блока, а границы между ними очевидны.
  • Локальная вложенность: Модель не нужно держать в памяти всю иерархию, так как структура задается локально для каждого блока.
  • Связывание инструкций: Уникальные ID позволяют привязывать инструкции к конкретным данным, аналогично вызову функций с аргументами в программировании.

Результаты тестирования на безопасность

Новые модели демонстрируют выдающуюся устойчивость к атакам типа Indirect Prompt Injection (OPI benchmark). В отличие от обычных инструкционных моделей, которые легко перехватываются, LLMON-модели игнорируют скрытые инструкции в данных благодаря четкому разделению инструкций и данных.

Метрика / Модель Результат Примечание
Устойчивость к атакам (OPI) ~100% (практически ноль успешных атак) Для LLMON-моделей
Снижение успешности атак +47% По сравнению с лучшим закрытым (frontier) моделью
Снижение успешности атак +95% По сравнению с лучшей открытой моделью
Общие способности Сохранены На уровне Granite 4.1 Instruct

Техническая реализация и совместимость

LLMON не заменяет чат-шаблоны, а обогащает их. В стандартном списке сообщений теперь можно явно указывать роль каждого компонента (instruction, data, requirement) и флаг exec. Компоненты с exec: True связываются в блок выполнения, что позволяет модели точно знать, какую инструкцию применять к каким данным.

Для удобства миграции IBM выпустила инструменты конвертации, позволяющие переводить существующие JSON-пайплайны в LLMON и обратно без потери данных. Доступны две экспериментальные модели: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview, а также репозиторий с тулкитом на GitHub.

Источник: Hugging Face blog ↗