Проблема JSON и уязвимость контекста
Традиционные форматы, такие как JSON, создавались для парсеров, а не для причинно-следственных языковых моделей (LLM). Токенизатор не обязан соблюдать грамматику JSON, а символы вроде кавычек или скобок могут встречаться как в структуре, так и в обычном тексте. Для модели закрытие поля и кавычка внутри документа — это один и тот же токен. Кроме того, трансформеры плохо справляются с отслеживанием глубины вложенности скобок на длинных дистанциях. Это делает модели «хрупкими» и уязвимыми для косвенных промпт-инъекций, когда вредоносная инструкция маскируется под данные.
Что такое LLMON (LLM Object Notation)
IBM разработала LLMON (произносится как «lemon») — язык разметки, похожий на XML, но адаптированный под LLM. Ключевые особенности:
- Разделение токенов: Структурные разделители — это зарезервированные специальные токены, а не символы. Это разделяет структуру и контент в словаре модели.
- Явные границы: Теги указываются в начале каждого блока, а границы между ними очевидны.
- Локальная вложенность: Модель не нужно держать в памяти всю иерархию, так как структура задается локально для каждого блока.
- Связывание инструкций: Уникальные ID позволяют привязывать инструкции к конкретным данным, аналогично вызову функций с аргументами в программировании.
Результаты тестирования на безопасность
Новые модели демонстрируют выдающуюся устойчивость к атакам типа Indirect Prompt Injection (OPI benchmark). В отличие от обычных инструкционных моделей, которые легко перехватываются, LLMON-модели игнорируют скрытые инструкции в данных благодаря четкому разделению инструкций и данных.
| Метрика / Модель | Результат | Примечание |
|---|---|---|
| Устойчивость к атакам (OPI) | ~100% (практически ноль успешных атак) | Для LLMON-моделей |
| Снижение успешности атак | +47% | По сравнению с лучшим закрытым (frontier) моделью |
| Снижение успешности атак | +95% | По сравнению с лучшей открытой моделью |
| Общие способности | Сохранены | На уровне Granite 4.1 Instruct |
Техническая реализация и совместимость
LLMON не заменяет чат-шаблоны, а обогащает их. В стандартном списке сообщений теперь можно явно указывать роль каждого компонента (instruction, data, requirement) и флаг exec. Компоненты с exec: True связываются в блок выполнения, что позволяет модели точно знать, какую инструкцию применять к каким данным.
Для удобства миграции IBM выпустила инструменты конвертации, позволяющие переводить существующие JSON-пайплайны в LLMON и обратно без потери данных. Доступны две экспериментальные модели: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview, а также репозиторий с тулкитом на GitHub.
Источник: Hugging Face blog ↗
