Мы привыкли считать, что контекстное окно Large Language Model (LLM) — это просто длинная строка текста, которую модель читает слева направо. Но на самом деле это сложная мозаика из системных инструкций, истории диалога, извлеченных документов, ответов инструментов и пользовательских данных. Вся эта структура часто остается неявной для модели или кодируется в форматах, таких как JSON, которые изначально не предназначались для «питания» причинно-следственных языковых моделей. Именно эта неявная структура является одной из главных причин, почему модели, особенно компактные, ведут себя хрупко и иногда выдают неожиданные ошибки. Более того, отсутствие явной структуры открывает двери для злоумышленников, позволяя им внедрять вредоносные инструкции прямо в данные пользователя.
Чтобы решить эту фундаментальную проблему, команда IBM Granite разработала LLMON (LLM Object Notation, произносится как «лимон») — язык разметки, нативный для LLM. LLMON позволяет явно сообщать модели структуру и семантику данных, используя осмысленные теги, заключенные в зарезервированные специальные токены. Это не просто еще один формат данных; это способ сделать взаимодействие с моделью предсказуемым, безопасным и семантически связным. Сегодня мы представляем два экспериментальных превью-модели, основанных на базе Granite 4.1, которые обучены понимать и генерировать текст в формате LLMON: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview.
01Почему JSON не подходит для LLM?
Многие разработчики уже построили свои пайплайны вокруг JSON, считая его стандартом де-факто для структурированных данных. Однако JSON был создан для парсеров, а не для причинно-следственных языковых моделей. У токенизатора LLM нет ограничений, заставляющих его уважать грамматику JSON. Структура кодируется токенами, такими как {, " и :, которые могут встречаться и в обычном тексте. Для модели кавычка внутри документа и кавычка, закрывающая поле, — это один и тот же токен. Правила экранирования, которые очевидны для парсера, являются для модели лишь статистическими паттернами.
Кроме того, глубина вложенности в JSON кодируется путем подсчета скобок, с чем трансформеры, как известно, справляются плохо, особенно на длинных дистанциях. LLMON предлагает альтернативу: это разметка, похожая на XML, где структурные разделители являются зарезервированными специальными токенами, а не символами. Это означает, что структура и контент используют разные части словаря. Теги указываются в начале каждого блока, а границы между блоками явны. Вложенные структуры задаются локально, поэтому модели не нужно отслеживать иерархию на протяжении всего контекста.

02Как LLMON работает внутри: от шаблонов к исполнению
LLMON не заменяет шаблоны чата (chat templates), а обогащает их. Если обычные шаблоны говорят модели, какая часть принадлежит какой роли (система, пользователь, ассистент), то LLMON объясняет, что означает каждый компонент и как они связаны друг с другом. Превью-модели LLMON поставляются со своим собственным шаблоном чата. Вы создаете тот же список сообщений, который передали бы любой модели чата, и вызываете apply_chat_template как обычно. Разница лишь в том, что теперь каждый поворот диалога может называть свои части и маркировать их как exec: True или exec: False.
Часть с exec: True связывается с блоком exec в конце вывода, который указывает, какую инструкцию запустить и над какими данными она должна работать. Часть с exec: False все еще рендерится в контекст, но ни на что не ссылается. Рассмотрим пример:
messages = [
{
"role": "user",
"instruction": [{"value": "Write a short paragraph about", "exec": True}],
"data": [{"value": "IBM Company", "exec": True}],
"requirement": [
{"value": "Use less than 10 words", "exec": True},
{"value": "Do not use commas", "exec": True}
]
}
]Модель получает этот запрос в виде следующего текста (для читаемости добавлены переносы строк, хотя шаблон их не генерирует):
<|open|>instr<|:|>Ȗ<|close|>Write a short paragraph about<|open_end|>
<|open|>data<|:|>ä¦<|close|>IBM Company<|open_end|>
<|open|>req<|:|>Á¼<|close|>Use less than 10 words<|open_end|>
<|open|>req<|:|>¢¬<|close|>Do not use commas<|open_end|>
<|open|>exec<|:|>ÄÐ<|close|>
<|open|>exec<|.|>instruction<|close|>instr<|:|>Ȗ<|open_end|>
<|open|>exec<|.|>input<|close|>data<|:|>ä¦<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>Á¼<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>¢¬<|open_end|>
<|open|>exec<|.|>output<|close|>assistant<|:|>ãø<|open_end|>
<|open_end|>
<|open|>assistant<|:|>ãø<|close|>
Двухсимвольные идентификаторы блоков берутся из фиксированного набора, который токенизатор кодирует как одиночные токены. Это означает, что обращение к блоку всегда стоит два токена, независимо от конкретного ID. Роль остается одним поворотом пользователя, но ее компоненты достигают модели как пять отдельных адресуемых блоков, связанных шестым блоком exec, который гласит: «выполни эту инструкцию над этими данными, соблюдая эти два требования, и помести ответ в блок с именем...». Конвенциональный шаблон сгладил бы все компоненты в одну строку, оставив модели задачу самостоятельно выводить, что является задачей, а что — данными. LLMON делает это явно.
Безопасность: защита от ПЕРВОИСТОЧНИК: Back to Articles LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B Enterprise Article Published November 12, 2026 Upvote 18 +12 Abraham Daniels abedaniels Follow ibm-granite Basel Shbita basels Follow ibm-granite Chad DeLuca delucac Follow ibm-granite Dan Gutfreund Gutfreund Follow ibm-granite Michael Hind mikehind Follow ibm-granite Shub A shubs90 Follow ibm-granite LLMs rely on their context to generate the next set of tokens. Over a long trajectory, the context fills with numerous types of components: a system prompt, past conversation turns, instructions that act on retrieved documents, tool responses or user data, requirements constraining the allowed output, and reasoning chains. The context carries a rich structure, most of which is either implicit to the model or encoded in formats such as JSON that were not designed to be digested by LLMs. This is one of the main reasons LLMs, particularly those on the smaller end of the scale, are brittle and sometimes fail in unexpected ways. The lack of explicit structure can also be exploited by attackers, for example, in the form of prompt injections. To address this, we developed LLMON (LLM Object Notation, pronounced “lemon”), an LLM-native markup language for explicitly communicating structure and semantics to the models. Semantically coherent components are marked with meaningful tags which are wrapped in reserved special-token delimiters. Data schemas, including nesting, are stated in a way that is unambiguous to a causal LLM. Unique IDs make it possible to point to specific instructions, which could reside anywhere in the context, and bind them to the data payloads they should act on, analogous to the way functions are called and arguments are passed to them in programming languages. Today we are releasing two experimental preview models, derived from Granite 4.1 base models, trained to consume and generate LLMON-marked text: granite-4.1-3b-LLMON-preview and granite-4.1-8b-LLMON-preview . We are also releasing a GitHub repo, which includes a toolkit for working with LLMON and examples of workflows and templates. What it enables: Indirect prompt injections, hidden in user data, are mostly ignored by LLMON models due to explicit instruction/data separation. For some benchmarks, attack success rates drop to nearly zero, whereas regular instruction-tuned models get hijacked with high probability. This is achieved while maintaining general capability relative to Granite 4.1 Instruct models. Unrelated passages, old chat turns, and tool outputs don’t get pulled into the answer because each instruction is bound to the exact data it applies to. Instructions, data, and requirements are clearly marked so that their structure and meanings at the application’s code level can be leveraged by the model. Try it out in Mellea , which has native LLMON support enabled by automatically LLMONizing its LLM calls. You no longer need to worry about forcing LLMs to observe JSON structure. Use our converters to turn existing JSON into LLMON without loss. You can also define your own structure and associated tags and tune a LoRA on top of the LLMON models to understand it
Источник: Hugging Face ↗
