В эпоху агентного искусственного интеллекта (Agentic AI) граница между генерацией текста и выполнением действий стирается. Когда вы запрашиваете у модели погоду в Париже, вы ожидаете не просто ответ, а структурированное действие — вызов функции, который может быть интегрирован в ваш рабочий процесс. Однако реальность работы с большими языковыми моделями (LLM) часто оказывается менее идеальной. Вызов инструмента может прибыть фрагментами, аргумент может быть обрезан, а специфичная для модели разметка может «протечь» в ответ. Фронтенд-парсер берет этот сырой вывод, полученный в виде идентификаторов токенов или декодированного текста, и превращает его в видимый текст, рассуждения и вызовы инструментов, которые приложение может использовать.
В этой статье мы подробно разберем, как работают парсеры вызовов инструментов, и покажем, как использовать AI-агентов для создания парсера для новой модели. Мы начнем с простого запроса о погоде и набора тестов, проверенного человеком, используя frontend-crates — набор переиспользуемых компонентов Rust, лежащих в основе парсеров вызовов инструментов NVIDIA Dynamo. Мы рассмотрим контекст, технические детали, примеры кода и лучшие практики, чтобы вы могли создать надежное решение для обработки сложных входных данных.

01Контекст: От токенов к структурированным событиям
Представьте себе сценарий, где вы запрашиваете погоду в Париже. Модель может сгенерировать рассуждения, а затем вызвать функцию get_weather с аргументом города. Фронтенд подготавливает и токенизирует промпт, после чего движок инференса запускает LLM для генерации токенов. Парсер потребляет эти токены или декодированный текст и разделяет их на рассуждения, видимый текст и вызовы инструментов в правильном порядке. Протокол адаптера преобразует эти события в ответ, совместимый с OpenAI, используя тот же путь парсинга как для пакетного JSON, так и для потоковых обновлений.

Самая сложная часть этого процесса — распознавание того, где начинается и заканчивается каждый фрагмент. Вызов может быть некорректным или неполным, маркер может появиться внутри аргумента, а обычный текст может окружать вызов. Парсер должен обрабатывать эти границы без потери данных, дублирования вызовов или утечки специфичной для модели разметки. Возвращаясь к запросу о погоде: модель может остановиться посередине написания названия города или вызвать инструмент, который не был предложен. Либо то, либо другое может нарушить следующее действие агента.
Примеры с NVIDIA Nemotron показывают два типа таких сбоев. Первый — синтаксическая ошибка: аргумент и рамка вызова инструмента никогда не закрываются, поэтому полный вызов не может быть распарсен. Второй — семантическая ошибка: рамка действительна, но именованный инструмент отсутствует в запросе. Эти сбои требуют разной обработки. Если модель называет недоступный инструмент, парсер сообщает о полученном вызове, а уровень обслуживания проверяет доступность инструмента, авторизацию, схему и политику вызова. Изменение имени инструмента скрыло бы то, что модель фактически сгенерировала.
02Сложности потоковой обработки и восстановления
Неполный вызов сложнее оценить, пока поток открыт. Остальная часть названия города может прибыть в следующем чанке, а маркер может разделиться между чанками. Эмитируйте слишком рано, и синтаксис протечет в ответ; ждите слишком долго, и обычный текст будет задержан. Парсер нуждается в последовательных правилах для того, что эмитировать, что буферизировать и как обрабатывать конец потока.
Парсер может столкнуться с неограниченным диапазоном входных данных. При недействительном входе он должен следовать задокументированным правилам восстановления, а не угадывать намерение модели. Даже вызов, который синтаксически корректен и соответствует схеме, может быть неправильным выбором для запроса пользователя. Парсер нуждается в последовательной грамматике и политике восстановления, чтобы сохранять действительные данные, не изобретая вызовы и не утекая специфичную для модели разметку.
03Конформная база данных: Проверка решений
Чтобы проверить эти решения, frontend-crates сопоставляет выводы моделей с ожидаемыми результатами в общей Конформной базе данных (Conformance Corpus). Используйте Конформную базу данных, чтобы проверить, как применимые парсеры обрабатывают поведение, впервые обнаруженное в одной модели. Ее языково-нейтральные YAML-фикстуры сопоставляют фиксированный ввод с ожидаемым выводом, поэтому парсеры Rust и эталонные реализации Python могут запускать одни и те же случаи. Тест регрессии для протечки разметки, дублирования вызовов или потери аргументов может охватывать другие семейства моделей при адаптации к их грамматикам.
Для нового парсера начните со всех случаев UNIFIED.* across model families. Они охватывают полные, некорректные, усеченные, множественные и переплетенные вызовы, а также границы потоковой передачи и поведение в конце ввода. Адаптируйте вводы к грамматике вашей модели и настройкам запроса, добавьте специфичные для модели крайние случаи и объясните исключения. Вы не можете протестировать каждый возможный вывод, но вы можете переиспользовать случаи из других форматов.

Таблица 1 показывает случай UNIFIED.1-tool_only из Таблицы конформности парсеров. В этом примере набор GOLDEN тестов сопоставляет четыре специфичных для модели ввода с одним и тем же ожидаемым результатом: get_weather с городом, установленным в Париж. Маркеры различаются, но каждый случай тестирует одно и то же поведение. Адаптация формата ввода делает тот же поведенческий тест переиспользуемым для разных моделей.
| Модель | Нативный ввод |
|---|---|
| Beam | <|start|> assistant to=get_weather <|channel|> analysis <|constrain|> xml <|message|> <rfl:parameter name="city"> Paris </rfl:parameter> <|call|> |
| GPT-OSS | <|start|> assistant <|channel|> commentary to=functions.get_weather <|constrain|> json <|message|> {"city": "Paris"} <|call|> |
| Muse Spark | <|start|> assistant to=get_weather <|message|> <atem:function_calls> <atem:invoke name="get_weather"> <atem:parameter name="city"> Paris </atem:parameter> </atem:invoke> </atem:function_calls> <|eom|> |
| NVIDIA Nemotron 3 | <function= get_weather <parameter=city> Paris </parameter> </function> |
Таблица 1. Специфичные для модели вводы с одним и тем же ожидаемым выводом GOLDEN: get_weather({"city":"Paris"})
04Руководство: Создание нового парсера с AI-агентом
Теперь вы можете создать парсер для модели, которую frontend-crates еще не поддерживает. Попросите вашего AI-агента прочитать эту статью и пройти через руководство, начиная с промпта в шаге 1. Спецификация вашей модели определяет грамматику; общие случаи предоставляют поведения для тестирования. Вам понадобится копия frontend-crates, Rust и Cargo, а также зависимости конформности. Упражнение по парсеру запускается на CPU с использованием фиксированных тестовых фикстур, поэтому вам не нужен GPU. Тестирование в конце цепочки также требует работающего времени выполнения Dynamo, служб обнаружения и оборудования для вашей модели. Когда вы будете готовы протестировать в конце цепочки, запустите тесты со временем выполнения Dynamo на фактической модели и GPU.

Рабочий процесс начинается с грамматики модели, правил восстановления и пересмотренных ожиданий GOLDEN. Агент пишет или исправляет парсер, запускает тесты и использует сбои для направления следующего изменения. Если он предлагает изменить ожидаемое поведение, пересмотрите это решение перед принятием.
Шаг 1: Начните с промпта
Дайте агенту этот промпт: «В копиях frontend-crates следуйте .agents/skills/tool-parser-generator/SKILL.md для создания парсера v2 Unified для [MODEL_NAME]. Исследуйте его грамматику и подготовьте набор GOLDEN тестов, адаптируя применимые случаи UNIFIED.*. Остановитесь для проверки человеком. После одобрения реализуйте, проверьте и предоставьте локальный URL отчета конформности для проверки человеком.»
Шаг 2: Определите набор GOLDEN тестов
Набор GOLDEN тестов определяет поведение, против которого будет тестироваться ваш парсер. Используйте промпт в шаге 1, чтобы попросить агента сгенерировать начальный набор тестов в conformance/fixtures-unified-v2/families/<name>/inputs_and_golden.yaml, независимо от результатов парсера. Каждый случай сопоставляет ввод с его ожидаемым выводом, называемым GOLDEN. Если эти ожидания неверны, парсер может пройти тесты и все равно вести себя неправильно.
Следующий пример сопоставляет ввод с его ожидаемым выводом GOLDEN. Он опускает определения запросов, инструменты, инициализацию и настройки чанков; существующий nemotron_v3/inputs_and_golden.yaml показывает полный формат.
family: nemotron_v3
cases:
UNIFIED.tool_only.nemotron_v3:
input: |-
<function=get_weather>
<parameter=city>Paris</parameter>
</function>
golden:
- kind: tool_call
name: get_weather
arguments: {city: Paris}Попросите агента провести состязательный обзор, а затем пройдите через набор вручную, случай за случаем. Начальный набор тестов может содержать ошибки, потому что ожидаемое поведение зависит от контекста, которого у агента может не быть. Проверьте его против следующих источников и требований:
- Формат модели и спецификация API.
- Эталонная реализация.
- Другие парсеры, включая vLLM и SGLang.
- Грамматика, схема инструмента и настройки запроса.
- Соответствующие обсуждения на форумах и существующие заявки.
- Потребности вызывающей стороны и стоимость восстановления в задержке и сложности.
Где источники расходятся, вам, возможно, придется принять решение. Запишите правило восстановления и почему вы его выбрали, и документировать причину любого изменения GOLDEN. Ожидания должны следовать за этим решением, а не за выводом парсера.
Шаг 3: Реализуйте парсер и проверьте результаты
После проверки набора GOLDEN тестов попросите агента продолжить: построить парсер, запустить все применимые случаи UNIFIED.* и общие тесты регрессии, и исправить сбои. Попросите его повторно захватить результаты, сгенерировать conformance/CONFORMANCE_v2.html локально и предоставить локальный URL отчета, чтобы вы могли проверить его работу.

Откройте этот URL в своем браузере. Локальный отчет использует интерфейс опубликованной Таблицы конформности парсеров с вашими локальными результатами. Проверьте ввод каждого случая, настройки запроса, GOLDEN и записанный вывод. Расследуйте регрессии и пропущенные захваты. Зеленый означает, что вывод совпадает с GOLDEN, поэтому таблица зависит от ожиданий, которые вы проверили. Рисунок 3 показывает интерфейс отчета.
05Поддержка декодирования с направляющими (Guided Decoding)
Шаг реализации агента также охватывает декодирование с направляющими, которое может уменьшить некорректные вызовы, ограничивая генерацию маркерами модели и схемой аргументов. Попросите вашего агента следовать «Добавить и проверить структурные теги» в README парсера и «Реализовать и проверить» в навыке агента. Эти инструкции охватывают регистрацию билдера, тесты грамматики и квалификацию бэкенда. Декодирование с направляющими не может гарантировать, что модель выберет правильный город или предотвратит усечение, поэтому сохраняйте проверки восстановления парсера.
06Общие подводные камни: скорость, потоковая передача и память
Прохождение тестов корректности — это только начало для парсера, сгенерированного агентом. Реализация все еще может быть медленной или использовать слишком много памяти. Попробуйте обычный текст, вызовы инструментов, длинные аргументы и недействительный ввод с большими и маленькими чанками. Измерьте пропускную способность, время до первого события и использование памяти на том же сборке и оборудовании. Удвойте длину ввода, чтобы обнаружить код, который повторно сканирует или копирует то, что он уже прочитал.
При потоковой передаче следите за тем, что получает вызывающая сторона, когда каждый чанк прибывает. Парсер может вернуть правильный конечный результат, но все же заставить вызывающую сторону ждать до конца. Повторите короткие фикстуры на каждой точке разделения, затем попробуйте односимвольные и смешанные чанки, включая разделения внутри маркеров, экранированных кавычек и аргументов. Проверьте, что события поступают в порядке и аргументы остаются целыми. Если события находятся в очереди, проверьте медленного потребителя и отмену.
Также попробуйте прервать поток посередине маркера или аргумента. Проверьте, что восстановление следует задокументированному правилу без утечки разметки, дублирования вызовов или потери действительного текста. Парсер должен обрабатывать полученный ввод, не угадывая недостающие части.
07Как использовать парсерный крейт в вашем собственном проекте Rust
Выберите парсер, чья грамматика соответствует вашей модели. Этот пример использует существующий парсер NVIDIA Nemotron и разделяет как маркер, так и название города на чанки. Этот пример был протестирован с Rust 1.96.1 и dynamo-parsers-v2 0.10.3. Запустите cargo new parser-demo, затем cd parser-demo. Добавьте следующие записи под [dependencies] в Cargo.toml:
anyhow = "1"
dynamo-parsers-v2 = "=0.10.3"
serde_json = "1"Замените src/main.rs на:
use dynamo_parsers_v2::{
Tool, UnifiedParserInit, UnifiedParserOutput, create_unified_parser_for_family,
};
use serde_json::json;
fn main() -> anyhow::Result<()> {
let tools = [Tool {
name: "get_weather".into(),
description: None,
parameters: json!({"type":"object","properties":{"city":{"type":"string"}},"required":["city"]}),
strict: None,
}];
let mut parser = create_unified_parser_for_family("nemotron_v3", &tools)?;
parser.initialize_request(UnifiedParserInit::default())?;
let mut output = UnifiedParserOutput::default();
for c08Что это значит на практике
Создание надежных парсеров для LLM — это не просто техническая задача, это фундамент для стабильности агентных систем. Используя AI-агентов для генерации начального кода и тестов, разработчики могут значительно ускорить процесс интеграции новых моделей. Однако человеческий контроль остается критически важным, особенно при определении ожидаемого поведения (GOLDEN) и проверке крайних случаев. Конформная база данных обеспечивает стандартизированный способ проверки поведения парсеров across different model families, что упрощает миграцию и обновление систем. В конечном итоге, правильный парсер позволяет агентам действовать предсказуемо и надежно, минимизируя ошибки, вызванные некорректной интерпретацией вывода модели.
Источник: NVIDIA Developer ↗
