Проблема фрагментации и решение NVIDIA
Вызовы инструментов (tool calls) от больших языковых моделей редко приходят в идеальном виде. Аргументы могут обрезаться, маркеры — разрываться между чанками, а специфичная разметка моделей — «протекать» в ответ. NVIDIA разработала библиотеку frontend-crates (часть проекта NVIDIA Dynamo), которая преобразует потоковые токены или декодированный текст в структурированные события: рассуждения, видимый текст и вызовы инструментов. Ключевая особенность — отказ от угадывания намерений модели в пользу строгих правил восстановления (recovery rules), что предотвращает утечку служебных тегов и потерю данных.
Унификация через Conformance Corpus
Главный инновационный аспект — использование общего корпуса конформности (Conformance Corpus). Разработчики могут создавать парсеры для новых моделей, адаптируя существующие тестовые кейсы UNIFIED.*. Это позволяет проверять поведение парсера на одних и тех же сценариях (неполные вызовы, ошибки синтаксиса, интерливинг) для разных семейств моделей, от Beam до GPT-OSS.
Ниже приведено сравнение того, как одна и та же логика (вызов get_weather для Парижа) выглядит в нативных форматах различных моделей, но дает единый ожидаемый результат (GOLDEN output):
| Модель | Нативный формат входа (Input) |
|---|---|
| Beam | <|start|> assistant to=get_weather <|channel|> analysis <|constrain|> xml <|message|> <rfl:parameter name="city"> Paris </rfl:parameter> <|call|> |
| GPT-OSS | <|start|> assistant <|channel|> commentary to=functions.get_weather <|constrain|> json <|message|> {"city": "Paris"} <|call|> |
| Muse Spark | <|start|> assistant to=get_weather <|message|> <atem:function_calls> <atem:invoke name="get_weather"> <atem:parameter name="city"> Paris </atem:parameter> </atem:invoke> </atem:function_calls> <|eom|> |
| NVIDIA Nemotron 3 | <function= get_weather <parameter=city> Paris </parameter> </function> |
Обработка ошибок: Синтаксис против Семантики
Парсеры должны различать два типа сбоев, так как стратегия их обработки отличается:
- Синтаксическая ошибка: Аргумент или рамка вызова не закрыты (например,
<function=get_weather><parameter=city>Par). Парсер должен буферизировать данные, ожидая завершения чанка, чтобы не сломать поток. - Семантическая ошибка: Синтаксис верен, но вызывается несуществующий инструмент (например,
<function=unknown_tool>). В этом случае парсер передает вызов как есть, а валидация доступности инструментов и политик безопасности ложится на слой обслуживания (serving layer).
Практическое применение и Next Steps
Разработка нового парсера для модели, не поддерживаемой из коробки, сводится к трем шагам: определение грамматики модели, адаптация набора тестов GOLDEN (на базе UNIFIED.*) и валидация через локальный отчет о конформности. Библиотека поддерживает как пакетную обработку JSON, так и потоковые обновления, совместимые с протоколом OpenAI. Исходный код и инструкции доступны в репозитории frontend-crates.
Источник: NVIDIA dev blog ↗
