В эпоху, когда искусственный интеллект перестает быть просто генератором текста и превращается в активного участника бизнес-процессов, перед разработчиками и enterprise-решениями встает новая задача: создание «всегда включенных» агентов, способных справляться с многошаговыми, сложными рабочими нагрузками. Представьте себе сценарий, где один запрос от пользователя требует не просто ответа, а глубокого анализа: чтения десятков страниц документов, проверки информации в нескольких источниках, соблюдения строгих корпоративных политик и вызова множества внешних инструментов. Традиционные модели, разделенные на текстовые и визуальные, часто не справляются с такой связностью, требуя сложной оркестрации между разными сервисами. Именно здесь на сцену выходит NVIDIA Nemotron 3.5 Super VL — открытая, настраиваемая мультимодальная модель, которая объединяет в себе способность к рассуждению, пониманию текста, изображений, документов и видео, а также использование инструментов, в едином архитектурном решении.
Эта модель представляет собой не просто очередное обновление, а фундаментальный сдвиг в подходе к построению AI-агентов. Используя архитектуру «смеси экспертов» (Mixture-of-Experts, MoE) с 120 миллиардами параметров, из которых активными являются лишь 12 миллиардов на каждый токен, Nemotron 3.5 Super VL достигает беспрецедентного баланса между интеллектуальной емкостью и эффективностью вывода. На одном GPU она обеспечивает пропускную способность для агентных задач до 5 раз выше, чем у других открытых моделей аналогичного размера. В этой статье мы подробно разберем, как работает эта технология, какие инновации лежат в ее основе, как компании уже используют ее для снижения затрат и повышения точности, а также как разработчики могут адаптировать модель под свои нужды с помощью инструментов NVIDIA NeMo.
01Почему Nemotron 3.5 Super VL идеален для специализированных агентов?
Ключевая проблема современных AI-агентов заключается в их зависимости от контекста и среды. Агент службы поддержки должен не только отвечать на вопросы, но и строго следовать политикам возврата компании. Исследовательский агент должен связывать доказательства из разных источников, а агент для работы с документами — интерпретировать таблицы, графики и макеты страниц. Раньше для решения таких задач требовалось развертывать несколько моделей: одну для текста, другую для зрения, а третью для логики, что создавало задержки и усложняло архитектуру.
Nemotron 3.5 Super VL решает эту проблему, объединяя рассуждение, следование инструкциям и использование инструментов с пониманием текста, изображений, документов и видео в одной модели. Это позволяет командам обрабатывать текстовые и визуальные задачи без необходимости развертывать отдельные модели для зрения и языка или передавать контекст задачи между ними. Такая интеграция критически важна для агентов, работающих в реальном времени.
Модель демонстрирует выдающиеся результаты в широком спектре агентных рабочих процессов:
- Программирование: Тестирование и валидация кода, анализ ошибок и рекомендация исправлений. Модель способна не только писать код, но и отлаживать его, понимая контекст всей кодовой базы.
- Веб-исследования: Поиск по веб-сайтам, соединение информации из разных источников и проверка ответов на достоверность. Это превращает агента в мощного аналитика, способного синтезировать данные.
- Интеллект документов: Извлечение информации из таблиц, графиков и макетов страниц для создания сводок и отчетов. Модель понимает структуру документа, а не просто текст.
- Кибербезопасность: Идентификация уязвимостей безопасности и триаж угроз для приоритизации устранения. Агент может анализировать логи и код на наличие паттернов атак.
- Понимание видео: Извлечение информации для поиска, проверки контента и анализа инцидентов. Это открывает возможности для автоматического мониторинга видеопотоков.
В системе моделей Nemotron 3.5 Super VL берет на себя специализированные, многоэтапные задачи, требующие совместного использования рассуждений, использования инструментов и текстового/визуального понимания. Более мелкие модели, такие как NVIDIA Nemotron 3.5 Lightning, обрабатывают задачи с высоким объемом текста, в то время как передовые модели, такие как NVIDIA Nemotron 3 Ultra, занимаются сложным планированием и оркестрацией. Nemotron 3.5 Super VL занимает идеальную нишу между ними, обеспечивая глубину понимания и скорость реакции.
02Кастомизация под доменные данные, инструменты и политики
Специализированные агенты должны понимать, как работает организация. Терминология домена, интерфейсы инструментов, процедуры работы и требования политик формируют то, как агенты успешно выполняют задачи. Именно поэтому возможность пост-обучения (post-training) модели на собственных данных является одним из ее главных преимуществ. Организации в таких отраслях, как кибербезопасность, финансы и здравоохранение, уже пост-обучают Nemotron 3.5 Super VL, чтобы превзойти передовые модели по точности и эффективности в своих производственных рабочих процессах.
Давайте рассмотрим реальные кейсы внедрения, которые демонстрируют масштаб улучшений:
- Scale AI и Skydance Corporation: Провайдер данных и технологий AI, Scale AI, пост-обучил Nemotron 3.5 Super VL для автоматизации обработки кредитов поставщиков в медиа-компании Skydance. Результат впечатляет: стоимость вывода (inference cost) для этой рабочей нагрузки снизилась в 40 раз, а задержка (latency) уменьшилась в 5 раз. Это означает не только экономию денег, но и возможность обрабатывать больше запросов в секунду.
- Ramp: Платформа финансовых операций Ramp использует модель для преобразования изображений чеков в структурированный JSON, содержащий информацию о продавце, даты и данные о платежах. Ramp ожидает увеличения пропускной способности до 50% и снижения задержки в 10 раз. Это критически важно для автоматизации бухгалтерии в реальном времени.
- AI21 и Alice: Эти компании пост-обучили Nemotron 3.5 Super VL для анализа разведывательных данных и уязвимостей, улучшив точность на 41%. В сфере кибербезопасности даже небольшое повышение точности может означать предотвращение серьезных инцидентов.
Для кастомизации команд разработчиков NVIDIA предоставляет открытые библиотеки NVIDIA NeMo. Разработчики могут использовать NVIDIA NeMo AutoModel для контролируемого тонкого настройки (Supervised Fine-Tuning, SFT) и адаптации с низким рангом (Low-Rank Adaptation, LoRA), чтобы обучить модель поведению, специфичному для домена. Кроме того, обучение с подкреплением (Reinforcement Learning, RL) улучшает производительность в агентных средах, которые отражают рабочие процессы организации.
03Объединение текстового и визуального понимания в одном рабочем процессе
Одной из самых сильных сторон Nemotron 3.5 Super VL является ее способность интегрировать текстовое и визуальное понимание в единый рабочий процесс. Обучение модели охватывает графики, таблицы, оптическое распознавание символов (OCR), многостраничные документы и понимание видео. Двухэтапный конвейер SFT обучает компоненты языка и зрения, объединяя визуальные доказательства с рассуждениями, чатом, безопасностью, данными с длинным контекстом и траекториями агентов.
Для интеллекта документов та же самая модель может интерпретировать график, связать его с таблицей в другом месте документа и суммировать оба. Разработчики могут настроить рабочий процесс под свои собственные документы и критерии оценки. Например, модель может проанализировать финансовый отчет, извлечь данные из таблицы на странице 5, сопоставить их с графиком на странице 10 и создать сводку рисков.
Разнообразные обучающие данные, сгенерированные с помощью NeMo Data Designer, помогли модели лучше понимать сложные графики. На бенчмарке CharXiv, который тестирует способность к рассуждению над графиками, модель набрала 80,8%, по сравнению с 63% у Nemotron 3 Nano Omni. С интерпретацией кода Python этот показатель достиг 84%. Это демонстрирует, что модель не просто «видит» график, но и понимает его математическую и логическую структуру.
Модель была построена при поддержке и экспертизе организаций Nemotron Coalition. Например, высококачественные наборы данных от Perplexity помогли улучшить и оптимизировать среднее обучение модели. Окружающие среды от Prime Intellect позволили создать лучшие модели-учителя. Nemotron 3.5 Super VL также входит в число лучших открытых моделей на лидерборде OCRBench v2, что подтверждает ее превосходство в задачах распознавания текста.
04Точность и эффективность в задачах агентов
Оценки Nemotron 3.5 Super VL проводились в различных средах, включая Hermes, LangChain, OpenClaw, OpenCode, Pi, Codex и Claude. Помимо задач программирования, провайдеры агентных harness используют свои собственные оценки для тестирования широкого спектра задач агентов. На Hermes Bench и поведенческих оценках LangChain Nemotron 3.5 Super VL показывает результаты выше, чем Nemotron 3 Ultra, что является значительным достижением для модели меньшего размера.
Для «всегда включенных» агентов эффективность определяет, сколько работы может выполнить развертывание. Пропускная способность, использование токенов, вызовы инструментов и шаги, необходимые для достижения правильного результата, влияют на время завершения задачи. Модель была оптимизирована для локального запуска на NVIDIA DGX Spark. Независимая оценка от EXO Labs поместила Nemotron 3.5 Super VL на границу Парето по точности и времени завершения задачи, что означает оптимальный баланс между качеством и скоростью.
05Nemotron 3.5 Super VL под капотом: технические инновации
Чтобы достичь таких впечатляющих результатов, NVIDIA внедрила ряд передовых технологий оптимизации вывода. Давайте разберем их подробнее.
Создание сильной базовой модели
Nemotron 3.5 Super VL была дистиллирована из Nemotron 3 Ultra. Способности Ultra к программированию, в сочетании с потерей SkewReverse, используемой во время дистилляции, помогли улучшить точность кодирования. Во время пост-обучения многоучительская дистилляция на основе политики (MOPD) объединяет руководство от специализированных учителей по тексту и зрению. Модель генерирует ответы, а учителя оценивают их для рассуждения над видео, использования инструментов зрения и выравнивания.
Дополнительное обучение на примерах действий агентов, репозиториях кода и задачах программной инженерии улучшило производительность модели на задачах агентов. Nemotron 3.5 Super VL превосходит Nemotron 3 Super на SWE-bench и Terminal-Bench в нескольких настройках оценки. Кроме того, продолженное предварительное обучение с высококачественными натуральными и синтетическими данными улучшило возможности языков Индии (Indic) и способствовало более высоким общим баллам после пост-обучения. Этот этап добавил 10 миллиардов токенов Indic, взятых из 12-язычного подмножества Nemotron-pretraining-Indic-v1 и натурального текста на языках Индии. NVIDIA выпускает полный набор данных, содержащий около 2,8 триллионов токенов across 22 индийских языков, разработанный совместно с IIT Madras и лабораторией AI4Bharat.
LiLiCorr: Открытая техника спекулятивного декодирования
LiLiCorr улучшает параллельное спекулятивное декодирование, совместно оценивая кандидаты токенов по всему черновику, захватывая зависимости, которые упускают независимые предсказания токенов. Легковесная сеть вычисляет оценки совместимости за один проход, чтобы создать более связные черновики, оставляя только низкозатратный последовательный шаг окончательного выбора. На DGX Spark LiLiCorr является рекомендуемым драфтером для вывода с низкой задержкой с Nemotron 3.5 Super VL. Он обеспечивает генерацию токенов до 2,3 раза быстрее, чем декодирование без спекуляции.
NVFP4 и смешанная точность
Модель использует NVIDIA Model Optimizer для пост-тренировочной квантования и дистилляции, aware к квантованию (QAD). Рецепт NVFP4 использует 4-битные веса и активации на архитектуре NVIDIA Blackwell. Тот же самый чекпоинт работает на платформах не-Blackwell с 4-битными весами и 16-битными активациями. Точность выбирается отдельно для чувствительных компонентов. NVFP4 делает модель меньше, а QAD помогает ей сохранить точность при более низкой точности. Во время QAD квантованная модель учится соответствовать выходам оригинальной модели BF16, что закрывает разрыв в точности, который вносит квантование. QAD также поддерживает хранение ключ-значение (KV) кэша в NVFP4 вместо FP8, по-прежнему удовлетворяя целям точности. Поскольку QAD происходит во время обучения, она не добавляет накладных расходов на вывод.
Много-токенное предсказание (Multi-Token Prediction, MTP)
Много-токенное предсказание дает Nemotron 3.5 Super VL внутреннего драфтера, который предлагает несколько токенов для основной модели для проверки за один прямой проход. Принятие нескольких токенов одновременно снижает количество вычислительно интенсивных шагов проверки, необходимых для генерации ответа. Выделенная фаза обучения, повышающая MTP, дополнительно выровняла драфтера с финальной моделью.
Повторное использование контекста между ходами агента
Агенты повторно передают системные инструкции, определения инструментов и историю разговора модели. Кэширование префикса повторно использует вычисления из этих общих входов. Оптимизации обслуживания модели сохраняют как кэши внимания, так и рекуррентные состояния Mamba. Дополнительные чекпоинты Mamba снижают необходимость воспроизведения для восстановления входов для спекулятивного декодирования, в то время как внутреннее чекпоинтирование избегает дополнительных проходов модели во время обработки промпта.
06Упрощение производственного развертывания с NVIDIA NIM и NVIDIA Dynamo
Для упрощения развертывания в продакшене NVIDIA предлагает NVIDIA NIM — пакеты моделей с оптимизированными движками вывода, проверенными конфигурациями и стандартными API для облачного и дата-центрового развертывания. NIM получает постоянные обновления безопасности, функций и производительности. Корпоративная поддержка доступна через NVIDIA AI Enterprise.
NVIDIA Dynamo поддерживает распределенные оптимизации вывода для увеличения пропускной способности и снижения задержки, включая маршрутизацию, aware к KV-кэшу, управление KV-кэшем и дисагрегированное обслуживание. На 16 GPU NVIDIA B200 при 50 токенов в секунду на пользователя, маршрутизация, aware к KV-кэшу, с аффинностью сессии и выгрузкой KV-кэша, обслуживает до 8 раз больше пользователей, снижая задержку первого токена на 85%.
07Что это значит на практике
Для разработчиков и CTO-руководителей, рассматривающих внедрение AI-агентов, Nemotron 3.5 Super VL предлагает четкий путь к созданию масштабируемых, эффективных и точных решений. Во-первых, открытость модели и наличие инструментов NeMo позволяют не зависеть от проприетарных черных ящиков. Вы можете обучить модель на своих данных, внедрить свои политики безопасности и интегрировать свои внутренние инструменты. Во-вторых, оптимизации, такие как LiLiCorr и NVFP4, делают развертывание экономически выгодным. Снижение стоимости вывода в 40 раз, как в кейсе Scale AI, может превратить AI-проект из убыточного в рентабельный. В-третьих, мультимодальность означает, что вам не нужно строить сложную экосистему из разных моделей. Один Nemotron 3.5 Super VL может заменить несколько специализированных сервисов, упрощая архитектуру и снижая операционные расходы.
Начать работу можно с загрузки базовых, пост-обученных и квантованных NVFP4 чекпоинтов с Hugging Face или ModelScope. Для развертывания используйте руководства по использованию Nemotron 3.5 Super VL на GitHub или обратитесь к NVIDIA NIM для оптимизированного развертывания. Партнерская экосистема, включающая такие компании, как Scale AI, Ramp, AI21, Databricks и Fireworks AI, уже готова помочь с кастомизацией и внедрением. В мире, где скорость и точность принятия решений становятся ключевыми конкурентными преимуществами, Nemotron 3.5 Super VL предоставляет мощный инструмент для создания агентов нового поколения.
Источник: NVIDIA Developer ↗