В мире искусственного интеллекта, где гонка за параметрами кажется бесконечной, NVIDIA делает неожиданный и стратегически важный ход. Компания выпустила Nemotron 3.5 Super VL, новую открытую модель «видение-язык» (vision-language), спроектированную специально для работы в режиме «всегда включен» (always-on) в корпоративных агентах. Это не просто еще одна большая языковая модель; это архитектурный сдвиг, который объединяет понимание текста, изображений, документов и видео в единую систему, способную к сложным рассуждениям, вызову инструментов и написанию кода.
Для разработчиков и инженеров, работающих с ИИ, это событие знаменует конец эры необходимости поддерживать разрозненные модели для разных типов данных. Теперь одна контрольная точка (checkpoint) заменяет отдельную текстовую модель и отдельную визуальную модель. Но самое интересное кроется не только в архитектуре, но и в доступности: NVIDIA опубликовала веса под лицензией OpenMDW-1.1, а также открытые датасеты, рецепты обучения и среды для обучения с подкреплением (RL) в NeMo Gym. Давайте разберемся, что скрывается за цифрами 120B и 12B, и как эта технология изменит ландшафт локального и облачного ИИ.
01Архитектурный прорыв: Mamba-2, MoE и NVFP4
Сердцем Nemotron 3.5 Super VL является гибридная архитектура, которая сочетает в себе лучшие черты современных подходов к обработке последовательностей. Бэкбон модели чередует слои Mamba-2 (эффективные селективные механизмы внимания), слои mixture-of-experts (MoE) и стандартные слои внимания. Каждый слой MoE содержит 512 маршрутизируемых экспертов, что позволяет модели эффективно масштабировать вычислительные ресурсы только для тех частей данных, которые требуют сложной обработки.
Для обработки визуальной информации используется кодировщик C-RADIO, который вместе с коннектором передает изображения, страницы документов и кадры видео в языковой бэкбон. Это позволяет модели не просто «видеть» картинку, но и глубоко анализировать ее контекст в связке с текстовыми инструкциями.
Особое внимание NVIDIA уделила скорости инференса, внедрив четыре ключевые техники:
- Multi-token prediction: Нативный «драфтер» (черновик) предлагает несколько токенов одновременно, которые затем верифицируются за один проход вперед. Это значительно ускоряет генерацию.
- LiLiCorr: Специализированный спекулятивный драфтер, оптимизированный для DGX Spark, способный ускорить генерацию токенов до 2.3 раз.
- NVFP4 с дистилляцией, aware к квантованию: Использование 4-битных весов и активаций на архитектуре Blackwell, и 4-битных весов с 16-битными активациями на других платформах. Это критически важно для снижения требований к памяти без значительной потери качества.
- Context reuse: Кэширование префиксов сохраняет как кэши внимания, так и состояния Mamba между ходами агента, что особенно полезно в многошаговых сценариях.
02Обучение и данные: От 26 триллионов токенов до RL
Модель была дистиллирована из более крупной Nemotron 3 Ultra, но процесс обучения Super VL был тщательно отточен. Команда NVIDIA обучала модель на примерно 26 триллионах токенов. Это колоссальный объем данных, включающий не только стандартный интернет-корпус, но и специализированные данные для кодирования и рассуждений.
Пост-обучение (post-training) включало около 3.8 миллионов образцов, а также обучение с подкреплением (RL) в десятках различных сред. Отдельно стоит отметить продолженное предварительное обучение (continued pretraining) на 10 миллиардах токенов на языках индийской группы (Indic tokens), что расширяет мультиязычные возможности модели.
Важно отметить, что NVIDIA также опубликовала открытые датасеты и среды NeMo Gym. Это дает исследователям возможность не только использовать модель, но и воспроизводить результаты, а также дообучать ее под свои нужды, что является редкостью для корпоративных решений такого масштаба.
03Производительность: Лидерство в рассуждениях и коде
Результаты тестирования Nemotron 3.5 Super VL впечатляют, особенно если учитывать, что она активизирует только 12 миллиардов параметров из 120 миллиардов общих. Ниже приведены ключевые метрики,reported NVIDIA, для контрольной точки NVFP4:
- GPQA-Diamond (Рассуждения): 89.90 — это один из самых высоких показателей среди открытых моделей, демонстрируя способность к сложному научному и логическому мышлению.
- SWE-bench Verified (Кодирование): 71.07 — модель эффективно решает задачи по исправлению багов в реальном коде.
- Terminal-Bench 2.1: 60.80 — успешное выполнение задач в терминальной среде.
- BrowseComp (Веб-агент): 77.5 — высокая эффективность в навигации по веб-страницам и сборе информации.
- CharXiv reasoning (Графики): 79.88 — отличная способность интерпретировать сложные диаграммы и графики.
Однако, как и у любой модели, есть и слабые места. На бенчмарке tau3-bench banking (долгосрочные агенты в банковской сфере) модель показала результат 17.78. Это указывает на то, что в сложных, многошаговых сценариях с высокими требованиями к точности и соблюдению регуляторики модель все еще нуждается в доработке или дополнительной настройке.
Интересно сравнить Super VL с ее «старшим братом» Nemotron 3 Ultra. Несмотря на то, что Ultra имеет в 4.6 раза больше параметров, Super VL превосходит ее на агентных бенчмарках. Например, на Hermes Bench Super VL набирает 63.44% против 56.33% у Ultra, а на LangChain evals — 87.05% против 84.3%. Это доказывает эффективность дистилляции и оптимизации архитектуры.
04Сравнение с конкурентами: Qwen3.5 и Inkling-Small
Чтобы понять место Nemotron 3.5 Super VL в экосистеме, сравним ее с ключевыми открытыми конкурентами: Qwen3.5-122B-A10B от Alibaba и Inkling-Small от Thinking Machines Lab.
| Характеристика | Nemotron 3.5 Super VL | Qwen3.5-122B-A10B | Inkling-Small |
|---|---|---|---|
| Параметры (всего / активные) | 120B / 12B | 122B / 10B | 276B / 12B |
| Контекст | До 1M | 262k (расширяемо до 1M) | Не раскрыто |
| GPQA Diamond | 89.90 | 86.6 | 89.5 |
| SWE-bench Verified | 71.07 | 72.0 | 80.2 (bash-only) |
| IFBench | 71.50 | 76.1 | 82.2 |
| BrowseComp | 77.5 | 63.8 | 77.4 |
Как видно из таблицы, Nemotron 3.5 Super VL лидирует в задачах рассуждений (GPQA) и веб-агентности (BrowseComp), уступая Qwen и Inkling в некоторых аспектах следования инструкциям (IFBench) и чистого кодирования (SWE-bench, где Inkling показывает очень высокие результаты, но на специфичном harness). Важно помнить, что бенчмарки могут отличаться версиями и методами оценки, поэтому разница в несколько пунктов должна восприниматься с осторожностью.
05Деплой и локальный запуск: Доступность для всех
Одной из главных сильных сторон Nemotron 3.5 Super VL является ее гибкость в развертывании. Модель доступна на Hugging Face, OpenRouter, ModelScope и как NVIDIA NIM. Поддерживаемые рантаймы включают vLLM, SGLang и TensorRT-LLM для архитектур Blackwell и Hopper. Для локального запуска доступны llama.cpp и Unsloth.
Ключевое преимущество — возможность запуска на относительно скромном оборудовании благодаря квантованию NVFP4. Модель может работать на:
- 1x DGX Spark
- 1x H200
- 2x H100
- 1x GB200
Для корпоративного использования NVIDIA предлагает рецепты Dynamo, которые добавляют KV-aware routing. Это позволяет обслуживать в 8 раз больше пользователей при той же скорости (50 токенов в секунду на пользователя) и снижает задержку первого токена (first-token latency) на 85%.
06Nemotron 3.5 Bolt: Агенты на периферии
Параллельно с Super VL NVIDIA представила две более легкие модели серии Bolt, предназначенные для локального запуска на edge-устройствах.
Nemotron 3.5 Bolt 74B-A9B — это модель, дистиллированная из Super VL, с нативным 2-битным квантованием. Она помещается в 24 ГБ памяти, что делает ее доступной для систем с RTX и DGX Spark. Эта модель занимает 1-е место среди открытых моделей в своем классе на PinchBench и 2-е место на BrowseComp. Она уже доступна на Hugging Face с поддержкой llama.cpp, Ollama, LM Studio, Unsloth и vLLM.
Bolt E4B 4GB выйдет 23 октября. Эта ультра-легкая модель (4 ГБ памяти) предназначена для голосовых помощников и встроенных агентов на GeForce RTX, Jetson и DGX Spark. Это открывает двери для создания ИИ-агентов, работающих автономно на устройствах без постоянного подключения к облаку.
07Что это значит на практике
Выпуск Nemotron 3.5 Super VL и Bolt-серии знаменует переход от экспериментального ИИ к промышленному внедрению. Для разработчиков это означает:
- Упрощение стека: Одна модель заменяет несколько. Больше не нужно настраивать пайплайны для separate text и vision models.
- Экономия затрат: Благодаря NVFP4 и MoE-архитектуре, стоимость инференса снижается в разы, что делает ИИ-агентов экономически viable для массового использования.
- Локальная приватность: Возможность запуска на DGX Spark или даже RTX-картах позволяет обрабатывать конфиденциальные данные (финансовые документы, медицинские записи) без отправки их в облако.
- Гибкость: Открытые веса и лицензии OpenMDW-1.1 позволяют компаниям адаптировать модель под свои нужды, не боясь юридических ограничений.
Однако, как и в любом новом продукте, есть нюансы. Слабые результаты на tau3-bench banking указывают на то, что для критически важных долгосрочных задач все еще требуется человеческий контроль или дополнительная дообучка. Тем не менее, Nemotron 3.5 Super VL устанавливает новый стандарт для открытых мультимодальных агентов, делая мощные возможности ИИ доступными для широкого круга разработчиков и предприятий.
Следите за обновлениями в экосистеме NVIDIA NeMo и не забудьте проверить технические отчеты и cookbooks на официальном сайте, чтобы начать работу с этой революционной моделью уже сегодня.
Источник: MarkTechPost ↗