Архитектура и производительность
NVIDIA Nemotron 3.5 Super VL — это открытая модель с архитектурой Mixture-of-Experts (MoE) на 120 миллиардов параметров. Ключевая особенность: в каждом токене активируется только 12 миллиардов параметров, что обеспечивает баланс между емкостью модели и эффективностью инференса. На одном GPU модель демонстрирует пропускную способность до 600 TPS (tokens per second) для агентных задач, что в 5 раз выше, чем у других открытых моделей аналогичного размера.
Мультимодальность в одном решении
В отличие от систем, требующих отдельных моделей для текста и изображений, Nemotron 3.5 Super VL обрабатывает текст, изображения, документы и видео в едином контуре. Это устраняет необходимость передачи контекста между компонентами. Модель поддерживает:
- Document Intelligence: анализ таблиц, графиков и макетов страниц.
- Video Understanding: поиск информации и анализ инцидентов.
- Tool Use: выполнение сложных многошаговых запросов с использованием внешних инструментов.
Результаты пост-обучения от партнеров
Компании Scale AI, Ramp и AI21 уже адаптировали модель под свои задачи, достигнув значительных улучшений в точности и скорости. Сравнение результатов приведено ниже:
| Компания | Задача | Результат оптимизации |
|---|---|---|
| Scale AI (Skydance) | Автоматизация обработки кредитов | Снижение стоимости инференса в 40 раз, задержка ниже в 5 раз |
| Ramp | Конвертация чеков в JSON | Пропускная способность выше на 50%, задержка ниже в 10 раз |
| AI21 (Alice) | Анализ угроз и уязвимостей | Точность повышена на 40% |
Инструменты для кастомизации
Разработчики могут дообучать модель с помощью NVIDIA NeMo (SFT, LoRA, RL) на открытых датасетах, опубликованных на Hugging Face. Для оптимизации инференса используются:
- LiLiCorr speculative decoding
- NVFP4 квантование с дистилляцией
- Многозадачное предсказание токенов
Модель доступна для развертывания на платформах NVIDIA DGX Spark и через NVIDIA NIM.
Бенчмарки
| Бенчмарк | NVIDIA Nemotron 3.5 Super VL | NVIDIA Nemotron 3 Nano Omni |
|---|---|---|
| CharXiv | 80.8% | 63% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: NVIDIA dev blog ↗