Новая линейка Nemotron 3.5: от дата-центров до десктопов
NVIDIA расширила семейство открытых моделей Nemotron, выпустив три новые архитектуры, охватывающие весь спектр развертывания AI-агентов. В центре внимания — Nemotron 3.5 Super VL (120 млрд параметров), а также две оптимизированные для периферии модели: Bolt 74B-A9B 24GB и Bolt E4B 4GB. Это позволяет организациям выбирать решения без компромисса между мощностью и возможностью локального развертывания.
Super VL: Точность уровня Frontier при 1/5 параметров
Модель Nemotron 3.5 Super VL, созданная совместно с Nemotron Coalition, демонстрирует передовую точность в мультимодальных задачах: следовании инструкциям, использовании инструментов, многошаговых бизнес-процессах и визуальном понимании. По качеству она сопоставима с крупнейшими моделями NVIDIA, но содержит лишь 1/5 параметров.
Ключевая метрика производительности — скорость. На платформе Artificial Analysis Intelligence Index Super VL показывает пропускную способность в 5 раз выше, чем у ближайших конкурентов в своем классе. Это критически важно для высоконагруженных рабочих процессов агентов, которые могут выполняться днями или неделями.
Bolt: Интеллект на краю сети (Edge)
Для локального запуска NVIDIA представила две модели Bolt, оптимизированные под разные сценарии использования ресурсов:
- Bolt 74B-A9B 24GB: Использует нативное 2-битное квантование, чтобы помещаться в 24 ГБ памяти. Предназначена для NVIDIA RTX/DGX Spark. Занимает #1 место в PinchBench и #2 в BrowseComp среди открытых моделей своего класса. Идеальна для веб-поиска, написания кода и отладки без отправки данных в облако.
- Bolt E4B 4GB: Оптимизирована для максимальной интеллектуальной плотности на гигабайт памяти. Запускается на GeForce RTX, Jetson и DGX Spark. Предназначена для голосовых ассистентов и интерактивных персонажей с поддержкой многошаговых агентов.
Практическое применение и кастомизация
Открытость весов и датасетов позволяет компаниям дообучать (post-train) модели под свои нужды. Среди ранних пользователей:
- Scale AI: Агенты для финансового аудита (Skydance) и M&A due diligence (EY).
- AfterQuery: Анализ кредитных соглашений для Hebbia.
- AI21 и Alice: Устойчивость к кибератакам.
- Mercor: Кодовые агенты, планирующие и пишущие код.
- Atlassian, CrowdStrike, Salesforce, Perplexity: Интеграция в корпоративные инструменты поиска, безопасности и автоматизации рабочих процессов.
Технические детали и доступность
Модель обучена на ~26 триллионах токенов и дообучена на 3.8 миллионах примеров с использованием обучения с подкреплением. NVIDIA предоставляет открытые датасеты на Hugging Face и инструменты в NeMo Gym. Для промышленного развертывания модель доступна через NVIDIA NIM (микроуслуги с обновлениями каждые две недели) и NVIDIA Dynamo, что позволяет обслуживать в 8 раз больше пользователей с задержкой на 85% ниже.
| Модель | Параметры / Память | Ключевая метрика / Место | Целевое оборудование |
|---|---|---|---|
| Nemotron 3.5 Super VL | 120B | В 5x быстрее аналогов (Artificial Analysis) | DGX, Cloud, RTX PRO |
| Bolt 74B-A9B | 24GB VRAM (2-bit quant) | #1 PinchBench, #2 BrowseComp | RTX/DGX Spark, GeForce RTX |
| Bolt E4B | 4GB VRAM | Оптимизация под голос/конверсацию | Jetson, GeForce RTX, Spark |
Модели Super VL и Bolt 74B-A9B доступны сейчас на Hugging Face, Open Router и ModelScope. Bolt E4B выйдет 23 октября.
Источник: NVIDIA Blog ↗