Суть релиза: Агенты на 4 ГБ VRAM
NVIDIA представила Nemotron 3.5 Bolt E4B, малую языковую модель (SLM) с 8 млрд общих параметров (4 млрд эффективных) и контекстным окном 64K. Ключевая особенность — оптимизация под локальные устройства (RTX, Jetson, Spark) для работы голосовых ассистентов, NPC в играх и робототехники. Модель занимает около 4 ГБ видеопамяти в квантованном виде, оставляя ресурсы для мультимодальных компонентов.
Уникальная методология обучения
В отличие от большинства SLM, NVIDIA полностью отказалась от обучения с учителем (SFT), так как оно ухудшало естественность диалога. Вместо этого использовалась только пост-обучение с подкреплением (RLVR и RLHF) через фреймворки NeMo-RL и NeMo-Gym. Батчи формировались в соотношении 2:1 (нерассуждающие : рассуждающие примеры), а штрафы за длину предотвращали разрастание ответов. Данные и рецепты обучения опубликованы под лицензией OpenMDW-1.1.
Бенчмарки: Лидер в диалогах, аутсайдер в длинных текстах
В сравнении с Gemma 4 E4B, Qwen3.5-4B и Nemotron 3 Nano 4B, Bolt показал доминирование в 15 из 21 тестах NVIDIA. Особенно выделяется результат IHEval (84.8), что критично для качества диалога. Однако модель уступает Qwen3.5-4B в задачах на длинные контексты (Tau2-Bench, LongBench v2).
| Бенчмарк | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | Qwen3.5-4B | Nemotron 3 Nano 4B |
|---|---|---|---|---|
| IHEval (Диалог) | 84.8 | 67.0 | 60.6 | 51.3 |
| MultiChallenge | 53.1 | 42.1 | 51.8 | 35.3 |
| Tau2-Bench (Длина) | 55.1 | 38.5 | 75.1 | 29.2 |
| RULER 64K | 87.0 | 86.5 | 95.1 | 91.5 |
Производительность на железе
Для ускорения инференса NVIDIA внедрила DFlash drafter для спекулятивного декодирования. На RTX 5070 Bolt выдает 272.6 токенов/с (на 21% быстрее Gemma 4 E4B). Ниже приведены замеры квантованной сборки Q4_K_M (llama.cpp, батч 1, 3K входных токенов):
| Устройство | VRAM (GB) | Время до первого токена (ms) | Скорость (tokens/s) |
|---|---|---|---|
| RTX 5070 (12GB) | 3.5 | 548 | 133.4 |
| RTX Spark (32GB) | 3.1 | 930 | 67.0 |
| Jetson AGX Orin (32GB) | 4.2 | 3,687 | 24.0 |
| Jetson Orin Nano (8GB) | 4.2 | 5,785 | 15.5 |
Где скачать и как использовать
Модель доступна в форматах GGUF (6.18 ГБ) и BF16 на Hugging Face, а также в Ollama, LM Studio и Unsloth. Для разработчиков игр доступна интеграция через In-Game Inferencing SDK, а для энтерпрайза — как NVIDIA NIM. Модель поддерживает многошаговый вызов инструментов (tool calling) и режим «conversational_mode» для кратких ответов, готовых к озвучке.
Бенчмарки
| Бенчмарк | Nemotron 3.5 Bolt E4B | Gemma 4 E4B | Nemotron 3 Nano 4B | Qwen3.5-4B |
|---|---|---|---|---|
| IHEval | 84.8% | 67% | 51.3% | 60.6% |
| Tau2-Bench | 55.1% | 38.5% | 29.2% | 75.1% |
| RULER 64K | 87% | 86.5% | 91.5% | 95.1% |
| MultiChallenge | 53.1% | 42.1% | 35.3% | 51.8% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗