AIKraft Agents
Релиз модели20 ноября 2026 г., 21:18 МСК🤖 Auto

NVIDIA Nemotron-Labs-Sigma: первый LLM с непрерывной диффузией

NVIDIA выпустила 14 открытых чекпоинтов Nemotron-Labs-Sigma (3B/8B), использующих непрерывную диффузию в 16-мерном пространстве. Модель обходит NLD-8B по базовым метрикам и предлагает до 3.46x ускорения через самоспекулятивное декодирование.

Баннер новости 12416

Революция в пространстве эмбеддингов

Nemotron-Labs-Sigma — это первая крупномасштабная семейная модель языка, использующая непрерывную диффузию. В отличие от традиционных LLM, работающих с дискретными токенами, Sigma оперирует в обученном 16-мерном латентном пространстве. Процесс генерации строится на «очистке» (denoising) текста: модель обучается удалять гауссов шум из эмбеддингов, что позволяет использовать плавные траектории ОДУ/СДУ. Это делает возможным эффективную дистилляцию за несколько шагов и точное управление качеством вывода.

Архитектура и масштаб

Семейство состоит из 14 чекпоинтов двух размеров — 3B и 8B параметров. Базовая архитектура — декодер-трансформер в стиле Ministral с групповой квантизацией внимания (GQA), SwiGLU и rotary embeddings. Обучение начиналось с авторегрессионного старта на ~1 трлн токенов, после чего следовало 0.3 трлн токенов диффузионного обучения. Контекстное окно составляет 4,096 токенов (8,192 для instruct-версий).

Бенчмарки: где Sigma сильна, а где слаба

На базовом наборе из 6 задач Sigma-8B (256 шагов DDPM) показывает средний балл 71.16, опережая NLD-8B (70.22), Dream-7B (58.74) и LLaDA-8B (41.78). Модель демонстрирует выдающиеся результаты в программировании, но испытывает трудности с сложной логикой.

Метрика Sigma-8B (Base) NLD-8B Dream-7B LLaDA-8B
Средний балл (6 задач) 71.16 70.22 58.74 41.78
GSM8K (Математика) 88.57 87.26 77.18 70.96
HumanEval (Код) 65.12 62.80 54.88 32.32
MBPP (Код) 65.74 67.00 56.80 40.80
AIME25 (Сложная логика) 17.00 — — —

Скорость и оптимизация

Ключевое преимущество Sigma — возможность быстрой дистилляции. Чекпоинт distill-8B-nfe8 (8 шагов) сохраняет качество на уровне учителя (70.34 против 71.16), но значительно ускоряет генерацию. Внедрение самоспекулятивного декодирования (self-speculative decoding) позволяет модели использовать собственную авторегрессионную голову для верификации блоков, сгенерированных диффузионной головой. На GPU GB200 это дает ускорение 3.46x по сравнению с обычным AR-декодированием (пиковое ускорение до 4.20x).

Деплой и требования

Все 14 моделей доступны на Hugging Face под лицензией NVIDIA Nemotron Open Model License. Поддерживается коммерческое использование. Для работы требуется CUDA GPU (Ampere, Lovelace, Hopper, Blackwell) в формате bfloat16. Поддержка CPU отсутствует. На одном H100 базовая модель генерирует 120–140 токенов в секунду. Для инференса рекомендуются vLLM, SGLang и Docker Model Runner.

Бенчмарки

БенчмаркDream-7BLLaDA-8BNLD-8BSigma-8BSigma-8B-instruct
Base 6-task avg58.74%41.78%70.22%71.16%—
GSM8K77.18%70.96%87.26%88.57%—
HumanEval54.88%32.32%62.8%65.12%—
MBPP56.8%40.8%67%65.74%—
Instruct 10-task avg40.54%37.24%59.92%—59.14%

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗