Революция в пространстве эмбеддингов
Nemotron-Labs-Sigma — это первая крупномасштабная семейная модель языка, использующая непрерывную диффузию. В отличие от традиционных LLM, работающих с дискретными токенами, Sigma оперирует в обученном 16-мерном латентном пространстве. Процесс генерации строится на «очистке» (denoising) текста: модель обучается удалять гауссов шум из эмбеддингов, что позволяет использовать плавные траектории ОДУ/СДУ. Это делает возможным эффективную дистилляцию за несколько шагов и точное управление качеством вывода.
Архитектура и масштаб
Семейство состоит из 14 чекпоинтов двух размеров — 3B и 8B параметров. Базовая архитектура — декодер-трансформер в стиле Ministral с групповой квантизацией внимания (GQA), SwiGLU и rotary embeddings. Обучение начиналось с авторегрессионного старта на ~1 трлн токенов, после чего следовало 0.3 трлн токенов диффузионного обучения. Контекстное окно составляет 4,096 токенов (8,192 для instruct-версий).
Бенчмарки: где Sigma сильна, а где слаба
На базовом наборе из 6 задач Sigma-8B (256 шагов DDPM) показывает средний балл 71.16, опережая NLD-8B (70.22), Dream-7B (58.74) и LLaDA-8B (41.78). Модель демонстрирует выдающиеся результаты в программировании, но испытывает трудности с сложной логикой.
| Метрика | Sigma-8B (Base) | NLD-8B | Dream-7B | LLaDA-8B |
|---|---|---|---|---|
| Средний балл (6 задач) | 71.16 | 70.22 | 58.74 | 41.78 |
| GSM8K (Математика) | 88.57 | 87.26 | 77.18 | 70.96 |
| HumanEval (Код) | 65.12 | 62.80 | 54.88 | 32.32 |
| MBPP (Код) | 65.74 | 67.00 | 56.80 | 40.80 |
| AIME25 (Сложная логика) | 17.00 | — | — | — |
Скорость и оптимизация
Ключевое преимущество Sigma — возможность быстрой дистилляции. Чекпоинт distill-8B-nfe8 (8 шагов) сохраняет качество на уровне учителя (70.34 против 71.16), но значительно ускоряет генерацию. Внедрение самоспекулятивного декодирования (self-speculative decoding) позволяет модели использовать собственную авторегрессионную голову для верификации блоков, сгенерированных диффузионной головой. На GPU GB200 это дает ускорение 3.46x по сравнению с обычным AR-декодированием (пиковое ускорение до 4.20x).
Деплой и требования
Все 14 моделей доступны на Hugging Face под лицензией NVIDIA Nemotron Open Model License. Поддерживается коммерческое использование. Для работы требуется CUDA GPU (Ampere, Lovelace, Hopper, Blackwell) в формате bfloat16. Поддержка CPU отсутствует. На одном H100 базовая модель генерирует 120–140 токенов в секунду. Для инференса рекомендуются vLLM, SGLang и Docker Model Runner.
Бенчмарки
| Бенчмарк | Dream-7B | LLaDA-8B | NLD-8B | Sigma-8B | Sigma-8B-instruct |
|---|---|---|---|---|---|
| Base 6-task avg | 58.74% | 41.78% | 70.22% | 71.16% | — |
| GSM8K | 77.18% | 70.96% | 87.26% | 88.57% | — |
| HumanEval | 54.88% | 32.32% | 62.8% | 65.12% | — |
| MBPP | 56.8% | 40.8% | 67% | 65.74% | — |
| Instruct 10-task avg | 40.54% | 37.24% | 59.92% | — | 59.14% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
