AIKraft Agents
Главная/Блог/Аналитика/NVIDIA Nemotron-Labs-Sigma: Революция…
Аналитика5 мин чтения · 20 ноября 2026 г.

NVIDIA Nemotron-Labs-Sigma: Революция диффузии в LLM

NVIDIA представила Nemotron-Labs-Sigma — семейство моделей с непрерывной диффузией, которые генерируют текст в латентном пространстве, а не через дискретные токены. Разбираем, как это работает и почему это меняет правила игры.

NVIDIA Nemotron-Labs-Sigma: Революция диффузии в LLM

В мире больших языковых моделей (LLM) доминирующей парадигмой уже много лет остается авторегрессионная генерация. Мы привыкли к тому, что нейросеть предсказывает следующее слово, опираясь на предыдущие, шаг за шагом выстраивая текст. Однако NVIDIA, один из главных архитекторов современного ИИ-ландшафта, решила пойти по совершенно иному пути. Компания выпустила Nemotron-Labs-Sigma — первое крупномасштабное семейство языковых моделей, использующих непрерывную диффузию. Это не просто очередная итерация архитектуры, а фундаментальный сдвиг в том, как машины «думают» и формируют текст.

В отличие от традиционных моделей, которые работают с дискретными токенами (символами или словами), Sigma оперирует в гладком 16-мерном латентном пространстве. Представьте себе не лестницу, где каждый шаг — это конкретное слово, а плавное движение по кривой в многомерном пространстве смыслов. Это открывает невероятные возможности для управления процессом генерации, ускорения вывода и повышения качества ответов. В этой статье мы подробно разберем, что такое непрерывная диффузия, как устроена архитектура Sigma, какие результаты она показывает на бенчмарках и что это значит для разработчиков и энтузиастов ИИ.

01Что такое Nemotron-Labs-Sigma и почему это прорыв?

NVIDIA представила коллекцию из 14 открытых контрольных точек (checkpoints) в масштабах 3B (3 миллиарда параметров) и 8B (8 миллиардов параметров). Ключевая инновация заключается в том, что Sigma является семейством моделей непрерывной диффузии. В то время как большинство существующих диффузионных LLM, таких как LLaDA и Dream, работают с дискретными токенами (то есть «перепрыгивают» между конкретными словами в словаре), Sigma работает в плавном латентном пространстве.

Почему это важно? Дискретная диффузия часто сталкивается с проблемой «жесткости» траекторий: переход от одного токена к другому может быть резким и трудно управляемым. Непрерывное пространство, в котором работает Sigma, позволяет использовать методы, основанные на обыкновенных дифференциальных уравнениях (ODE) и стохастических дифференциальных уравнениях (SDE). Это делает возможным эффективную дистилляцию (сжатие модели для ускорения) и управление траекториями генерации. Проще говоря, мы можем точнее направлять модель к нужному результату, минуя лишние шаги вычислений.

💡
Ключевое отличие. Если традиционные LLM — это как печатная машинка, где вы нажимаете клавиши одну за другой, то Sigma — это как художник, который плавно наносит мазки кисти, формируя изображение в пространстве смыслов, а не просто собирая его из готовых деталей.

02Архитектура: Как устроена «мозговая» структура Sigma

Чтобы понять, как работает Sigma, нужно заглянуть под капот её архитектуры. Каждая единица текста (токен) маппируется в точку в обученном 16-мерном пространстве эмбеддингов. Процесс обучения включает добавление гауссовского шума к этим эмбеддингам и обучение модели (денойзера) удалять этот шум, восстанавливая исходные данные. Важно отметить, что геометрия эмбеддингов обучается совместно с денойзером, что создает единую, согласованную систему.

NVIDIA Nemotron-Labs-Sigma: Революция диффузии в LLM

Генерация текста в Sigma происходит блочно. Каждый очищенный блок фиксируется в кэше ключей и значений (KV-cache) перед тем, как начнется обработка следующего. По умолчанию размер блока составляет 64 токена. Базовая архитектура представляет собой декодер-только трансформер в стиле Ministral, использующий групповую запросную внимательность (grouped-query attention), активацию SwiGLU и ротационные эмбеддинги (RoPE).

Процесс обучения начинается с авторегрессионного «разогрева» (warm start) на около 1 триллиона токенов, что позволяет модели освоить базовые языковые паттерны. Затем следует этап диффузионного обучения на 0,3 триллиона токенов, где модель учится восстанавливать данные из шума в латентном пространстве. На этапе инференса (вывода) наибольшее влияние оказывают параметры guidance (направление) и temperature (температура). Рекомендации от команды NVIDIA: guidance 3 и температура 0,3 при использовании 32 шагов DDIM.

03Семейство моделей: 14 контрольных точек для разных задач

Команда NVIDIA не ограничилась одной моделью, а выпустила целое семейство, охватывающее различные сценарии использования. Коллекция включает 4 типа вариантов для каждого размера (3B и 8B), что дает разработчикам гибкость в выборе инструмента под конкретные задачи.

  • Base (Базовые): Sigma-3B и Sigma-8B. Это фундаментальные модели, обученные на больших корпусах текста без дополнительной настройки под конкретные инструкции. Они идеальны для дальнейшей дообучения (fine-tuning) под специфические задачи.
  • Instruct (Инструктивные): Sigma-3B-instruct и Sigma-8B-instruct. Эти модели прошли этап обучения с учителем (SFT) на наборах данных с инструкциями, что делает их готовыми к диалогу и выполнению задач по запросу пользователя.
  • Few-step distilled (Дистиллированные с малым числом шагов): Это, пожалуй, самая интересная часть для практиков. Здесь представлены модели distill-3B и distill-8B с количеством шагов по функции ошибки (NFE) 2, 4, 8 и 16. Всего 8 контрольных точек. Они созданы для максимальной скорости при сохранении приемлемого качества.
  • Self-speculative (Самоспекулятивные): distill-spec-3B и distill-spec-8B. Эти модели используют технику самоспекулятивного декодирования, что позволяет значительно ускорить генерацию без потери точности.
NVIDIA Nemotron-Labs-Sigma: Революция диффузии в LLM
📌
Важный факт. Все 14 контрольных точек доступны на Hugging Face под лицензией NVIDIA Nemotron Open Model License. Это означает, что модели готовы к коммерческому использованию, что является редкостью для таких передовых архитектур.

04Производительность: Где Sigma побеждает, а где отстает?

В официальных оценках NVIDIA модель Sigma-8B показывает результаты, превосходящие аналоги, работающие в режиме диффузии, такие как NLD-8B. Особенно выделяются способности модели к программированию: на бенчмарке HumanEval она демонстрирует заметное преимущество. Однако на сложных задачах логического мышления, таких как AIME25, результаты остаются ограниченными, что указывает на области для дальнейшего улучшения.

После этапа обучения с учителем (SFT) модель Sigma-8B-instruct демонстрирует высокие результаты на математических задачах (GSM8K) и наборах данных MATH-500. Тем не менее, её средний балл по 10 задачам немного уступает показателям NLD-8B. Важно отметить, что все эти оценки являются собственными результатами тестирования NVIDIA.

Что касается скорости, то запуск модели на одном GPU NVIDIA (в формате bfloat16) обеспечивает высокую скорость генерации. При этом модель не поддерживает работу на CPU и не имеет квантованных версий в текущем релизе. Дистиллированные версии модели позволяют существенно сократить количество шагов генерации, сохраняя при этом высокое качество ответов, что делает их привлекательными для практического применения.

Источник: MarkTechPost ↗