NVIDIA выпустила Nemotron-Labs-Sigma — коллекцию из 14 открытых контрольных точек на 3B и 8B параметров. Это семейство языковых моделей относится к непрерывной диффузии: оно удаляет шум из текста в гладком 16-мерном латентном пространстве. По мнению команды NVIDIA, этот подход делает для текста более практичными дистилляцию за малое количество шагов и управление траекториями генерации.
Большинство диффузионных моделей, таких как LLaDA или Dream, работают с дискретными токенами, то есть единицами текста, обрабатываемыми как отдельные состояния. Sigma работает в непрерывном пространстве: каждый токен представлен точкой в пространстве эмбеддингов — числовым представлением, изученным моделью. Во время обучения к этим представлениям добавляется гауссовский шум, и модель учится его удалять. Геометрия этого пространства изучается одновременно с моделью-дениазером.
Многоэтапная архитектура и обучение
Генерация происходит блоками. Каждый очищенный от шума блок сохраняется в кэше ключей-значений (KV cache) — памяти, которая хранит уже выполненные вычисления, прежде чем начнется следующий. По умолчанию блоки состоят из 64 токенов. Архитектура основана на декодере Transformer типа Ministral с групповым вниманием, SwiGLU и ротационными эмбеддингами.
Обучение начинается с авторегрессивного предобучения, то есть генерации слово за словом, на примерно 1T токенов. Затем следует около 0,3T токенов обучения методом диффузии. Для вывода в документации модели рекомендуется бесклассификаторное управление (CFG) с коэффициентом 3 и температурой оценки 0,3 при 32 шагах DDIM. Контекстное окно базовой модели составляет 4096 токенов, а у Sigma-8B-instruct — 8192 токена.
В наборе бенчмарков NVIDIA из шести задач базовая Sigma-8B показывает средний результат 71,16, опережая NLD-8B (70,22), Dream-7B (58,74) и LLaDA-8B (41,78). Qwen3-8B в авторегрессивном режиме набирает 68,91. Модель выделяется в программировании, набирая 65,12 на HumanEval против 62,80 у NLD-8B, но отстает на MBPP — 65,74 против 67,00.
После контролируемой тонкой настройки Sigma-8B-instruct набирает 91,96 на GSM8K, 78,40 на MATH-500 и 82,50 на HumanEval. Сложные рассуждения остаются ограниченными: 23,33 на AIME24 и 17,00 на AIME25. Ее средний результат по десяти задачам достигает 59,14, что немного ниже показателя NLD-8B (59,92). Эти оценки проведены NVIDIA.
Скорость и развертывание
Дистиллированный вариант Sigma-distill-8B-nfe8 декодирует каждый блок из 32 токенов за восемь вызовов дениазера плюс финальное чтение. В его документации указан средний результат 70,34 по шести задачам, с 88,44 на GSM8K и 65,18 на HumanEval. Варианты distill-spec добавляют спекулятивное декодирование: голова диффузии предлагает блок из 32 токенов, который проверяется авторегрессивной головой модели. По заявлению NVIDIA, результат идентичен жадному авторегрессивному декодированию.
На системе GB200 с SGLang спекулятивная модель на 8B параметров в среднем в 3,46 раза быстрее авторегрессивного декодирования, против 3,04 раза для NLD-8B. Пиковые значения достигают 4,20x для 8B и 3,18x для 3B. Эти измерения предоставлены самой NVIDIA.
14 контрольных точек доступны на Hugging Face по лицензии NVIDIA Nemotron Open Model, в документации которой указано, что она разрешает коммерческое использование. Для работы требуется GPU CUDA с поддержкой bfloat16 из архитектур Ampere, Lovelace, Hopper или Blackwell; вывод на процессоре не поддерживается. На H100 базовая модель генерирует примерно 120–140 токенов в секунду. NVIDIA не предоставляет API-хостинг.
