NVIDIA ha publicado Nemotron-Labs-Sigma, una colección de 14 puntos de control abiertos, disponibles en versiones de 3B y 8B parámetros. Esta familia de modelos de lenguaje pertenece a la difusión continua: elimina el ruido del texto en un espacio latente suave de 16 dimensiones. Según el equipo de NVIDIA, este enfoque hace más viables, para el texto, la destilación en pocos pasos y el control de las trayectorias de generación.
La mayoría de los modelos de difusión, como LLaDA o Dream, trabajan sobre tokens discretos, es decir, unidades de texto tratadas como estados distintos. Sigma opera en un espacio continuo: cada token está representado por un punto en un espacio de embeddings, una representación numérica aprendida por el modelo. Durante el entrenamiento, se añade ruido gaussiano a estas representaciones, y el modelo aprende a eliminarlo. La geometría de este espacio se aprende al mismo tiempo que el desruidificador.
Una arquitectura y un entrenamiento en varias fases
La generación se realiza por bloques. Cada bloque desruidificado se almacena en una caché KV, una memoria que conserva los cálculos ya realizados, antes de que comience el siguiente. Por defecto, los bloques tienen 64 tokens. La arquitectura se basa en un decodificador Transformer tipo Ministral, con atención de consultas agrupadas, SwiGLU y embeddings rotativos.
El entrenamiento comienza con un preentrenamiento autorregresivo, es decir, una generación palabra tras palabra, sobre aproximadamente 1T tokens. Continúa con unos 0,3T tokens de entrenamiento por difusión. Para la inferencia, la ficha del modelo recomienda una guía sin clasificador de 3 y una temperatura de puntuación de 0,3, con 32 pasos DDIM. La ventana de contexto del modelo base es de 4.096 tokens, y de 8.192 tokens para Sigma-8B-instruct.
En la suite de benchmarks de seis tareas de NVIDIA, Sigma-8B base muestra un promedio de 71,16, por delante de NLD-8B (70,22), Dream-7B (58,74) y LLaDA-8B (41,78). Qwen3-8B, en modo autorregresivo, obtiene 68,91. El modelo destaca en programación, con 65,12 en HumanEval frente a 62,80 de NLD-8B, pero se queda atrás en MBPP, con 65,74 frente a 67,00.
Tras un ajuste supervisado, Sigma-8B-instruct obtiene 91,96 en GSM8K, 78,40 en MATH-500 y 82,50 en HumanEval. El razonamiento difícil sigue siendo limitado, con 23,33 en AIME24 y 17,00 en AIME25. Su promedio en diez tareas alcanza 59,14, ligeramente por debajo del de NLD-8B, que es de 59,92. Estas puntuaciones son evaluaciones realizadas por NVIDIA.
Velocidad y despliegue
La variante destilada Sigma-distill-8B-nfe8 decodifica cada bloque de 32 tokens en ocho llamadas al desruidificador, más una lectura final. Su ficha indica un promedio de 70,34 en seis tareas, con 88,44 en GSM8K y 65,18 en HumanEval. Las variantes distill-spec añaden un decodificado especulativo: una cabeza de difusión propone un bloque de 32 tokens, que la cabeza autorregresiva del modelo verifica. Según NVIDIA, el resultado es idéntico al de un decodificado autorregresivo voraz.
En un GB200 con SGLang, el modelo 8B especulativo es en promedio 3,46 veces más rápido que el decodificado autorregresivo, frente a 3,04 veces para NLD-8B. Los picos alcanzan 4,20 veces para el 8B y 3,18 veces para el 3B. Estas mediciones son auto-declaradas por NVIDIA.
Los 14 puntos de control están disponibles en Hugging Face bajo la licencia NVIDIA Nemotron Open Model, cuyas fichas indican que permite un uso comercial. Exigen una GPU CUDA en bfloat16, entre las arquitecturas Ampere, Lovelace, Hopper o Blackwell, y no admiten la inferencia en CPU. En un H100, el modelo base genera aproximadamente entre 120 y 140 tokens por segundo. NVIDIA no aloja ninguna API.
