NVIDIA a publié Nemotron-Labs-Sigma, une collection de 14 points de contrôle ouverts, déclinés en 3B et 8B paramètres. Cette famille de modèles de langage relève de la diffusion continue : elle débruite le texte dans un espace latent lisse à 16 dimensions. Selon l’équipe de NVIDIA, cette approche rend plus praticables, pour le texte, la distillation en peu d’étapes et le pilotage des trajectoires de génération.
La plupart des modèles de diffusion, comme LLaDA ou Dream, travaillent sur des tokens discrets, c’est-à-dire des unités de texte traitées comme des états distincts. Sigma opère dans un espace continu : chaque token est représenté par un point d’un espace d’embedding, une représentation numérique apprise par le modèle. Pendant l’entraînement, un bruit gaussien est ajouté à ces représentations, et le modèle apprend à le retirer. La géométrie de cet espace est apprise en même temps que le débruiteur.
Une architecture et un entraînement en plusieurs phases
La génération se fait par blocs. Chaque bloc débruité est enregistré dans un cache KV, une mémoire qui conserve les calculs déjà effectués, avant que le suivant ne commence. Par défaut, les blocs comptent 64 tokens. L’architecture repose sur un décodeur Transformer de type Ministral, avec attention à requêtes groupées, SwiGLU et embeddings rotatifs.
L’entraînement commence par un préentraînement autorégressif, c’est-à-dire une génération mot après mot, sur environ 1T tokens. Il se poursuit avec environ 0,3T tokens d’entraînement par diffusion. Pour l’inférence, la fiche du modèle recommande un guidage sans classificateur de 3 et une température de score de 0,3, avec 32 étapes DDIM. La fenêtre de contexte du modèle de base est de 4,096 tokens, et de 8,192 tokens pour Sigma-8B-instruct.
Sur la suite de benchmarks à six tâches de NVIDIA, Sigma-8B de base affiche une moyenne de 71,16, devant NLD-8B (70,22), Dream-7B (58,74) et LLaDA-8B (41,78). Qwen3-8B, en mode autorégressif, obtient 68,91. Le modèle se distingue en programmation, avec 65,12 sur HumanEval contre 62,80 pour NLD-8B, mais il reste derrière sur MBPP, à 65,74 contre 67,00.
Après affinage supervisé, Sigma-8B-instruct obtient 91,96 sur GSM8K, 78,40 sur MATH-500 et 82,50 sur HumanEval. Le raisonnement difficile reste limité, avec 23,33 sur AIME24 et 17,00 sur AIME25. Sa moyenne sur dix tâches atteint 59,14, légèrement sous celle de NLD-8B, à 59,92. Ces scores sont des évaluations réalisées par NVIDIA.
Vitesse et déploiement
La variante distillée Sigma-distill-8B-nfe8 décode chaque bloc de 32 tokens en huit appels du débruiteur, plus une lecture finale. Sa fiche indique une moyenne de 70,34 sur six tâches, avec 88,44 sur GSM8K et 65,18 sur HumanEval. Les variantes distill-spec ajoutent un décodage spéculatif : une tête de diffusion propose un bloc de 32 tokens, que la tête autorégressive du modèle vérifie. Selon NVIDIA, le résultat est identique à celui d’un décodage autorégressif glouton.
Sur un GB200 avec SGLang, le modèle 8B spéculatif est en moyenne 3,46 fois plus rapide que le décodage autorégressif, contre 3,04 fois pour NLD-8B. Les pics atteignent 4,20 fois pour le 8B et 3,18 fois pour le 3B. Ces mesures sont auto-déclarées par NVIDIA.
Les 14 points de contrôle sont disponibles sur Hugging Face sous la licence NVIDIA Nemotron Open Model, dont les fiches indiquent qu’elle autorise un usage commercial. Ils exigent un GPU CUDA en bfloat16, parmi les architectures Ampere, Lovelace, Hopper ou Blackwell, et ne prennent pas en charge l’inférence sur processeur. Sur un H100, le modèle de base génère environ 120 à 140 tokens par seconde. NVIDIA n’héberge aucune API.
