NVIDIA ha pubblicato Nemotron-Labs-Sigma, una collezione di 14 checkpoint aperti, disponibili nelle varianti da 3B e 8B parametri. Questa famiglia di modelli linguistici rientra nella diffusione continua: rimuove il rumore dal testo in uno spazio latente continuo a 16 dimensioni. Secondo il team di NVIDIA, questo approccio rende più praticabili, per il testo, la distillazione in poche fasi e il controllo delle traiettorie di generazione.
La maggior parte dei modelli di diffusione, come LLaDA o Dream, lavora su token discreti, cioè unità di testo trattate come stati distinti. Sigma opera in uno spazio continuo: ogni token è rappresentato da un punto in uno spazio di embedding, una rappresentazione numerica appresa dal modello. Durante l’addestramento, viene aggiunto rumore gaussiano a queste rappresentazioni, e il modello impara a rimuoverlo. La geometria di questo spazio viene appresa contemporaneamente al modello di denoising.
Un’architettura e un addestramento in più fasi
La generazione avviene per blocchi. Ogni blocco denoisato viene memorizzato in una cache KV, una memoria che conserva i calcoli già eseguiti, prima che inizi il successivo. Di default, i blocchi contengono 64 token. L’architettura si basa su un decoder Transformer di tipo Ministral, con attenzione a query raggruppate, SwiGLU e embedding rotazionali.
L’addestramento inizia con un pre-addestramento autoregressivo, cioè una generazione parola per parola, su circa 1T di token. Prosegue con circa 0,3T di token di addestramento per diffusione. Per l’inferenza, la scheda del modello raccomanda una guida senza classificatore di 3 e una temperatura di punteggio di 0,3, con 32 passi DDIM. La finestra di contesto del modello base è di 4.096 token, e di 8.192 token per Sigma-8B-instruct.
Sulla suite di benchmark a sei task di NVIDIA, Sigma-8B base mostra una media di 71,16, davanti a NLD-8B (70,22), Dream-7B (58,74) e LLaDA-8B (41,78). Qwen3-8B, in modalità autoregressiva, ottiene 68,91. Il modello si distingue nella programmazione, con 65,12 su HumanEval contro 62,80 di NLD-8B, ma rimane indietro su MBPP, a 65,74 contro 67,00.
Dopo un fine-tuning supervisionato, Sigma-8B-instruct ottiene 91,96 su GSM8K, 78,40 su MATH-500 e 82,50 su HumanEval. Il ragionamento complesso rimane limitato, con 23,33 su AIME24 e 17,00 su AIME25. La sua media su dieci task raggiunge 59,14, leggermente sotto quella di NLD-8B, a 59,92. Questi punteggi sono valutazioni effettuate da NVIDIA.
Velocità e distribuzione
La variante distillata Sigma-distill-8B-nfe8 decodifica ogni blocco di 32 token in otto chiamate del denoiser, più una lettura finale. La sua scheda indica una media di 70,34 su sei task, con 88,44 su GSM8K e 65,18 su HumanEval. Le varianti distill-spec aggiungono una decodifica speculativa: una testa di diffusione propone un blocco di 32 token, che viene verificato dalla testa autoregressiva del modello. Secondo NVIDIA, il risultato è identico a quello di una decodifica autoregressiva greedy.
Su un GB200 con SGLang, il modello 8B speculativo è in media 3,46 volte più veloce della decodifica autoregressiva, contro 3,04 volte per NLD-8B. I picchi raggiungono 4,20 volte per l’8B e 3,18 volte per il 3B. Queste misurazioni sono auto-dichiarate da NVIDIA.
I 14 checkpoint sono disponibili su Hugging Face sotto la licenza NVIDIA Nemotron Open Model, le cui schede indicano che autorizza l’uso commerciale. Richiedono una GPU CUDA in bfloat16, tra le architetture Ampere, Lovelace, Hopper o Blackwell, e non supportano l’inferenza su CPU. Su un H100, il modello base genera circa 120-140 token al secondo. NVIDIA non ospita alcuna API.
