NVIDIA opublikowała Nemotron-Labs-Sigma, kolekcję 14 otwartych checkpointów, dostępnych w wariantach 3B i 8B parametrów. Ta rodzina modeli językowych opiera się na ciągłej dyfuzji: denoisuje tekst w gładkiej 16-wymiarowej przestrzeni latentnej. Według zespołu NVIDIA, takie podejście sprawia, że dla tekstu bardziej praktyczne stają się destylacja w niewielkiej liczbie kroków oraz sterowanie trajektoriami generowania.
Większość modeli dyfuzyjnych, takich jak LLaDA czy Dream, operuje na dyskretnych tokenach, czyli jednostkach tekstu traktowanych jako odrębne stany. Sigma działa w przestrzeni ciągłej: każdy token jest reprezentowany przez punkt w przestrzeni embeddingów, czyli numerycznej reprezentacji uczonej przez model. Podczas treningu do tych reprezentacji dodawany jest szum gaussowski, a model uczy się go usuwać. Geometria tej przestrzeni jest uczona jednocześnie z denoiserem.
Architektura i wielofazowy trening
Generowanie odbywa się blokowo. Każdy odszumiony blok jest zapisywany w pamięci podręcznej KV, która przechowuje już wykonane obliczenia, zanim rozpocznie się następny. Domyślnie bloki mają 64 tokeny. Architektura opiera się na dekoderze Transformer typu Ministral, z grupową uwagą zapytań, SwiGLU i rotacyjnymi embeddingami.
Trening rozpoczyna się od wstępnego treningu autoregresyjnego, czyli generowania słowo po słowie, na około 1T tokenów. Następnie kontynuowany jest treningiem dyfuzyjnym na około 0,3T tokenów. Do inferencji karta modelu zaleca prowadzenie bez klasyfikatora o wartości 3 i temperaturę wyników 0,3, z 32 krokami DDIM. Kontekstowy zakres modelu bazowego wynosi 4 096 tokenów, a dla Sigma-8B-instruct – 8 192 tokeny.
W zestawie benchmarków NVIDIA składającym się z sześciu zadań, bazowy Sigma-8B osiąga średnią 71,16, wyprzedzając NLD-8B (70,22), Dream-7B (58,74) i LLaDA-8B (41,78). Qwen3-8B w trybie autoregresyjnym uzyskuje 68,91. Model wyróżnia się w programowaniu, z wynikiem 65,12 na HumanEval wobec 62,80 dla NLD-8B, ale pozostaje w tyle na MBPP, z 65,74 wobec 67,00.
Po nadzorowanym dostrojeniu, Sigma-8B-instruct osiąga 91,96 na GSM8K, 78,40 na MATH-500 i 82,50 na HumanEval. Trudne rozumowanie pozostaje ograniczone, z wynikami 23,33 na AIME24 i 17,00 na AIME25. Jego średnia z dziesięciu zadań wynosi 59,14, nieznacznie poniżej wyniku NLD-8B, który osiąga 59,92. Są to oceny przeprowadzone przez NVIDIA.
Szybkość i wdrożenie
Wariant zdestylowany Sigma-distill-8B-nfe8 dekoduje każdy blok 32 tokenów w ośmiu wywołaniach denoisera, plus jedno końcowe odczytanie. Jego karta wskazuje średnią 70,34 na sześciu zadaniach, z wynikami 88,44 na GSM8K i 65,18 na HumanEval. Warianty distill-spec dodają dekodowanie spekulatywne: głowica dyfuzyjna proponuje blok 32 tokenów, który jest weryfikowany przez autoregresyjną głowicę modelu. Według NVIDIA, wynik jest identyczny z zachłannym dekodowaniem autoregresyjnym.
Na GB200 z SGLang, spekulatywny model 8B jest średnio 3,46 razy szybszy niż dekodowanie autoregresyjne, wobec 3,04 razy dla NLD-8B. Szczyty osiągają 4,20 razy dla wersji 8B i 3,18 razy dla wersji 3B. Są to pomiary samodzielnie zgłoszone przez NVIDIA.
14 checkpointów jest dostępnych na Hugging Face na licencji NVIDIA Nemotron Open Model, której karty wskazują, że dopuszcza ona użycie komercyjne. Wymagają one GPU CUDA w formacie bfloat16, spośród architektur Ampere, Lovelace, Hopper lub Blackwell, i nie obsługują inferencji na CPU. Na H100 model bazowy generuje około 120 do 140 tokenów na sekundę. NVIDIA nie hostuje żadnego API.
