NVIDIA AI publiceert Nemotron-Labs-Sigma, een continu diffuus taalmodel in 14 checkpoints van 3B en 8B

NVIDIA AI publiceert Nemotron-Labs-Sigma, een continu diffuus taalmodel in 14 checkpoints van 3B en 8B
3 min lezen

NVIDIA heeft Nemotron-Labs-Sigma uitgebracht, een verzameling van 14 open checkpoints, beschikbaar in 3B en 8B parameters. Deze familie van taalmiddelen valt onder de continue diffusie: het ontruist tekst in een vloeiende latente ruimte van 16 dimensies. Volgens het team van NVIDIA maakt deze aanpak voor tekst de distillatie in weinig stappen en het sturen van generatietrajecten beter uitvoerbaar.

De meeste diffusiemodellen, zoals LLaDA of Dream, werken op discrete tokens, dat wil zeggen teksteenheden die als afzonderlijke statussen worden behandeld. Sigma opereert in een continue ruimte: elke token wordt vertegenwoordigd door een punt in een embeddingruimte, een numerieke representatie die door het model wordt geleerd. Tijdens de training wordt Gaussische ruis toegevoegd aan deze representaties, en het model leert deze te verwijderen. De geometrie van deze ruimte wordt gelijktijdig met de ontruizer geleerd.

Een architectuur en training in meerdere fasen

De generatie gebeurt per blok. Elk ontruist blok wordt opgeslagen in een KV-cache, een geheugen dat reeds uitgevoerde berekeningen bewaart, voordat het volgende begint. Standaard bevatten de blokken 64 tokens. De architectuur rust op een Transformer-decoder van het type Ministral, met grouped query attention, SwiGLU en rotary embeddings.

De training begint met autoregressieve voorpretraining, dat wil zeggen generatie woord voor woord, op ongeveer 1T tokens. Het gaat verder met ongeveer 0,3T tokens aan diffusietraining. Voor inferentie raadt de modelkaart een classifier-free guidance van 3 en een scoretemperatuur van 0,3 aan, met 32 DDIM-stappen. De contextvenster van het basismodel is 4.096 tokens, en voor Sigma-8B-instruct 8.192 tokens.

Op de zes-taak benchmark suite van NVIDIA behaalt Sigma-8B basis een gemiddelde van 71,16, voor NLD-8B (70,22), Dream-7B (58,74) en LLaDA-8B (41,78). Qwen3-8B, in autoregressieve modus, scoort 68,91. Het model onderscheidt zich in programmeren, met 65,12 op HumanEval tegenover 62,80 voor NLD-8B, maar blijft achter op MBPP, met 65,74 tegenover 67,00.

Na supervised fine-tuning behaalt Sigma-8B-instruct 91,96 op GSM8K, 78,40 op MATH-500 en 82,50 op HumanEval. Moeilijk redeneren blijft beperkt, met 23,33 op AIME24 en 17,00 op AIME25. Het gemiddelde over tien taken bereikt 59,14, iets onder dat van NLD-8B, op 59,92. Deze scores zijn evaluaties uitgevoerd door NVIDIA.

Snelheid en implementatie

De gedistilleerde variant Sigma-distill-8B-nfe8 decodeert elk blok van 32 tokens in acht aanroepen van de ontruizer, plus een finale lezing. De kaart geeft een gemiddelde aan van 70,34 op zes taken, met 88,44 op GSM8K en 65,18 op HumanEval. De distill-spec varianten voegen speculatieve decodering toe: een diffusiekop stelt een blok van 32 tokens voor, dat de autoregressieve kop van het model verifieert. Volgens NVIDIA is het resultaat identiek aan dat van een gulzige autoregressieve decodering.

Op een GB200 met SGLang is het speculatieve 8B-model gemiddeld 3,46 keer sneller dan autoregressieve decodering, tegenover 3,04 keer voor NLD-8B. De pieken bereiken 4,20 keer voor de 8B en 3,18 keer voor de 3B. Deze metingen zijn zelfgerapporteerd door NVIDIA.

De 14 checkpoints zijn beschikbaar op Hugging Face onder de NVIDIA Nemotron Open Model-licentie, waarvan de kaarten aangeven dat commercieel gebruik is toegestaan. Ze vereisen een CUDA GPU in bfloat16, onder de Ampere, Lovelace, Hopper of Blackwell-architecturen, en ondersteunen geen CPU-inferentie. Op een H100 genereert het basismodel ongeveer 120 tot 140 tokens per seconde. NVIDIA host geen API.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x