NVIDIA AI veröffentlicht Nemotron-Labs-Sigma, ein kontinuierliches Diffusions-Sprachmodell in 14 Checkpoints zu 3B und 8B

NVIDIA AI veröffentlicht Nemotron-Labs-Sigma, ein kontinuierliches Diffusions-Sprachmodell in 14 Checkpoints zu 3B und 8B
3 Minuten Lesezeit

NVIDIA hat Nemotron-Labs-Sigma veröffentlicht, eine Sammlung von 14 offenen Checkpoints in den Varianten 3B und 8B Parametern. Diese Familie von Sprachmodellen gehört zur kontinuierlichen Diffusion: Sie enträuscht Text in einem glatten, 16-dimensionalen latenten Raum. Laut dem NVIDIA-Team macht dieser Ansatz für Text die Distillation in wenigen Schritten und die Steuerung von Generierungspfaden praktikabler.

Die meisten Diffusionsmodelle wie LLaDA oder Dream arbeiten mit diskreten Tokens, also Texteinheiten, die als separate Zustände behandelt werden. Sigma operiert in einem kontinuierlichen Raum: Jeder Token wird durch einen Punkt in einem Embedding-Raum repräsentiert, einer numerischen Darstellung, die das Modell lernt. Während des Trainings wird diesen Repräsentationen Gaußsches Rauschen hinzugefügt, und das Modell lernt, es zu entfernen. Die Geometrie dieses Raums wird gleichzeitig mit dem Entrauscher gelernt.

Eine mehrphasige Architektur und ein mehrphasiges Training

Die Generierung erfolgt blockweise. Jeder entrauschte Block wird in einem KV-Cache gespeichert, einem Speicher, der bereits durchgeführte Berechnungen bewahrt, bevor der nächste beginnt. Standardmäßig bestehen die Blöcke aus 64 Tokens. Die Architektur basiert auf einem Transformer-Decoder vom Typ Ministral mit Grouped Query Attention, SwiGLU und Rotary Embeddings.

Das Training beginnt mit einem autoregressiven Vortraining, also einer wortweisen Generierung, auf etwa 1T Tokens. Es wird mit etwa 0,3T Tokens Diffusionstraining fortgesetzt. Für die Inferenz empfiehlt das Modellsheet einen Classifier-Free Guidance-Wert von 3 und eine Score-Temperatur von 0,3 mit 32 DDIM-Schritten. Das Kontextfenster des Basismodells beträgt 4.096 Tokens und für Sigma-8B-instruct 8.192 Tokens.

Auf dem NVIDIA-Benchmark-Suite mit sechs Aufgaben erreicht das Basis-Modell Sigma-8B einen Durchschnitt von 71,16, vor NLD-8B (70,22), Dream-7B (58,74) und LLaDA-8B (41,78). Qwen3-8B im autoregressiven Modus erzielt 68,91. Das Modell zeichnet sich in der Programmierung aus, mit 65,12 auf HumanEval gegenüber 62,80 für NLD-8B, bleibt aber auf MBPP mit 65,74 gegenüber 67,00 zurück.

Nach supervised Fine-Tuning erreicht Sigma-8B-instruct 91,96 auf GSM8K, 78,40 auf MATH-500 und 82,50 auf HumanEval. Schwieriges Reasoning bleibt begrenzt, mit 23,33 auf AIME24 und 17,00 auf AIME25. Sein Durchschnitt über zehn Aufgaben erreicht 59,14, knapp unter dem von NLD-8B mit 59,92. Diese Werte sind von NVIDIA durchgeführte Evaluationen.

Geschwindigkeit und Deployment

Die distillierte Variante Sigma-distill-8B-nfe8 dekodiert jeden Block von 32 Tokens in acht Aufrufen des Entrauschers plus einem finalen Leseschritt. Ihr Datenblatt gibt einen Durchschnitt von 70,34 auf sechs Aufgaben an, mit 88,44 auf GSM8K und 65,18 auf HumanEval. Die Varianten distill-spec fügen spekulatives Decoding hinzu: Ein Diffusionskopf schlägt einen Block von 32 Tokens vor, den der autoregressive Kopf des Modells überprüft. Laut NVIDIA ist das Ergebnis identisch mit einem gierigen autoregressiven Decoding.

Auf einem GB200 mit SGLang ist das spekulative 8B-Modell im Durchschnitt 3,46-mal schneller als autoregressives Decoding, gegenüber 3,04-mal für NLD-8B. Die Spitzenwerte erreichen das 4,20-fache für das 8B- und das 3,18-fache für das 3B-Modell. Diese Messungen sind von NVIDIA selbst angegeben.

Die 14 Checkpoints sind auf Hugging Face unter der NVIDIA Nemotron Open Model-Lizenz verfügbar, deren Datenblätter eine kommerzielle Nutzung erlauben. Sie benötigen eine CUDA-GPU mit bfloat16-Unterstützung, basierend auf den Architekturen Ampere, Lovelace, Hopper oder Blackwell, und unterstützen keine CPU-Inferenz. Auf einem H100 generiert das Basismodell etwa 120 bis 140 Tokens pro Sekunde. NVIDIA hostet keine API.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x