Diffusions-Sprachmodelle erzeugen Text, indem sie eine maskierte Sequenz schrittweise verfeinern, während GPT-Modelle Token für Token generieren. Diese Technik, bereits von Bildgeneratoren bekannt, erregte 2025 mit LLaDA, Mercury und Gemini Diffusion Aufmerksamkeit, dann 2026 mit Googles DiffusionGemma, vor allem wegen ihrer schnellen Inferenz.
- Diffusionsmodelle verfeinern eine maskierte Sequenz schrittweise, während GPT Token für Token erzeugt.
- Sie füllen mehrere Positionen parallel und nutzen bidirektionale Aufmerksamkeit.
- Ihre schnelle Inferenz ist ein Vorteil, doch autoregressive Modelle schneiden bei Logik und Code oft besser ab.
- Offen bleiben Token-Abhängigkeiten, das Sampling-Budget, variable Antwortlängen und der KV-Cache.
Zwei Arten, Text zu erzeugen
GPT-Modelle sind autoregressiv: Sie schätzen das nächste Token aus den bereits erzeugten Tokens. Während des Trainings können mehrere Positionen parallel verarbeitet werden, aber bei der Inferenz muss jedes Token auf das vorherige warten, was ein Problem der seriellen Abhängigkeit schafft. Ein Token bezeichnet hier eine Texteinheit, oft ein Wortfragment, das das Modell verarbeitet.
Ein Masked-Diffusion-Modell geht hingegen von einer vollständig mit gefüllten Sequenz aus, also unbekannten Positionen, und enthüllt schrittweise die Wörter. Es kann bei jedem Schritt mehrere auswählen, nicht unbedingt in der Reihenfolge von links nach rechts. Für den Satz « The cat sat down » fügt ein autoregressives Modell pro Runde ein Wort hinzu, während das Diffusionsmodell mehrere Positionen gleichzeitig füllt und die Sequenz verfeinert, bis der vollständige Satz entsteht. Beide Ansätze nutzen Transformer-Architekturen, aber ihre Ziele und Inferenzverfahren unterscheiden sich: Erstere verlängern eine Sequenz, Letztere verfeinern sie.
Wie Diffusionsmodelle funktionieren
Bei Bildern beruht Diffusion auf zwei Prozessen. Der Vorwärtsprozess verschlechtert saubere Daten durch schrittweises Hinzufügen von Rauschen, während der Umkehrprozess ein neuronales Netz trainiert, diese Verschlechterung rückgängig zu machen, typischerweise mit einem mittleren quadratischen Fehler. Beim Sampling erfolgt diese Korrektur in vielen Schritten.
Text stellt eine Schwierigkeit dar, da Tokens diskrete Identifikatoren und keine kontinuierlichen Werte wie Pixel sind. Die Verschlechterung erfolgt daher durch Ersetzen von Tokens durch , wobei jedes Token mit einer Wahrscheinlichkeit entsprechend einem Korruptionsgrad zwischen 0 und 1 maskiert wird. Bei der Inferenz initialisiert ein Sampler die maskierten Positionen, sagt für jede ungelöste Position eine Verteilung über das Vokabular voraus und entscheidet dann, welche Vorhersagen beibehalten werden. Diese Wahl basiert typischerweise auf einem Konfidenzmaß. Der Prozess wiederholt sich, bis die gesamte Sequenz gefüllt ist. Einige Sampler können bereits validierte Tokens auch wieder maskieren, ein Vorgang namens Revision, der nicht allen gemeinsam ist.
Diese Modelle verwenden zudem eine bidirektionale Aufmerksamkeit innerhalb der gerade entrauschten Sequenz, während GPT nur vorherige Positionen sieht. Ein maskiertes Wort kann sich somit auf vorangehenden und folgenden Kontext stützen, was der Bearbeitung und strukturierten Generierung dient. Laut Autor kann Diffusion auch bei echter Latenz punkten, wenn GPUs Positionen effizient parallel verarbeiten, aber die Qualität bleibt entscheidend: Autoregressive Modelle schneiden bei bestimmten Benchmarks für logisches Denken und Code weiterhin besser ab. Die Ergebnisse von DiffusionGemma 26B im Vergleich zu Gemma 26B finden sich in der Modellkarte, deren Referenzartikel über probabilistische denoising Diffusionsmodelle der Ursprung dieses Ansatzes ist.
Die offenen Herausforderungen
Abhängigkeiten zwischen Tokens sind das erste Hindernis. Wenn zwei Positionen parallel gesampelt werden, kann jede für sich plausibel erscheinen, aber inkonsistent mit der anderen sein, was mehr Entrauschungsschritte oder gekoppeltes Sampling erfordern kann. Das Sampling-Budget wirft eine weitere Frage auf: Die Anzahl der Schritte zu reduzieren verbessert die Latenz, riskiert aber Qualitätseinbußen, während mehr Durchläufe den Geschwindigkeitsvorteil zunichtemachen können.
Die variable Antwortlänge ist für eine feste Maske-Größe ebenfalls nicht natürlich, auch wenn blockbasierte oder flexiblere Ansätze darauf abzielen. Schließlich wird der Key-Value-Cache (KV), der die Generierung durch Speichern bereits erfolgter Berechnungen beschleunigt, schwieriger zu nutzen, da die bidirektionale Verfeinerung die Darstellungen eines gesamten Blocks ändern kann. Blockweises Decoding, das fertige Blöcke einfriert, hilft, dieses Problem zu umgehen.
