Diffusietaalmodellen produceren tekst door een gemaskeerde reeks geleidelijk te verfijnen, terwijl GPT-modellen token voor token genereren. Deze techniek, al bekend van beeldgeneratoren, trok in 2025 de aandacht van de gemeenschap met LLaDA, Mercury en Gemini Diffusion, en vervolgens in 2026 met DiffusionGemma van Google, vooral vanwege de snelle inferentie.
Twee manieren om tekst te genereren
GPT-modellen zijn autoregressief: ze schatten de volgende token op basis van reeds geproduceerde tokens. Tijdens training kunnen meerdere posities parallel worden verwerkt, maar bij inferentie moet elke token op de vorige wachten, wat een seriële afhankelijkheidsprobleem veroorzaakt. Een token duidt hier op een teksteenheid, vaak een woordfragment, dat het model manipuleert.
Een gemaskeerd diffusiemodel vertrekt daarentegen van een volledig met gevulde reeks, dat wil zeggen van onbekende posities, en onthult geleidelijk de woorden. Het kan er meerdere per stap kiezen, zonder noodzakelijk van links naar rechts te gaan. Voor de zin « The cat sat down » voegt een autoregressief model elk beurt een woord toe, terwijl het diffusiemodel meerdere posities tegelijk invult en de reeks verfijnt tot de volledige zin is verkregen. Beide benaderingen gebruiken transformer-architecturen, maar hun doelstellingen en inferentieprocedures verschillen: de eerste verlengen een reeks, de tweede verfijnen ze.
Hoe diffusiemodellen werken
Voor beelden berust diffusie op twee processen. Het directe proces degradeert schone data door geleidelijk ruis toe te voegen, terwijl het inverse proces een neuraal netwerk traint om deze degradatie ongedaan te maken, meestal met een gemiddelde kwadratische foutfunctie. Tijdens sampling vindt deze correctie plaats in vele stappen.
Tekst vormt een moeilijkheid, omdat tokens discrete identificaties zijn en geen continue waarden zoals pixels. De degradatie gebeurt dus door tokens te vervangen door , waarbij elke token wordt gemaskeerd met een kans gelijk aan een corruptieniveau tussen 0 en 1. Bij inferentie initialiseert een sampler de gemaskeerde posities, voorspelt een verdeling over de woordenschat voor elke onopgeloste positie, en beslist welke voorspellingen te behouden. Deze keuze berust meestal op een vertrouwensmaat. Het proces herhaalt zich tot de hele reeks is ingevuld. Sommige samplers kunnen ook reeds gevalideerde tokens opnieuw maskeren, een operatie genaamd revisie, wat geen gemeenschappelijke eigenschap is van alle modellen.
Deze modellen gebruiken bovendien een bidirectionele aandacht binnen de reeks die wordt gedebruist, terwijl GPT alleen de voorgaande posities ziet. Een gemaskeerd woord kan dus steunen op de voorafgaande en volgende context, wat nuttig is voor bewerking en gestructureerde generatie. Volgens de auteur kan diffusie ook winnen in reële latentie wanneer GPU’s posities efficiënt parallel verwerken, maar kwaliteit blijft doorslaggevend: autoregressieve modellen blijven beter presteren op bepaalde benchmarks voor redeneren en code. De resultaten van DiffusionGemma 26B vergeleken met Gemma 26B staan in de modelfiche, waarvan het referentieartikel over probabilistische denoisende diffusiemodellen de oorsprong van deze aanpak is.
De openstaande uitdagingen
Afhankelijkheden tussen tokens vormen het eerste obstakel. Als twee posities parallel worden gesamplet, kan elk afzonderlijk plausibel lijken terwijl ze inconsistent zijn met elkaar, wat meer denoisestappen of gekoppelde sampling kan vereisen. Het samplingbudget stelt een andere vraag: het aantal stappen verminderen verbetert de latentie maar kan de kwaliteit aantasten, terwijl meer iteraties het snelheidsvoordeel teniet kunnen doen.
De variabele lengte van antwoorden is ook niet natuurlijk voor een vaste maskergrootte, hoewel blokgebaseerde of flexibelere benaderingen dit proberen aan te pakken. Ten slotte wordt de sleutel-waardecache (KV), die generatie versnelt door reeds gemaakte berekeningen te onthouden, moeilijker te benutten, omdat bidirectionele verfijning de representaties van een heel blok kan wijzigen. Blokgebaseerde decodering, die voltooide blokken bevriest, helpt dit probleem te omzeilen.
