I modelli linguistici a diffusione producono un testo affinando progressivamente una sequenza mascherata, mentre i modelli GPT generano un token dopo l’altro. Questa tecnica, già nota nei generatori di immagini, ha attirato l’attenzione della comunità nel 2025 con LLaDA, Mercury e Gemini Diffusion, e poi nel 2026 con DiffusionGemma di Google, in particolare per la sua velocità di inferenza.
- I modelli a diffusione affinano una sequenza mascherata passo dopo passo.
- I modelli GPT generano un token alla volta, in modo autoregressivo.
- La diffusione può essere più veloce, ma i modelli autoregressivi restano più performanti su alcuni benchmark.
- Restano aperte le sfide delle dipendenze tra token, del budget di campionamento e della cache KV.
Due modi di generare testo
I modelli GPT sono autoregressivi: stimano il token successivo in base ai token già prodotti. Durante l’addestramento, più posizioni possono essere elaborate in parallelo, ma nell’inferenza, ogni token deve attendere il precedente, creando un problema di dipendenza seriale. Un token indica qui un’unità di testo, spesso un frammento di parola, che il modello manipola.
Un modello a diffusione mascherata parte invece da una sequenza completamente riempita con , cioè da posizioni sconosciute, e rivela progressivamente le parole. Può sceglierne diverse a ogni passo, senza necessariamente seguire l’ordine da sinistra a destra. Per la frase « The cat sat down », un modello autoregressivo aggiunge una parola a ogni turno, mentre il modello a diffusione riempie più posizioni contemporaneamente e affina la sequenza fino a ottenere la frase completa. Entrambi gli approcci utilizzano architetture transformer, ma i loro obiettivi e le procedure di inferenza differiscono: i primi prolungano una sequenza, i secondi la raffinano.
Come funzionano i modelli a diffusione
Per le immagini, la diffusione si basa su due processi. Il processo diretto degrada i dati puliti aggiungendo progressivamente rumore, mentre il processo inverso addestra una rete neurale a annullare questa degradazione, solitamente con una funzione di errore quadratico medio. Durante il campionamento, questa correzione avviene in molti passi.
Il testo pone una difficoltà, poiché i token sono identificatori discreti e non valori continui come i pixel. La degradazione avviene quindi sostituendo i token con , dove ogni token viene mascherato con una probabilità pari a un livello di corruzione compreso tra 0 e 1. Nell’inferenza, un campionatore inizializza le posizioni mascherate, predice una distribuzione sul vocabolario per ogni posizione non risolta, poi decide quali predizioni conservare. Questa scelta si basa generalmente su una misura di confidenza. Il processo si ripete fino a riempire l’intera sequenza. Alcuni campionatori possono anche rimascherare token già validati, un’operazione chiamata revisione, che non è una proprietà comune a tutti.
Questi modelli utilizzano inoltre un’attenzione bidirezionale all’interno della sequenza in fase di denoising, mentre GPT vede solo le posizioni precedenti. Una parola mascherata può così basarsi sul contesto che la precede e su quello che la segue, utile per l’editing e la generazione strutturata. Secondo l’autore, la diffusione può anche prevalere in latenza reale quando le GPU elaborano efficientemente le posizioni in parallelo, ma la qualità rimane determinante: i modelli autoregressivi restano più performanti su alcuni benchmark di ragionamento e codice. I risultati di DiffusionGemma 26B rispetto a Gemma 26B figurano nella scheda del modello, il cui articolo di riferimento sui modelli di diffusione probabilistica denoiser è l’origine di questo approccio.
Le sfide ancora aperte
Le dipendenze tra token costituiscono il primo ostacolo. Se due posizioni vengono campionate in parallelo, ciascuna può sembrare plausibile isolatamente ma incoerente con l’altra, il che può richiedere più passi di denoising o un campionamento accoppiato. Il budget di campionamento pone un’altra questione: ridurre il numero di passi migliora la latenza ma rischia di degradare la qualità, mentre moltiplicare i passaggi può annullare il vantaggio in velocità.
La lunghezza variabile delle risposte non è naturale nemmeno per una griglia mascherata di dimensione fissa, anche se approcci a blocchi o più flessibili cercano di rispondervi. Infine, la cache chiave-valore (KV), che accelera la generazione memorizzando calcoli già fatti, diventa più difficile da sfruttare, perché il raffinamento bidirezionale può modificare le rappresentazioni di un intero blocco. Il decoding a blocchi, che congela i blocchi terminati, aiuta a aggirare questo problema.
