Ricercatori di Polymathic AI, della Princeton University, dell’USC ISI, della NYU e del Flatiron Institute hanno pubblicato FlashMap, un « drafter » per il decoding speculativo dei modelli linguistici. Secondo il team, può accelerare fino a 6,14 volte la generazione su Qwen3-8B, senza modificare il risultato prodotto. I pesi del drafter per Qwen3-8B e Qwen3-4B sono disponibili su Hugging Face.
Il decoding speculativo consiste nel far proporre più token (le unità di testo manipolate da un modello) da un piccolo modello ausiliario, che il modello principale verifica poi in un’unica passata. FlashMap propone un intero blocco di 16 token in una volta, e secondo gli autori, i token di questo blocco rimangono coerenti tra loro. Il drafter conta 0,5 miliardi di parametri, cioè 500 milioni per Qwen3-8B e 475 milioni per Qwen3-4B, e funziona sulla stessa GPU del modello target.
Perché i drafter in diffusione perdono precisione?
Il drafter DFlash predice ogni posizione del blocco in modo indipendente, ciò che i ricercatori chiamano un’approssimazione fattorizzata. La fonte fa l’esempio di una sequenza di parole che può essere « new york » o « san diego » con probabilità uguali. Un drafter indipendente propone allora « new diego » o « san york » una volta su due, e il modello target rifiuta queste sequenze alla seconda posizione.
FlashMap si basa sui Flow Map Language Models. Ogni campione di rumore corrisponde a un blocco completo, e questo rumore determina congiuntamente la versione mantenuta per ogni posizione. Il drafter è un trasformatore di diffusione (DiT) a 6 blocchi, con una dimensione di embedding di 2048 e 16 teste di attenzione. Legge gli stati nascosti degli strati 1,9, 17,25 e 33 del modello target.
Risultati annunciati su nove benchmark
I ricercatori hanno riaddestrato EAGLE-3 e DFlash sugli stessi dati e nelle stesse condizioni, poi hanno testato i drafter su nove benchmark che coprono matematica, codice e chat, a temperature di 0 e 1. Secondo la fonte, FlashMap a un passo è il drafter più veloce su ogni task testata su Qwen3-8B, a entrambe le temperature. Supera DFlash sulla lunghezza di accettazione in 15 configurazioni su 18, con circa la metà dei suoi parametri.
In modalità due passi, la lunghezza di accettazione supera DFlash in 18 configurazioni su 18, con un 10% in più in media. Gli autori indicano anche che su Qwen3-4B, a temperatura 0, FlashMap è preceduto da DFlash su 4 delle 9 task. Il caso più debole riportato è un guadagno di 2,28 volte su Alpaca a temperatura 1. Il modello è stato addestrato su 500.000 campioni provenienti da Open-PerfectBlend, per un totale di circa 4.600 ore di calcolo su H200.
Per il deployment, il pacchetto flashmap richiede solo torch e transformers in versione 4.56 o superiore, e i progetti indicano percorsi di utilizzo via vLLM 0.31 e SGLang 0.5.20. I pesi sono pubblicati sotto licenza Apache-2.0 e il codice sotto licenza MIT.
