Onderzoekers van Polymathic AI, Princeton University, USC ISI, NYU en het Flatiron Institute hebben FlashMap gepubliceerd, een ‘drafter’ voor speculatieve decodering van taalmodel(len). Volgens het team kan het de generatie op Qwen3-8B tot 6,14 keer versnellen zonder het resultaat aan te passen. De gewichten van de drafter voor Qwen3-8B en Qwen3-4B zijn beschikbaar op Hugging Face.
Speculatieve decodering laat een klein hulpmodel meerdere tokens (de teksteenheden die een model verwerkt) voorstellen, die het grote model vervolgens in één keer verifieert. FlashMap stelt in één keer een volledig blok van 16 tokens voor, en volgens de auteurs blijven de tokens binnen dat blok onderling consistent. De drafter heeft 0,5 miljard parameters, dat zijn 500 miljoen voor Qwen3-8B en 475 miljoen voor Qwen3-4B, en draait op dezelfde GPU als het doelmodel.
Waarom verliezen drafters bij diffusie aan nauwkeurigheid?
De drafter DFlash voorspelt elke positie in het blok onafhankelijk, wat de onderzoekers een gefactoriseerde benadering noemen. De bron geeft het voorbeeld van een reeks woorden die even waarschijnlijk « new york » of « san diego » kan zijn. Een onafhankelijke drafter stelt dan in de helft van de gevallen « new diego » of « san york » voor, en het doelmodel verwerpt deze reeksen bij de tweede positie.
FlashMap bouwt voort op Flow Map Language Models. Elke ruismonster komt overeen met een volledig blok, en deze ruis bepaalt gezamenlijk welke versie voor elke positie wordt behouden. De drafter is een diffusietransformer (DiT) met 6 blokken, een embeddingdimensie van 2048 en 16 aandachtskoppen. Het leest de verborgen toestanden van de lagen 1,9, 17,25 en 33 van het doelmodel.
Resultaten bekendgemaakt op negen benchmarks
De onderzoekers hebben EAGLE-3 en DFlash opnieuw getraind op dezelfde data en onder dezelfde condities, en vervolgens de drafters getest op negen benchmarks voor wiskunde, code en chat, bij temperaturen van 0 en 1. Volgens de bron is FlashMap met één stap de snelste drafter op elke geteste taak op Qwen3-8B, bij beide temperaturen. Het overtreft DFlash qua acceptatielengte in 15 van de 18 configuraties, met ongeveer de helft van zijn parameters.
In de tweestapsmodus overtreft de acceptatielengte die van DFlash in 18 van de 18 configuraties, met gemiddeld 10% betere prestaties. De auteurs geven ook aan dat FlashMap op Qwen3-4B bij temperatuur 0 op 4 van de 9 taken wordt overtroffen door DFlash. De laagste gerapporteerde versnelling is een winst van 2,28 keer op Alpaca bij temperatuur 1. Het model is getraind op 500.000 samples van Open-PerfectBlend, in totaal ongeveer 4.600 rekentuuren op H200’s.
Voor implementatie heeft het flashmap-pakket alleen torch en transformers nodig in versie 4.56 of hoger, en de projecten geven gebruikspaden aan via vLLM 0.31 en SGLang 0.5.20. De gewichten zijn gepubliceerd onder de Apache-2.0-licentie en de code onder de MIT-licentie.
