Forscher von Polymathic AI, der Princeton University, des USC ISI, der NYU und des Flatiron Institute haben FlashMap veröffentlicht, einen « Drafter » für spekulative Dekodierung von Sprachmodellen. Laut dem Team kann es die Generierung auf Qwen3-8B um bis zu 6,14-fach beschleunigen, ohne das Ergebnis zu verändern. Die Gewichte des Drafters für Qwen3-8B und Qwen3-4B sind auf Hugging Face verfügbar.
Spekulative Dekodierung bedeutet, dass ein kleines Hilfsmodell mehrere Tokens (die Texteinheiten, die ein Modell verarbeitet) vorschlägt, die dann vom großen Modell in einem Durchgang überprüft werden. FlashMap schlägt einen kompletten Block von 16 Tokens auf einmal vor, und laut den Autoren bleiben die Tokens in diesem Block untereinander konsistent. Der Drafter hat 0,5 Milliarden Parameter, also 500 Millionen für Qwen3-8B und 475 Millionen für Qwen3-4B, und läuft auf derselben GPU wie das Zielmodell.
Warum verlieren Drafter bei Diffusion an Genauigkeit?
Der Drafter DFlash sagt jede Position im Block unabhängig voraus, was die Forscher als faktorisierte Approximation bezeichnen. Die Quelle nennt das Beispiel einer Wortfolge, die mit gleicher Wahrscheinlichkeit « new york » oder « san diego » sein kann. Ein unabhängiger Drafter schlägt dann in der Hälfte der Fälle « new diego » oder « san york » vor, und das Zielmodell lehnt diese Folgen an der zweiten Position ab.
FlashMap basiert auf Flow Map Language Models. Jedes Rauschmuster entspricht einem kompletten Block, und dieses Rauschen bestimmt gemeinsam die beibehaltene Version für jede Position. Der Drafter ist ein Diffusions-Transformer (DiT) mit 6 Blöcken, einer Embedding-Dimension von 2048 und 16 Aufmerksamkeitsköpfen. Er liest die verborgenen Zustände der Schichten 1,9, 17,25 und 33 des Zielmodells.
Angekündigte Ergebnisse auf neun Benchmarks
Die Forscher haben EAGLE-3 und DFlash mit denselben Daten und unter denselben Bedingungen neu trainiert und dann die Drafter auf neun Benchmarks getestet, die Mathematik, Code und Chat abdecken, bei Temperaturen von 0 und 1. Laut der Quelle ist FlashMap mit einem Schritt der schnellste Drafter bei jeder auf Qwen3-8B getesteten Aufgabe, bei beiden Temperaturen. Es übertrifft DFlash bei der Akzeptanzlänge in 15 von 18 Konfigurationen, mit etwa der Hälfte seiner Parameter.
Im Zwei-Schritt-Modus übertrifft die Akzeptanzlänge DFlash in 18 von 18 Konfigurationen, im Durchschnitt um 10 % besser. Die Autoren geben auch an, dass FlashMap auf Qwen3-4B bei Temperatur 0 von DFlash bei 4 der 9 Aufgaben übertroffen wird. Der schwächste berichtete Fall ist ein Gewinn von 2,28-fach auf Alpaca bei Temperatur 1. Das Modell wurde auf 500.000 Stichproben von Open-PerfectBlend trainiert, insgesamt etwa 4.600 Rechenstunden auf H200.
Für den Einsatz benötigt das Paket flashmap nur torch und transformers in Version 4.56 oder höher, und die Projekte geben Nutzungspfade über vLLM 0.31 und SGLang 0.5.20 an. Die Gewichte sind unter der Apache-2.0-Lizenz und der Code unter der MIT-Lizenz veröffentlicht.
