Polymathic AI、プリンストン大学、USC ISI、NYU、Flatiron Instituteの研究者らは、言語モデルの推測デコード用「ドラフター」であるFlashMapを公開した。チームによると、Qwen3-8Bでの生成を最大6.14倍高速化でき、出力結果を変更しないという。Qwen3-8BおよびQwen3-4B用のドラフターの重みはHugging Faceで入手可能。
推測デコードは、補助的な小型モデルに複数のトークン（モデルが処理するテキスト単位）を提案させ、それを大型モデルが単一パスで検証する手法だ。FlashMapは一度に16トークンの完全なブロックを提案し、著者らによると、ブロック内のトークンは互いに一貫性を保つという。ドラフターは5億パラメータ（Qwen3-8B用は5億、Qwen3-4B用は4.75億）を持ち、ターゲットモデルと同じGPU上で動作する。
拡散型ドラフターはなぜ精度を失うのか？
ドラフターDFlashはブロックの各位置を独立に予測する。研究者らはこれを「分解近似」と呼ぶ。ソースは「new york」と「san diego」が等確率で現れる単語列を例に挙げる。独立型ドラフターは2回に1回「new diego」または「san york」を提案し、ターゲットモデルは2番目の位置でこれらの系列を拒否する。
FlashMapはFlow Map Language Modelsを基盤とする。各ノイズサンプルは完全なブロックに対応し、このノイズが各位置の保持バージョンを共同で決定する。ドラフターは6ブロックの拡散トランスフォーマー（DiT）で、埋め込み次元は2048、アテンションヘッドは16個。ターゲットモデルの第1、9、17、25、33層の隠れ状態を読み取る。
9つのベンチマークで報告された結果
研究者らはEAGLE-3とDFlashを同じデータ・条件で再学習させ、数学、コード、チャットをカバーする9ベンチマークを温度0および1でテストした。ソースによると、1段階のFlashMapはQwen3-8Bの全テストタスクで両温度において最速のドラフターだった。18設定中15でDFlashを受理長で上回り、パラメータ数は約半分。
2段階モードでは、受理長が18設定全てでDFlashを上回り、平均10%優れた。著者らはまた、Qwen3-4Bでは温度0において、9タスク中4つでFlashMapがDFlashに遅れをとると述べている。報告された最低の高速化は温度1のAlpacaでの2.28倍。モデルはOpen-PerfectBlendの50万サンプルで学習され、H200上で合計約4,600計算時間を要した。
デプロイメントでは、flashmapパッケージはtorchとtransformers（バージョン4.56以上）のみを必要とし、vLLM 0.31およびSGLang 0.5.20経由の利用パスが示されている。重みはApache-2.0ライセンス、コードはMITライセンスで公開された。
