Investigadores de Polymathic AI, de Princeton University, de USC ISI, de NYU y del Flatiron Institute han publicado FlashMap, un « drafter » destinado a la decodificación especulativa de los modelos de lenguaje. Según el equipo, puede acelerar hasta 6,14 veces la generación en Qwen3-8B, sin modificar el resultado producido. Los pesos del drafter para Qwen3-8B y Qwen3-4B están disponibles en Hugging Face.
La decodificación especulativa consiste en hacer que un pequeño modelo auxiliar proponga varios tokens (las unidades de texto manipuladas por un modelo), que el gran modelo verifica luego en una sola pasada. FlashMap propone un bloque completo de 16 tokens de una vez, y según los autores, los tokens de este bloque permanecen coherentes entre sí. El drafter cuenta con 0,5 mil millones de parámetros, es decir, 500 millones para Qwen3-8B y 475 millones para Qwen3-4B, y funciona en la misma GPU que el modelo objetivo.
¿Por qué los drafters en difusión pierden precisión?
El drafter DFlash predice cada posición del bloque de forma independiente, lo que los investigadores denominan una aproximación factorizada. La fuente toma como ejemplo una secuencia de palabras que puede ser « new york » o « san diego » con probabilidades iguales. Un drafter independiente propone entonces « new diego » o « san york » una de cada dos, y el modelo objetivo rechaza esas secuencias en la segunda posición.
FlashMap se basa en los Flow Map Language Models. Cada muestra de ruido corresponde a un bloque completo, y ese ruido determina conjuntamente la versión retenida para cada posición. El drafter es un transformador de difusión (DiT) de 6 bloques, con una dimensión de embedding de 2048 y 16 cabezas de atención. Lee los estados ocultos de las capas 1,9, 17,25 y 33 del modelo objetivo.
Resultados anunciados en nueve benchmarks
Los investigadores reentrenaron EAGLE-3 y DFlash con los mismos datos y en las mismas condiciones, y luego probaron los drafters en nueve benchmarks que abarcan matemáticas, código y chat, a temperaturas de 0 y 1. Según la fuente, FlashMap en una etapa es el drafter más rápido en cada tarea probada en Qwen3-8B, a ambas temperaturas. Supera a DFlash en la longitud de aceptación en 15 configuraciones de 18, con aproximadamente la mitad de sus parámetros.
En modo de dos etapas, la longitud de aceptación supera a DFlash en 18 configuraciones de 18, con un 10 % mejor en promedio. Los autores también indican que en Qwen3-4B, a temperatura 0, FlashMap es superado por DFlash en 4 de las 9 tareas. El caso más bajo reportado es una ganancia de 2,28 veces en Alpaca a temperatura 1. El modelo se entrenó con 500 000 muestras provenientes de Open-PerfectBlend, para un total de aproximadamente 4 600 horas de cálculo en H200.
Para el despliegue, el paquete flashmap solo requiere torch y transformers en la versión 4.56 o superior, y los proyectos indican rutas de uso a través de vLLM 0.31 y SGLang 0.5.20. Los pesos se publican bajo licencia Apache-2.0 y el código bajo licencia MIT.
