Los modelos de lenguaje por difusión producen texto refinando progresivamente una secuencia enmascarada, mientras que los modelos GPT generan token tras token. Esta técnica, ya conocida en los generadores de imágenes, captó la atención de la comunidad en 2025 con LLaDA, Mercury y Gemini Diffusion, y luego en 2026 con DiffusionGemma de Google, destacando por su velocidad de inferencia.
- Los modelos por difusión refinan una secuencia enmascarada, mientras que GPT genera token tras token.
- Pueden completar varias posiciones en paralelo y usan atención bidireccional, lo que favorece la velocidad.
- Los modelos autorregresivos siguen siendo más eficaces en razonamiento y código.
- Persisten retos como las dependencias entre tokens, la longitud variable de las respuestas y la caché KV.
Dos formas de generar texto
Los modelos GPT son autorregresivos: estiman el siguiente token a partir de los tokens ya producidos. Durante el entrenamiento, varias posiciones pueden procesarse en paralelo, pero en la inferencia, cada token debe esperar al anterior, lo que crea un problema de dependencia serial. Un token designa aquí una unidad de texto, a menudo un fragmento de palabra, que el modelo manipula.
Un modelo de difusión enmascarada parte, por el contrario, de una secuencia completamente llena de , es decir, de posiciones desconocidas, y revela progresivamente las palabras. Puede elegir varias en cada etapa, sin seguir necesariamente el orden de izquierda a derecha. Para la frase « The cat sat down », un modelo autorregresivo añade una palabra en cada turno, mientras que el modelo por difusión llena varias posiciones a la vez y refina la secuencia hasta obtener la frase completa. Ambos enfoques utilizan arquitecturas transformer, pero sus objetivos y procedimientos de inferencia difieren: los primeros prolongan una secuencia, los segundos la refinan.
Cómo funcionan los modelos de difusión
Para las imágenes, la difusión se basa en dos procesos. El proceso directo degrada los datos limpios añadiendo progresivamente ruido, mientras que el proceso inverso entrena una red neuronal para deshacer esta degradación, generalmente con una función de error cuadrático medio. Durante el muestreo, esta corrección opera en numerosos pasos.
El texto plantea una dificultad, ya que los tokens son identificadores discretos y no valores continuos como los píxeles. La degradación se realiza, por tanto, reemplazando tokens por , donde cada token se enmascara con una probabilidad igual a un nivel de corrupción entre 0 y 1. En la inferencia, un muestreador inicializa las posiciones enmascaradas, predice una distribución sobre el vocabulario para cada posición no resuelta y luego decide qué predicciones conservar. Esta elección se basa generalmente en una medida de confianza. El proceso se repite hasta llenar toda la secuencia. Algunos muestreadores también pueden volver a enmascarar tokens ya validados, una operación llamada revisión, que no es una propiedad común a todos.
Estos modelos utilizan además una atención bidireccional dentro de la secuencia que se está limpiando de ruido, mientras que GPT solo ve las posiciones anteriores. Una palabra enmascarada puede así apoyarse en el contexto que la precede y el que la sigue, lo que sirve para la edición y la generación estructurada. Según el autor, la difusión también puede imponerse en latencia real cuando las GPU procesan eficientemente posiciones en paralelo, pero la calidad sigue siendo determinante: los modelos autorregresivos siguen siendo más eficaces en ciertos benchmarks de razonamiento y código. Los resultados de DiffusionGemma 26B comparados con Gemma 26B figuran en la ficha del modelo, cuyo artículo de referencia sobre modelos de difusión probabilística de eliminación de ruido es el origen de este enfoque.
Los desafíos que permanecen abiertos
Las dependencias entre tokens constituyen el primer obstáculo. Si dos posiciones se muestrean en paralelo, cada una puede parecer plausible de forma aislada mientras es incoherente con la otra, lo que puede requerir más etapas de eliminación de ruido o un muestreo acoplado. El presupuesto de muestreo plantea otra cuestión: reducir el número de etapas mejora la latencia pero puede degradar la calidad, mientras que multiplicar los pasos puede borrar la ventaja en velocidad.
La longitud variable de las respuestas tampoco es natural para una cuadrícula enmascarada de tamaño fijo, aunque enfoques por bloques o más flexibles buscan responder a ello. Por último, la caché clave-valor (KV), que acelera la generación memorizando cálculos ya realizados, se vuelve más difícil de explotar, ya que el refinamiento bidireccional puede modificar las representaciones de un bloque entero. La decodificación por bloques, que congela los bloques terminados, ayuda a sortear este problema.
