Activación y cuantificación en coma flotante : conceptos básicos que hay que conocer

Activación y cuantificación en coma flotante : conceptos básicos que hay que conocer
4 min de lectura

La cuantificación de las activaciones, esos valores calculados durante la inferencia de un modelo de lenguaje, resulta más delicada que la de los pesos, fijados tras el entrenamiento. Según el artículo de Machine Learning Mastery, el método SmoothQuant y el formato FP8 ofrecen dos respuestas a este problema, y la biblioteca LLM Compressor, del proyecto vLLM, permite aplicarlas.

Por qué las activaciones son difíciles de cuantificar

Los pesos de una red son fijos una vez terminado el entrenamiento: pueden cuantificarse una sola vez, antes del despliegue. Las activaciones, en cambio, dependen del token procesado, de su posición en la secuencia y de las capas anteriores. Sus rangos de valores pueden cambiar de una consulta a otra, y algunos canales pueden contener valores extremos persistentes.

Dos enfoques coexisten. La cuantificación estática utiliza escalas calculadas durante una fase de calibración, lo cual es rápido, pero una entrada situada fuera del rango calibrado puede ser truncada. La cuantificación dinámica mide cada tensor en el momento de la ejecución: se adapta a cada entrada, pero añade un coste computacional. El artículo presenta, en particular, una cuantificación dinámica por token, en INT8 simétrico con signo, donde cada vector de la dimensión final recibe su propia escala.

La elección del rango plantea también un arbitraje. Cubrir el conjunto de los valores hace que el paso de cuantificación sea burdo para los valores comunes, mientras que la truncación mejora su precisión a costa de los valores extremos. La mejor opción depende de cómo los pesos siguientes utilicen ese vector.

SmoothQuant y el formato W8A8

La sigla W8A8 designa pesos y activaciones en INT8 para la multiplicación matricial. Cuando el hardware maneja eficientemente estos cálculos enteros, esta configuración puede reducir las transferencias de memoria y aumentar el rendimiento computacional. Los sesgos, la normalización o los residuos pueden permanecer en una precisión más elevada.

SmoothQuant trata los valores extremos desplazando parte de la dificultad de las activaciones hacia los pesos. El principio se basa en una transformación matemáticamente equivalente antes de la cuantificación: los canales de activación importantes se dividen por escalas mayores, mientras que las columnas de peso correspondientes se multiplican por las mismas escalas. El artículo precisa que esta transformación solo demuestra una equivalencia exacta; la implementación real deriva las escalas de las magnitudes de los pesos y de las activaciones de calibración.

El autor indica que una configuración W8A8 no está asegurada de ser más rápida que un formato W4A16 o BF16. El W8A8 puede aprovechar el cálculo matricial entero, en particular durante el precargado y para lotes grandes, mientras que el W4A16 lee menos bytes de pesos y puede convenir para la decodificación con lotes pequeños. El artículo recomienda medir ambas fases.

La cuantificación en coma flotante

El FP8 no consiste simplemente en quitar bits a un valor FP32. En un esquema FP8 escalado, el tensor se divide por una escala, y luego cada resultado se redondea a un valor FP8 representable. A diferencia del INT8, los valores del FP8 no están espaciados regularmente: son más finos cerca de cero y más espaciados para los valores grandes.

El artículo distingue, en particular, E4M3, con cuatro bits de exponente y tres bits de mantisa, y E5M2, con cinco bits de exponente y dos bits de mantisa. E4M3 ofrece mayor precisión, mientras que E5M2 ofrece un rango más extenso. La elección depende del hardware y del motor de inferencia.

Una receta de LLM Compressor llamada FP8_DYNAMIC convierte un modelo al formato Hugging Face, cuantificando los pesos por redondeo al más cercano y calculando las escalas de activación durante la inferencia. También se propone una variante que combina SmoothQuant y FP8. Según el artículo, las versiones actuales de vLLM admiten FP8 en las GPU NVIDIA Ada Lovelace, Hopper y Blackwell, así como en algunos aceleradores AMD, y recomienda verificar la matriz de compatibilidad para el hardware objetivo.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x