La cuantización weight-only aligera los modelos de IA

La cuantización weight-only aligera los modelos de IA
4 min de lectura

La cuantización de solo los pesos consiste en almacenar ciertos parámetros de un modelo transformador como enteros, manteniendo las activaciones en FP16 o BF16. Esta técnica busca reducir el espacio ocupado en memoria y el coste de lectura de los pesos, que pesa mucho durante la generación de texto. Un tutorial publicado recientemente detalla su principio matemático y luego las herramientas para aplicarlo con PyTorch y otros motores de inferencia.

Durante la generación, el modelo lee sus pesos en cada nuevo token, es decir, cada unidad de texto que produce. Con un tamaño de lote pequeño, el movimiento de estos pesos puede tomar más tiempo que el cálculo en sí. Un peso en INT8 ocupa la mitad de espacio que un peso en FP16 o BF16. La cuantización también puede acelerar el cálculo, ya que muchas GPU dedicadas a la IA ejecutan las operaciones matriciales en baja precisión más rápido que en FP16. Sin embargo, la ganancia real depende del hardware, de los núcleos de cálculo y de la forma de los modelos.

El principio de la escala y el punto cero

El método presentado se basa en una correspondencia afín asimétrica, que utiliza una escala y un punto cero. La escala fija la separación entre dos valores representables, mientras que el punto cero es el código entero correspondiente al cero real. Incluir el cero en el rango de valores permite representarlo exactamente. El tutorial precisa que este ejemplo ilustra el cálculo y no un almacenamiento eficiente: un tensor en uint8 ocupa un byte por elemento, incluso para menos de ocho bits. Las cuantizaciones por canal o por grupo preservan a menudo mejor la calidad de los pesos de un gran modelo de lenguaje, ya que cada canal o grupo dispone de su propio rango.

Con PyTorch, la función quantize_() de la biblioteca TorchAO reemplaza in situ los pesos de los módulos torch.nn.Linear. Aplicada a un modelo ya entrenado, corresponde a la cuantización post-entrenamiento, sin etapa de entrenamiento adicional. El tutorial muestra una configuración INT8 asimétrica por canal, con activaciones que permanecen en BF16. TorchAO también propone preajustes adaptados al hardware, como Int4WeightOnlyConfig, y la biblioteca transformers puede aplicar dicha configuración al cargar un modelo. El autor recomienda realizar mediciones de rendimiento en todo el modelo, ya que una configuración matemáticamente válida no es necesariamente la más rápida.

Gptq, awq y gguf

Los métodos GPTQ y AWQ utilizan datos de calibración para reducir el efecto de los errores de cuantización en las salidas del modelo. GPTQ cuantifica los pesos capa por capa y ajusta los pesos restantes para compensar los errores anteriores. La biblioteca transformers se basa ahora en GPT-QModel como motor GPTQ. AWQ, por Activation-aware Weight Quantization, identifica los pesos importantes según activaciones representativas, luego busca factores de escala que los protejan antes de la cuantización en baja precisión. Para este método, el tutorial utiliza la implementación de referencia llm-awq, cuyas instrucciones de instalación propias hay que seguir, y el modelo TinyLlama/TinyLlama-1.1B-Chat-v1.0. La búsqueda de los parámetros se basa en 128 muestras de la partición de validación de mit-han-lab/pile-val-backup, entrenadas en secuencias de 512 tokens.

El formato GGUF, utilizado en el ecosistema llama.cpp, sirve de contenedor para los metadatos, el tokenizador y los tensores cuantificados, pero no es un algoritmo de cuantización por sí solo. El flujo se desarrolla en dos etapas: conversión del modelo original a GGUF de alta precisión, en bfloat16, luego cuantización con el tipo Q4_K_M. Este tipo es mixto, ya que utiliza codificaciones diferentes según los tensores. Su tamaño de archivo no corresponde exactamente a cuatro bits por parámetro. El tutorial recuerda que hay que cuantificar a partir de la mejor fuente disponible, ya que una recuantificación acumula los errores de aproximación.

Según el tutorial, la evaluación debe centrarse en entradas representativas, con la perplejidad, la precisión en las tareas objetivo y la comparación de generaciones lado a lado. El script proporcionado mide, en una GPU CUDA, la memoria asignada en el pico y la duración mediana de generación del modelo FP16 y de la versión GPTQ de facebook/opt-125m. El tutorial concluye que la cuantización solo es útil si el formato, el esquema numérico, la disposición de los datos comprimidos y el núcleo de inferencia funcionan en conjunto.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x