La quantification des seuls poids consiste à stocker certains paramètres d’un modèle de transformeur sous forme d’entiers, tout en gardant les activations en FP16 ou BF16. Cette technique vise à réduire la place occupée en mémoire et le coût de lecture des poids, qui pèse lourd lors de la génération de texte. Un tutoriel récemment publié détaille son principe mathématique, puis les outils permettant de l’appliquer avec PyTorch et d’autres moteurs d’inférence.
Lors de la génération, le modèle lit ses poids à chaque nouveau token, c’est-à-dire chaque unité de texte qu’il produit. À petite taille de lot, le déplacement de ces poids peut prendre plus de temps que le calcul lui-même. Un poids en INT8 occupe deux fois moins de place qu’un poids en FP16 ou BF16. La quantification peut aussi accélérer le calcul, car de nombreux GPU dédiés à l’IA exécutent les opérations matricielles en basse précision plus vite qu’en FP16. Le gain réel dépend toutefois du matériel, des noyaux de calcul et de la forme des modèles.
Le principe de l’échelle et du point zéro
La méthode présentée repose sur une correspondance affine asymétrique, qui utilise une échelle et un point zéro. L’échelle fixe l’écart entre deux valeurs représentables, tandis que le point zéro est le code entier correspondant au zéro réel. Inclure le zéro dans la plage de valeurs permet de le représenter exactement. Le tutoriel précise que cet exemple illustre le calcul et non un stockage efficace : un tenseur en uint8 occupe un octet par élément, même pour moins de huit bits. Les quantifications par canal ou par groupe préservent souvent mieux la qualité des poids d’un grand modèle de langage, puisque chaque canal ou groupe dispose de sa propre plage.
Avec PyTorch, la fonction quantize_() de la bibliothèque TorchAO remplace en place les poids des modules torch.nn.Linear. Appliquée à un modèle déjà entraîné, elle relève de la quantification post-entraînement, sans étape d’entraînement supplémentaire. Le tutoriel montre une configuration INT8 asymétrique par canal, avec des activations restant en BF16. TorchAO propose aussi des préréglages adaptés au matériel, comme Int4WeightOnlyConfig, et la bibliothèque transformers peut appliquer une telle configuration au chargement d’un modèle. L’auteur recommande d’effectuer des mesures de performances sur l’ensemble du modèle, car une configuration mathématiquement valide n’est pas forcément la plus rapide.
GPTQ, AWQ et GGUF
Les méthodes GPTQ et AWQ utilisent des données de calibration pour réduire l’effet des erreurs de quantification sur les sorties du modèle. GPTQ quantifie les poids couche par couche et ajuste les poids restants pour compenser les erreurs précédentes. La bibliothèque transformers s’appuie désormais sur GPT-QModel comme moteur GPTQ. AWQ, pour Activation-aware Weight Quantization, repère les poids importants selon des activations représentatives, puis cherche des facteurs d’échelle qui les protègent avant la quantification en faible précision. Pour cette méthode, le tutoriel utilise l’implémentation de référence llm-awq, dont il faut suivre les instructions d’installation propres, et le modèle TinyLlama/TinyLlama-1.1B-Chat-v1.0. La recherche des paramètres s’appuie sur 128 échantillons issus de la partition de validation de mit-han-lab/pile-val-backup, formés en séquences de 512 tokens.
Le format GGUF, utilisé dans l’écosystème llama.cpp, sert de conteneur pour les métadonnées, le tokenizer et les tenseurs quantifiés, mais il n’est pas un algorithme de quantification à lui seul. Le flux se déroule en deux étapes : conversion du modèle original en GGUF de haute précision, en bfloat16, puis quantification avec le type Q4_K_M. Ce type est mixte, car il utilise des encodages différents selon les tenseurs. Sa taille de fichier n’correspond donc pas exactement à quatre bits par paramètre. Le tutoriel rappelle qu’il faut quantifier à partir de la meilleure source disponible, une requantification cumulant les erreurs d’approximation.
Selon le tutoriel, l’évaluation doit porter sur des entrées représentatives, avec la perplexité, la précision sur les tâches visées et la comparaison de générations côte à côte. Le script fourni mesure, sur un GPU CUDA, la mémoire allouée au pic et la durée médiane de génération du modèle FP16 et de la version GPTQ de facebook/opt-125m. Le tutoriel conclut que la quantification n’est utile que si le format, le schéma numérique, la disposition des données compressées et le noyau d’inférence fonctionnent ensemble.
