La quantification des activations, ces valeurs calculées pendant l’inférence d’un modèle de langage, se révèle plus délicate que celle des poids, figés après l’entraînement. Selon l’article de Machine Learning Mastery, la méthode SmoothQuant et le format FP8 offrent deux réponses à ce problème, et la bibliothèque LLM Compressor, du projet vLLM, permet de les appliquer.
Pourquoi les activations sont difficiles à quantifier
Les poids d’un réseau sont fixes une fois l’entraînement terminé : ils peuvent être quantifiés une seule fois, avant le déploiement. Les activations, en revanche, dépendent du jeton traité, de sa position dans la séquence et des couches précédentes. Leurs plages de valeurs peuvent changer d’une requête à l’autre, et certains canaux peuvent contenir des valeurs extrêmes persistantes.
Deux approches coexistent. La quantification statique utilise des échelles calculées pendant une phase de calibration, ce qui est rapide, mais une entrée située hors de la plage calibrée peut être tronquée. La quantification dynamique mesure chaque tenseur au moment de l’exécution : elle s’adapte à chaque entrée, mais ajoute un coût de calcul. L’article présente notamment une quantification dynamique par jeton, en INT8 symétrique signé, où chaque vecteur de la dimension finale reçoit sa propre échelle.
Le choix de la plage pose aussi un arbitrage. Couvrir l’ensemble des valeurs rend le pas de quantification grossier pour les valeurs courantes, tandis que la troncature améliore leur précision au prix des valeurs extrêmes. La meilleure option dépend de la manière dont les poids suivants utilisent ce vecteur.
SmoothQuant et le format W8A8
Le sigle W8A8 désigne des poids et des activations en INT8 pour la multiplication matricielle. Lorsque le matériel gère efficacement ces calculs entiers, cette configuration peut réduire les transferts de mémoire et accroître le débit de calcul. Les biais, la normalisation ou les résidus peuvent rester dans une précision plus élevée.
SmoothQuant traite les valeurs extrêmes en déplaçant une partie de la difficulté des activations vers les poids. Le principe repose sur une transformation mathématiquement équivalente avant quantification : les canaux d’activation importants sont divisés par des échelles plus grandes, tandis que les colonnes de poids correspondantes sont multipliées par les mêmes échelles. L’article précise que cette transformation ne fait que démontrer une équivalence exacte, la mise en œuvre réelle dérivant les échelles des magnitudes des poids et des activations de calibration.
L’auteur indique qu’une configuration W8A8 n’est pas assurée d’être plus rapide qu’un format W4A16 ou BF16. Le W8A8 peut tirer parti du calcul matriciel entier, en particulier lors du préremplissage et pour les grands lots, alors que le W4A16 lit moins d’octets de poids et peut convenir au décodage à petits lots. L’article recommande de mesurer les deux phases.
La quantification en virgule flottante
Le FP8 ne consiste pas à retirer simplement des bits à une valeur FP32. Dans un schéma FP8 mis à l’échelle, le tenseur est divisé par une échelle, puis chaque résultat est arrondi à une valeur FP8 représentable. Contrairement à l’INT8, les valeurs du FP8 ne sont pas espacées régulièrement : elles sont plus fines près de zéro et plus espacées pour les grandes valeurs.
L’article distingue notamment E4M3, avec quatre bits d’exposant et trois bits de mantisse, et E5M2, avec cinq bits d’exposant et deux bits de mantisse. E4M3 offre davantage de précision, tandis que E5M2 offre une plage plus étendue. Le choix dépend du matériel et du moteur d’inférence.
Une recette LLM Compressor appelée FP8_DYNAMIC convertit un modèle au format Hugging Face, en quantifiant les poids par arrondi au plus proche et en calculant les échelles d’activation pendant l’inférence. Une variante combinant SmoothQuant et FP8 est également proposée. Selon l’article, les versions actuelles de vLLM prennent en charge le FP8 sur les GPU NVIDIA Ada Lovelace, Hopper et Blackwell, ainsi que sur certains accélérateurs AMD, et il recommande de vérifier la matrice de compatibilité pour le matériel visé.
