Die Quantisierung von Aktivierungen, also der während der Inferenz eines Sprachmodells berechneten Werte, erweist sich als schwieriger als die der nach dem Training feststehenden Gewichte. Laut dem Artikel von Machine Learning Mastery bieten die Methode SmoothQuant und das Format FP8 zwei Antworten auf dieses Problem, und die Bibliothek LLM Compressor aus dem vLLM-Projekt ermöglicht deren Anwendung.
Warum Aktivierungen schwer zu quantisieren sind
Die Gewichte eines Netzwerks sind nach Abschluss des Trainings fest: Sie können einmalig vor dem Deployment quantisiert werden. Aktivierungen hingegen hängen vom verarbeiteten Token, seiner Position in der Sequenz und den vorherigen Schichten ab. Ihre Wertebereiche können sich von Anfrage zu Anfrage ändern, und bestimmte Kanäle können persistierende Extremwerte enthalten.
Zwei Ansätze existieren nebeneinander. Die statische Quantisierung nutzt während einer Kalibrierungsphase berechnete Skalen, was schnell ist, aber eine Eingabe außerhalb des kalibrierten Bereichs kann abgeschnitten werden. Die dynamische Quantisierung misst jeden Tensor zur Laufzeit: Sie passt sich jeder Eingabe an, fügt aber Rechenkosten hinzu. Der Artikel stellt insbesondere eine dynamische Token-Quantisierung in symmetrischem, vorzeichenbehaftetem INT8 vor, bei der jeder Vektor der finalen Dimension seine eigene Skala erhält.
Die Wahl des Bereichs stellt auch einen Kompromiss dar. Das Abdecken aller Werte macht den Quantisierungsschritt für häufige Werte grob, während das Abschneiden ihre Genauigkeit auf Kosten der Extremwerte verbessert. Die beste Option hängt davon ab, wie die folgenden Gewichte diesen Vektor nutzen.
SmoothQuant und das W8A8-Format
Die Abkürzung W8A8 bezeichnet Gewichte und Aktivierungen in INT8 für die Matrixmultiplikation. Wenn die Hardware diese Ganzzahlberechnungen effizient handhabt, kann diese Konfiguration Speichertransfers reduzieren und den Rechendurchsatz erhöhen. Bias, Normalisierung oder Residuen können in höherer Präzision verbleiben.
SmoothQuant behandelt Extremwerte, indem es einen Teil der Schwierigkeit von den Aktivierungen auf die Gewichte verlagert. Das Prinzip beruht auf einer mathematisch äquivalenten Transformation vor der Quantisierung: Wichtige Aktivierungskanäle werden durch größere Skalen geteilt, während die entsprechenden Gewichtsspalten mit denselben Skalen multipliziert werden. Der Artikel präzisiert, dass diese Transformation nur eine exakte Äquivalenz demonstriert, die tatsächliche Implementierung leitet die Skalen aus den Größenordnungen der Kalibrierungsgewichte und -aktivierungen ab.
Der Autor weist darauf hin, dass eine W8A8-Konfiguration nicht garantiert schneller ist als ein W4A16- oder BF16-Format. W8A8 kann von der ganzzahligen Matrixberechnung profitieren, insbesondere beim Prefilling und bei großen Batches, während W4A16 weniger Gewichtsbytes liest und für kleines Batch-Decoding geeignet sein kann. Der Artikel empfiehlt, beide Phasen zu messen.
Die Fließkommaquantisierung
FP8 bedeutet nicht einfach, Bits von einem FP32-Wert zu entfernen. In einem skalierten FP8-Schema wird der Tensor durch eine Skala geteilt, und jedes Ergebnis wird auf einen darstellbaren FP8-Wert gerundet. Im Gegensatz zu INT8 sind die Werte in FP8 nicht gleichmäßig verteilt: Sie sind feiner nahe null und weiter auseinander für große Werte.
Der Artikel unterscheidet insbesondere E4M3, mit vier Exponentenbits und drei Mantissenbits, und E5M2, mit fünf Exponentenbits und zwei Mantissenbits. E4M3 bietet mehr Präzision, während E5M2 einen größeren Bereich abdeckt. Die Wahl hängt von Hardware und Inferenz-Engine ab.
Ein LLM Compressor-Rezept namens FP8_DYNAMIC konvertiert ein Modell ins Hugging Face-Format, quantisiert die Gewichte durch Rundung zur nächsten darstellbaren Zahl und berechnet die Aktivierungsskalen während der Inferenz. Eine Variante, die SmoothQuant und FP8 kombiniert, wird ebenfalls vorgeschlagen. Laut dem Artikel unterstützen aktuelle Versionen von vLLM FP8 auf NVIDIA Ada Lovelace-, Hopper- und Blackwell-GPUs sowie auf einigen AMD-Beschleunigern, und es wird empfohlen, die Kompatibilitätsmatrix für die Zielhardware zu prüfen.
