Die Weight-Only-Quantisierung speichert bestimmte Parameter eines Transformermodells als Ganzzahlen, während die Aktivierungen in FP16 oder BF16 bleiben. Diese Technik zielt darauf ab, den Speicherbedarf und die Kosten für das Einlesen der Gewichte zu reduzieren, was bei der Textgenerierung stark ins Gewicht fällt. Ein kürzlich veröffentlichtes Tutorial erläutert ihr mathematisches Prinzip und anschließend die Werkzeuge, um sie mit PyTorch und anderen Inferenz-Engines anzuwenden.
Während der Generierung liest das Modell seine Gewichte bei jedem neuen Token, also jeder Texteinheit, die es erzeugt. Bei kleiner Batch-Größe kann das Verschieben dieser Gewichte mehr Zeit in Anspruch nehmen als die Berechnung selbst. Ein Gewicht in INT8 nimmt halb so viel Platz ein wie eines in FP16 oder BF16. Die Quantisierung kann auch die Berechnung beschleunigen, da viele GPU für KI Matrixoperationen in niedriger Präzision schneller ausführen als in FP16. Der tatsächliche Gewinn hängt jedoch von der Hardware, den Rechenkernen und der Struktur der Modelle ab.
Das Prinzip von Skala und Nullpunkt
Die vorgestellte Methode basiert auf einer asymmetrischen affinen Abbildung, die eine Skala und einen Nullpunkt verwendet. Die Skala legt den Abstand zwischen zwei darstellbaren Werten fest, während der Nullpunkt der ganzzahlige Code ist, der dem realen Nullwert entspricht. Die Null in den Wertebereich einzubeziehen, ermöglicht ihre exakte Darstellung. Das Tutorial präzisiert, dass dieses Beispiel die Berechnung und nicht eine effiziente Speicherung veranschaulicht: Ein Tensor in uint8 belegt ein Byte pro Element, selbst bei weniger als acht Bits. Kanal- oder gruppenweise Quantisierung erhält oft besser die Qualität der Gewichte eines großen Sprachmodells, da jeder Kanal oder jede Gruppe ihren eigenen Wertebereich hat.
Mit PyTorch ersetzt die Funktion quantize_() der Bibliothek TorchAO direkt die Gewichte der torch.nn.Linear-Module. Auf ein bereits trainiertes Modell angewendet, fällt sie unter die Post-Training-Quantisierung ohne zusätzlichen Trainingsschritt. Das Tutorial zeigt eine kanalweise asymmetrische INT8-Konfiguration mit Aktivierungen, die in BF16 bleiben. TorchAO bietet auch hardwareangepasste Voreinstellungen wie Int4WeightOnlyConfig, und die Bibliothek transformers kann eine solche Konfiguration beim Laden eines Modells anwenden. Der Autor empfiehlt, Leistungsmessungen am gesamten Modell durchzuführen, da eine mathematisch gültige Konfiguration nicht unbedingt die schnellste ist.
Gptq, awq und gguf
Die Methoden GPTQ und AWQ verwenden Kalibrierungsdaten, um den Effekt von Quantisierungsfehlern auf die Modellausgaben zu reduzieren. GPTQ quantisiert die Gewichte Schicht für Schicht und passt die verbleibenden Gewichte an, um vorherige Fehler zu kompensieren. Die Bibliothek transformers stützt sich nun auf GPT-QModel als GPTQ-Engine. AWQ, für Activation-aware Weight Quantization, identifiziert wichtige Gewichte anhand repräsentativer Aktivierungen und sucht dann Skalierungsfaktoren, die sie vor der Quantisierung in niedriger Präzision schützen. Für diese Methode verwendet das Tutorial die Referenzimplementierung llm-awq, deren spezifische Installationsanweisungen zu befolgen sind, und das Modell TinyLlama/TinyLlama-1.1B-Chat-v1.0. Die Parametersuche basiert auf 128 Stichproben aus der Validierungspartition von mit-han-lab/pile-val-backup, trainiert in Sequenzen von 512 Tokens.
Das Format GGUF, das im llama.cpp-Ökosystem verwendet wird, dient als Container für Metadaten, Tokenizer und quantisierte Tensoren, ist aber selbst kein Quantisierungsalgorithmus. Der Ablauf erfolgt in zwei Schritten: Konvertierung des Originalmodells in hochpräzises GGUF in bfloat16, dann Quantisierung mit dem Typ Q4_K_M. Dieser Typ ist gemischt, da er je nach Tensor unterschiedliche Kodierungen verwendet. Seine Dateigröße entspricht daher nicht genau vier Bits pro Parameter. Das Tutorial erinnert daran, dass von der besten verfügbaren Quelle quantisiert werden muss, da eine erneute Quantisierung die Approximationsfehler kumuliert.
Laut Tutorial sollte die Evaluierung auf repräsentativen Eingaben basieren, mit Perplexität, Genauigkeit bei den Zielaufgaben und dem Vergleich von Generierungen im direkten Vergleich. Das bereitgestellte Skript misst auf einer CUDA-GPU den maximal belegten Speicher und die mittlere Generierungsdauer des FP16-Modells und der GPTQ-Version von facebook/opt-125m. Das Tutorial schließt damit, dass Quantisierung nur dann nützlich ist, wenn Format, numerisches Schema, Anordnung der komprimierten Daten und der Inferenz-Kernel zusammenwirken.
