Quantisierung ist nicht die einzige Methode, um ein KI-Modell zu komprimieren. Ein Artikel von Machine Learning Mastery stellt zwei weitere Ansätze vor: das Pruning und die Knowledge Distillation, die die Anzahl der Werte oder die Größe der Strukturen reduzieren, anstatt ihr Format zu ändern. Ein kleineres Modell kann die Inferenz beschleunigen, vorausgesetzt, das erwartete Verhalten für die Anwendung bleibt erhalten.
Die Quantisierung ändert die Art und Weise, wie die Werte des Modells dargestellt werden. Das Pruning hingegen setzt bestimmte Parameter auf null oder entfernt größere Strukturen. Die Distillation trainiert ein kleines Modell, den sogenannten ‘Schüler’, das Verhalten eines größeren Modells, des ‘Lehrers’, nachzuahmen.
Pruning und Sparsity
Die sogenannte ‘Magnitude’-Methode basiert auf einer einfachen Annahme: Gewichte mit geringem Absolutwert hätten weniger Einfluss auf die Ausgabe. Das bereitgestellte Codebeispiel wendet dieses Prinzip auf eine 1024 × 1024 Matrix mit einer Rate von 0,5 an, was bedeutet, dass die Hälfte der Gewichte zur Entfernung vorgesehen ist.
Eine geprunte Matrix wird jedoch weiterhin dicht gespeichert. Das CSR-Format (Compressed Sparse Row) speichert nur die Nicht-Null-Werte zusammen mit Positions-Metadaten. Laut Artikel reduziert es den Speicherbedarf nur dann, wenn diese Metadaten weniger kosten als die entfernten Daten, und beschleunigt die Berechnung nur, wenn die Form der Matrix, das Sparsity-Level, der Datentyp und die Hardware über einen effizienten Sparse-Computing-Kernel verfügen.
Strukturiertes Pruning und Distillation
Strukturiertes Pruning entfernt ganze Einheiten wie Attention-Heads, MLP-Kanäle, Schichten oder Blöcke. Das Ergebnis lässt sich oft als kleineres, dichtes Modell ausdrücken, das auf verschiedenen Hardware-Plattformen leichter zu beschleunigen ist. In einem Transformer-MLP wird jeder Zwischenkanal durch eine Zeile der Up-Projection erzeugt und durch eine Spalte der Down-Projection verarbeitet: Das Entfernen des einen erzwingt das Entfernen des anderen.
Der Artikel präzisiert, dass der Parameter keep_channels eine Anzahl von Kanälen bezeichnet, keinen Bruchteil. Das Setzen auf 2048 reduziert somit eine Zwischenbreite von 8192 auf 2048 Kanäle. Der Code gewährleistet die Kompatibilität der Tensorformen, beweist aber nicht, dass die beibehaltenen Kanäle die unwichtigsten sind: Eine echte Methode bewertet die Ausgaben der Schichten und führt ein Recovery-Fine-Tuning durch. Das Entfernen von Attention-Heads erfordert koordinierte Änderungen, und bei GQA, einer Variante, bei der mehrere Query-Heads denselben KV-Head teilen, kann eine willkürliche Entfernung diese Gruppierungen zerstören.
Die Distillation hingegen trainiert den Schüler anhand der Signale des Lehrers: Ausgabeverteilung, Zwischenrepräsentationen oder generierte Daten. Der Verlust basiert auf einer Temperatur T und der Kullback-Leibler-Divergenz, die null ist, wenn die beiden Verteilungen übereinstimmen. Das Codebeispiel lässt zwei kleine, zufällig initialisierte GPT-2-ähnliche Modelle für einen einzigen Schritt trainieren. Der Artikel stellt klar, dass dies kein nützliches Modell produziert: Ein reales Experiment erfordert einen vortrainierten Lehrer und repräsentativen Text.
Für einen seriösen Vergleich empfiehlt der Artikel, bei denselben Anfragen und derselben Hardware die Qualität auf zurückgehaltenen Daten, die Parametergröße in Bytes, den maximalen Speicherbedarf, die Prefill-Latenz und den Decoding-Durchsatz zu messen. Pruning oder Distillation kann das Verhalten des Modells verändern, selbst wenn die Anzahl der Parameter stark sinkt.
