Kwantisatie is niet de enige manier om een AI-model te comprimeren. Een artikel van Machine Learning Mastery presenteert twee andere benaderingen, snoeien en kennisverdamping, die het aantal waarden of de grootte van structuren verminderen in plaats van hun formaat. Een kleiner model kan de inferentie versnellen, mits het verwachte gedrag voor de toepassing behouden blijft.
Kwantisatie verandert de manier waarop de waarden van het model worden weergegeven. Snoeien zet bepaalde parameters op nul of verwijdert bredere structuren. Kennisverdamping traint een klein model, een ‘leerling’, om het gedrag van een groter model, een ‘leraar’, na te bootsen.
Snoeien en schaarste
De zogenaamde ‘magnitude’-methode gaat uit van een eenvoudige veronderstelling: gewichten met een lage absolute waarde zouden minder effect hebben op de uitvoer. Het meegeleverde codevoorbeeld past dit principe toe op een matrix van 1024 × 1024 met een snelheid van 0,5, wat betekent dat de helft van de gewichten voor verwijdering is bestemd.
Een gesnoeide matrix wordt echter nog steeds dicht opgeslagen. Het CSR-formaat (compressed sparse row) behoudt alleen de niet-nul waarden, vergezeld van positiemetadata. Volgens het artikel vermindert het alleen het geheugen als deze metadata minder kosten dan de verwijderde gegevens, en versnelt het de berekening alleen als de vorm van de matrix, het schaarsteniveau, het gegevenstype en de hardware beschikken over een efficiënte sparse rekenkern.
Gestructureerd snoeien en kennisverdamping
Gestructureerd snoeien verwijdert volledige eenheden, zoals aandachtkoppen, MLP-kanalen, lagen of blokken. Het resultaat kan vaak worden uitgedrukt als een kleiner, dichter model, dat gemakkelijker te versnellen is op verschillende hardware. In een MLP van een transformer wordt elk tussenkanaal geproduceerd door een regel van de opwaartse projectie en geconsumeerd door een kolom van de neerwaartse projectie: het verwijderen van de ene vereist het verwijderen van de andere.
Het artikel preciseert dat de parameter keep_channels een aantal kanalen aanduidt, niet een fractie. Het instellen op 2048 reduceert dus een tussenbreedte van 8192 naar 2048 kanalen. De code garandeert de compatibiliteit van de tensorvormen, maar bewijst niet dat de behouden kanalen de minst belangrijke zijn: een echte methode evalueert de uitvoeren van de lagen en voert een herstelfinetuning uit. Het verwijderen van aandachtkoppen vereist gecoördineerde aanpassingen, en met GQA, een variant waarbij meerdere querykoppen eenzelfde KV-kop delen, kan een willekeurige verwijdering deze groeperingen verstoren.
Kennisverdamping traint de leerling op basis van de signalen van de leraar: uitvoerverdeling, tussenrepresentaties of gegenereerde gegevens. Het verlies is gebaseerd op een temperatuur T en op de Kullback-Leibler-divergentie, die nul is wanneer de twee verdelingen samenvallen. Het codevoorbeeld laat twee kleine GPT-2-type modellen, willekeurig geïnitialiseerd, trainen op één enkele stap. Het artikel preciseert dat het geen bruikbaar model oplevert: een echt experiment vereist een voorgetrainde leraar en een representatieve tekst.
Voor een serieuze vergelijking beveelt het artikel aan om, op dezelfde queries en dezelfde hardware, de kwaliteit op apart gehouden gegevens te meten, de grootte van de parameters in bytes, het maximale geheugen, de latentie van voorvulling en de decoderingdoorvoer. Snoeien of kennisverdamping kan het gedrag van het model veranderen, zelfs wanneer het aantal parameters sterk daalt.
