De quantificatie van alleen de gewichten bestaat erin bepaalde parameters van een transformer-model op te slaan als gehele getallen, terwijl de activaties in FP16 of BF16 blijven. Deze techniek is bedoeld om de geheugencapaciteit en de leesbelasting van de gewichten te verminderen, wat zwaar weegt bij het genereren van tekst. Een recent gepubliceerde tutorial legt het wiskundige principe uit, gevolgd door de tools om het toe te passen met PyTorch en andere inference-engines.
Tijdens het genereren leest het model zijn gewichten bij elke nieuwe token, dat wil zeggen elke tekstunit die het produceert. Bij kleine batchgroottes kan het verplaatsen van deze gewichten meer tijd kosten dan de berekening zelf. Een gewicht in INT8 neemt half zoveel ruimte in als een gewicht in FP16 of BF16. Quantificatie kan ook de berekening versnellen, omdat veel GPU’s die aan AI zijn gewijd matrixbewerkingen in lage precisie sneller uitvoeren dan in FP16. Het werkelijke voordeel hangt echter af van de hardware, de rekenschema’s en de vorm van de modellen.
Het principe van schaal en nulpunt
De gepresenteerde methode is gebaseerd op een asymmetrische affine mapping, die een schaal en een nulpunt gebruikt. De schaal bepaalt het verschil tussen twee representatieve waarden, terwijl het nulpunt de gehele code is die overeenkomt met het werkelijke nul. Het opnemen van nul in het waardenbereik maakt het mogelijk dit exact te representeren. De tutorial verduidelijkt dat dit voorbeeld de berekening illustreert en niet een efficiënte opslag: een tensor in uint8 neemt één byte per element in, zelfs voor minder dan acht bits. Kanaal- of groepsgewijze quantificaties behouden vaak beter de kwaliteit van de gewichten van een groot taalmodel, omdat elk kanaal of groep zijn eigen bereik heeft.
Met PyTorch vervangt de functie quantize_() van de TorchAO-bibliotheek in-place de gewichten van torch.nn.Linear modules. Toegepast op een reeds getraind model betreft dit post-training quantificatie, zonder extra trainingsstap. De tutorial toont een asymmetrische INT8-configuratie per kanaal, met activaties die in BF16 blijven. TorchAO biedt ook presets die op de hardware zijn afgestemd, zoals Int4WeightOnlyConfig, en de transformers-bibliotheek kan zo’n configuratie toepassen bij het laden van een model. De auteur raadt aan prestatiemetingen over het hele model uit te voeren, omdat een wiskundig geldige configuratie niet per se de snelste is.
GPTQ, AWQ en GGUF
De methoden GPTQ en AWQ gebruiken kalibratiegegevens om het effect van quantificatiefouten op de modeluitgangen te verminderen. GPTQ quantificeert de gewichten laag voor laag en past de resterende gewichten aan om eerdere fouten te compenseren. De transformers-bibliotheek vertrouwt nu op GPT-QModel als GPTQ-engine. AWQ, voor Activation-aware Weight Quantization, identificeert belangrijke gewichten op basis van representatieve activaties en zoekt vervolgens schaalfactoren die deze beschermen vóór quantificatie in lage precisie. Voor deze methode gebruikt de tutorial de referentie-implementatie llm-awq, waarvan de installatie-instructies gevolgd moeten worden, en het model TinyLlama/TinyLlama-1.1B-Chat-v1.0. De parameterzoektocht is gebaseerd op 128 monsters uit de validatiepartition van mit-han-lab/pile-val-backup, gevormd in sequenties van 512 tokens.
Het GGUF-formaat, gebruikt in het llama.cpp-ecosysteem, dient als container voor metadata, tokenizer en gequantificeerde tensors, maar is op zichzelf geen quantificatie-algoritme. De workflow verloopt in twee stappen: conversie van het originele model naar hoogprecisie GGUF in bfloat16, gevolgd door quantificatie met het type Q4_K_M. Dit type is gemengd, omdat het verschillende coderingen gebruikt afhankelijk van de tensors. De bestandsgrootte komt dus niet precies overeen met vier bits per parameter. De tutorial herinnert eraan dat men moet quantificeren vanuit de beste beschikbare bron, omdat cumulatieve requantificatie de benaderingsfouten vergroot.
Volgens de tutorial moet de evaluatie plaatsvinden op representatieve inputs, met perplexiteit, nauwkeurigheid op de beoogde taken en een vergelijking van generaties naast elkaar. Het meegeleverde script meet op een CUDA-GPU het piekgeheugen en de mediane generatieduur van het FP16-model en de GPTQ-versie van facebook/opt-125m. De tutorial concludeert dat quantificatie alleen nuttig is als het formaat, het numerieke schema, de indeling van de gecomprimeerde data en de inference-kernel samen functioneren.
