De kwantisering van activeringen, de waarden die tijdens de inferentie van een taalmodel worden berekend, blijkt lastiger dan die van de gewichten, die na de training vastliggen. Volgens het artikel van Machine Learning Mastery bieden de SmoothQuant-methode en het FP8-formaat twee antwoorden op dit probleem, en de bibliotheek LLM Compressor, van het vLLM-project, maakt het mogelijk ze toe te passen.
Waarom activeringen moeilijk te kwantiseren zijn
De gewichten van een netwerk zijn vast na de training: ze kunnen eenmalig worden gekwantiseerd vóór de implementatie. Activeringen daarentegen zijn afhankelijk van het verwerkte token, zijn positie in de sequentie en de voorgaande lagen. Hun waardebereiken kunnen van verzoek tot verzoek veranderen, en sommige kanalen kunnen aanhoudende extreme waarden bevatten.
Er bestaan twee benaderingen. Statische kwantisering gebruikt schalen berekend tijdens een kalibratiefase, wat snel is, maar een invoer buiten het gekalibreerde bereik kan worden afgekapt. Dynamische kwantisering meet elke tensor tijdens de uitvoering: het past zich aan elke invoer aan, maar voegt rekenkosten toe. Het artikel presenteert met name een dynamische kwantisering per token, in symmetrisch gesigneerd INT8, waarbij elke vector van de laatste dimensie zijn eigen schaal krijgt.
De keuze van het bereik brengt ook een afweging met zich mee. Het volledige waardebereik dekken maakt de kwantisatiestap grof voor gangbare waarden, terwijl afkappen hun precisie verbetert ten koste van extreme waarden. De beste optie hangt af van hoe de volgende gewichten deze vector gebruiken.
SmoothQuant en het W8A8-formaat
De afkorting W8A8 staat voor gewichten en activeringen in INT8 voor matrixvermenigvuldiging. Wanneer de hardware deze gehele berekeningen efficiënt verwerkt, kan deze configuratie de geheugenoverdracht verminderen en de rekenprestatie verhogen. De bias, normalisatie of residuen kunnen in een hogere precisie blijven.
SmoothQuant behandelt extreme waarden door een deel van de moeilijkheid van de activeringen naar de gewichten te verplaatsen. Het principe berust op een wiskundig equivalente transformatie vóór kwantisering: belangrijke activeringskanalen worden gedeeld door grotere schalen, terwijl de corresponderende gewichtskolommen worden vermenigvuldigd met dezelfde schalen. Het artikel preciseert dat deze transformatie alleen een exacte equivalentie aantoont, waarbij de werkelijke implementatie de schalen afleidt uit de magnitudes van de kalibratiegewichten en -activeringen.
De auteur geeft aan dat een W8A8-configuratie niet gegarandeerd sneller is dan een W4A16- of BF16-formaat. W8A8 kan profiteren van gehele matrixberekeningen, vooral tijdens het voorvullen en voor grote batches, terwijl W4A16 minder bytes aan gewichten leest en geschikt kan zijn voor decodering met kleine batches. Het artikel raadt aan beide fasen te meten.
Kwantisering in drijvende komma
FP8 bestaat niet uit simpelweg bits verwijderen van een FP32-waarde. In een geschaald FP8-schema wordt de tensor gedeeld door een schaal, waarna elk resultaat wordt afgerond naar een representeerbare FP8-waarde. In tegenstelling tot INT8 zijn de waarden van FP8 niet regelmatig verdeeld: ze zijn fijner nabij nul en grover voor grote waarden.
Het artikel onderscheidt met name E4M3, met vier exponentbits en drie mantissebits, en E5M2, met vijf exponentbits en twee mantissebits. E4M3 biedt meer precisie, terwijl E5M2 een groter bereik biedt. De keuze hangt af van de hardware en de inferentie-engine.
Een LLM Compressor-recept genaamd FP8_DYNAMIC converteert een model naar het Hugging Face-formaat, waarbij de gewichten worden gekwantiseerd door afronding naar het dichtstbijzijnde en de activeringsschalen tijdens de inferentie worden berekend. Een variant die SmoothQuant en FP8 combineert wordt ook voorgesteld. Volgens het artikel ondersteunen huidige versies van vLLM FP8 op NVIDIA Ada Lovelace-, Hopper- en Blackwell-GPU’s, evenals op sommige AMD-accelerators, en het raadt aan de compatibiliteitsmatrix voor de beoogde hardware te controleren.
