La quantizzazione weight-only alleggerisce i modelli di IA

La quantizzazione weight-only alleggerisce i modelli di IA
3 min di lettura

La quantizzazione dei soli pesi consiste nel memorizzare alcuni parametri di un modello trasformatore come interi, mantenendo le attivazioni in FP16 o BF16. Questa tecnica mira a ridurre lo spazio occupato in memoria e il costo di lettura dei pesi, che pesa molto durante la generazione di testo. Un tutorial recentemente pubblicato ne dettaglia il principio matematico, poi gli strumenti per applicarla con PyTorch e altri motori di inferenza.

Durante la generazione, il modello legge i suoi pesi ad ogni nuovo token, cioè ogni unità di testo che produce. Con batch di piccole dimensioni, lo spostamento di questi pesi può richiedere più tempo del calcolo stesso. Un peso in INT8 occupa la metà dello spazio di un peso in FP16 o BF16. La quantizzazione può anche accelerare il calcolo, poiché molte GPU dedicate all’IA eseguono le operazioni matriciali in bassa precisione più velocemente che in FP16. Il guadagno reale dipende tuttavia dall’hardware, dai kernel di calcolo e dalla forma dei modelli.

Il principio della scala e del punto zero

Il metodo presentato si basa su una corrispondenza affine asimmetrica, che utilizza una scala e un punto zero. La scala fissa la distanza tra due valori rappresentabili, mentre il punto zero è il codice intero corrispondente allo zero reale. Includere lo zero nell’intervallo di valori permette di rappresentarlo esattamente. Il tutorial precisa che questo esempio illustra il calcolo e non una memorizzazione efficiente: un tensore in uint8 occupa un byte per elemento, anche per meno di otto bit. Le quantizzazioni per canale o per gruppo preservano spesso meglio la qualità dei pesi di un grande modello linguistico, poiché ogni canale o gruppo dispone del proprio intervallo.

Con PyTorch, la funzione quantize_() della libreria TorchAO sostituisce sul posto i pesi dei moduli torch.nn.Linear. Applicata a un modello già addestrato, rientra nella quantizzazione post-addestramento, senza una fase di addestramento aggiuntiva. Il tutorial mostra una configurazione INT8 asimmetrica per canale, con attivazioni che rimangono in BF16. TorchAO propone anche preset adattati all’hardware, come Int4WeightOnlyConfig, e la libreria transformers può applicare tale configurazione al caricamento di un modello. L’autore raccomanda di effettuare misurazioni delle prestazioni sull’intero modello, poiché una configurazione matematicamente valida non è necessariamente la più veloce.

Gptq, awq e gguf

I metodi GPTQ e AWQ utilizzano dati di calibrazione per ridurre l’effetto degli errori di quantizzazione sulle uscite del modello. GPTQ quantizza i pesi strato per strato e aggiusta i pesi rimanenti per compensare gli errori precedenti. La libreria transformers si appoggia ora a GPT-QModel come motore GPTQ. AWQ, per Activation-aware Weight Quantization, individua i pesi importanti in base ad attivazioni rappresentative, poi cerca fattori di scala che li proteggano prima della quantizzazione in bassa precisione. Per questo metodo, il tutorial utilizza l’implementazione di riferimento llm-awq, di cui bisogna seguire le istruzioni di installazione specifiche, e il modello TinyLlama/TinyLlama-1.1B-Chat-v1.0. La ricerca dei parametri si basa su 128 campioni provenienti dalla partizione di validazione di mit-han-lab/pile-val-backup, addestrati in sequenze di 512 token.

Il formato GGUF, utilizzato nell’ecosistema llama.cpp, funge da contenitore per i metadati, il tokenizer e i tensori quantizzati, ma non è un algoritmo di quantizzazione di per sé. Il flusso si svolge in due fasi: conversione del modello originale in GGUF ad alta precisione, in bfloat16, poi quantizzazione con il tipo Q4_K_M. Questo tipo è misto, poiché utilizza codifiche diverse a seconda dei tensori. La sua dimensione di file non corrisponde quindi esattamente a quattro bit per parametro. Il tutorial ricorda che bisogna quantizzare partendo dalla migliore fonte disponibile, poiché una ri-quantizzazione accumula gli errori di approssimazione.

Secondo il tutorial, la valutazione deve riguardare input rappresentativi, con la perplessità, l’accuratezza sui compiti mirati e il confronto di generazioni affiancate. Lo script fornito misura, su una GPU CUDA, la memoria allocata al picco e la durata mediana di generazione del modello FP16 e della versione GPTQ di facebook/opt-125m. Il tutorial conclude che la quantizzazione è utile solo se il formato, lo schema numerico, la disposizione dei dati compressi e il kernel di inferenza funzionano insieme.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x