Attivazione e quantizzazione in virgola mobile : le basi da conoscere

Attivazione e quantizzazione in virgola mobile : le basi da conoscere
3 min di lettura

La quantizzazione delle attivazioni, i valori calcolati durante l’inferenza di un modello linguistico, si rivela più delicata di quella dei pesi, fissati dopo l’addestramento. Secondo l’articolo di Machine Learning Mastery, il metodo SmoothQuant e il formato FP8 offrono due risposte a questo problema, e la libreria LLM Compressor, del progetto vLLM, permette di applicarle.

Perché le attivazioni sono difficili da quantizzare

I pesi di una rete sono fissi una volta terminato l’addestramento: possono essere quantizzati una sola volta, prima del dispiegamento. Le attivazioni, invece, dipendono dal token elaborato, dalla sua posizione nella sequenza e dagli strati precedenti. Le loro gamme di valori possono cambiare da una richiesta all’altra, e alcuni canali possono contenere valori estremi persistenti.

Due approcci coesistono. La quantizzazione statica utilizza scale calcolate durante una fase di calibrazione, il che è rapido, ma un input situato fuori dalla gamma calibrata può essere troncato. La quantizzazione dinamica misura ogni tensore al momento dell’esecuzione: si adatta a ogni input, ma aggiunge un costo computazionale. L’articolo presenta in particolare una quantizzazione dinamica per token, in INT8 simmetrico firmato, dove ogni vettore della dimensione finale riceve la propria scala.

La scelta della gamma pone anche un compromesso. Coprire l’insieme dei valori rende il passo di quantizzazione grossolano per i valori comuni, mentre il troncamento migliora la loro precisione a scapito dei valori estremi. L’opzione migliore dipende da come i pesi seguenti utilizzano questo vettore.

SmoothQuant e il formato W8A8

La sigla W8A8 designa pesi e attivazioni in INT8 per la moltiplicazione matriciale. Quando l’hardware gestisce efficientemente questi calcoli interi, questa configurazione può ridurre i trasferimenti di memoria e aumentare la velocità di calcolo. I bias, la normalizzazione o i residui possono rimanere in una precisione più elevata.

SmoothQuant tratta i valori estremi spostando una parte della difficoltà dalle attivazioni verso i pesi. Il principio si basa su una trasformazione matematicamente equivalente prima della quantizzazione: i canali di attivazione importanti sono divisi per scale più grandi, mentre le colonne di peso corrispondenti sono moltiplicate per le stesse scale. L’articolo precisa che questa trasformazione dimostra solo un’equivalenza esatta, l’implementazione reale deriva le scale dalle magnitudini dei pesi e delle attivazioni di calibrazione.

L’autore indica che una configurazione W8A8 non è assicurata essere più veloce di un formato W4A16 o BF16. Il W8A8 può trarre vantaggio dal calcolo matriciale intero, in particolare durante il preriempiemento e per i grandi batch, mentre il W4A16 legge meno byte di peso e può essere adatto al decoding a piccoli batch. L’articolo raccomanda di misurare entrambe le fasi.

La quantizzazione in virgola mobile

Il FP8 non consiste nel rimuovere semplicemente dei bit da un valore FP32. In uno schema FP8 scalato, il tensore è diviso per una scala, poi ogni risultato è arrotondato a un valore FP8 rappresentabile. A differenza dell’INT8, i valori del FP8 non sono spaziati regolarmente: sono più fini vicino a zero e più spaziati per i grandi valori.

L’articolo distingue in particolare E4M3, con quattro bit di esponente e tre bit di mantissa, e E5M2, con cinque bit di esponente e due bit di mantissa. E4M3 offre maggiore precisione, mentre E5M2 offre una gamma più estesa. La scelta dipende dall’hardware e dal motore di inferenza.

Una ricetta LLM Compressor chiamata FP8_DYNAMIC converte un modello al formato Hugging Face, quantizzando i pesi per arrotondamento al più vicino e calcolando le scale di attivazione durante l’inferenza. Una variante che combina SmoothQuant e FP8 è anche proposta. Secondo l’articolo, le versioni attuali di vLLM supportano il FP8 sulle GPU NVIDIA Ada Lovelace, Hopper e Blackwell, così come su alcuni acceleratori AMD, e raccomanda di verificare la matrice di compatibilità per l’hardware target.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x