La quantizzazione non è l’unico modo per comprimere un modello di IA. Un articolo di Machine Learning Mastery presenta altri due approcci, il pruning e la distillazione della conoscenza, che riducono il numero di valori o la dimensione delle strutture piuttosto che il loro formato. Un modello più piccolo può accelerare l’inferenza, a condizione di mantenere il comportamento atteso dall’applicazione.
La quantizzazione modifica il modo in cui i valori del modello sono rappresentati. Il pruning, invece, azzera alcuni parametri o rimuove strutture più ampie. La distillazione addestra un modello piccolo, detto « studente », a riprodurre il comportamento di un modello più grande, detto « insegnante ».
Il pruning e la sparsità
Il metodo cosiddetto « per magnitudine » si basa su un’ipotesi semplice: i pesi di basso valore assoluto avrebbero meno effetto sull’output. L’esempio di codice fornito applica questo principio a una matrice 1024 × 1024 con un tasso di 0,5, cioè la metà dei pesi mirati per la rimozione.
Una matrice sottoposta a pruning viene comunque memorizzata in modo denso. Il formato CSR (compressed sparse row) conserva solo i valori non nulli, accompagnati da metadati di posizione. Secondo l’articolo, riduce la memoria solo se questi metadati costano meno dei dati rimossi, e accelera il calcolo solo se la forma della matrice, il livello di sparsità, il tipo di dati e l’hardware dispongono di un kernel di calcolo sparso efficiente.
Il pruning strutturato e la distillazione
Il pruning strutturato rimuove intere unità, come teste di attenzione, canali MLP, layer o blocchi. Il risultato può spesso essere espresso sotto forma di modello denso più piccolo, più facile da accelerare su diversi hardware. In un MLP di trasformatore, ogni canale intermedio è prodotto da una riga della proiezione ascendente e consumato da una colonna della proiezione discendente: rimuoverne uno impone di rimuovere l’altro.
L’articolo precisa che il parametro keep_channels indica un numero di canali, non una frazione. Impostarlo a 2048 riduce quindi un’ampiezza intermedia da 8192 a 2048 canali. Il codice garantisce la compatibilità delle forme dei tensori, ma non prova che i canali mantenuti siano i meno importanti: un metodo reale valuta gli output dei layer e procede con un fine-tuning di recupero. Rimuovere teste di attenzione richiede modifiche coordinate e, con il GQA, una variante in cui più teste di query condividono una stessa testa KV, una rimozione arbitraria può rompere questi raggruppamenti.
La distillazione, invece, addestra lo studente a partire dai segnali dell’insegnante: distribuzione di output, rappresentazioni intermedie o dati generati. La perdita si basa su una temperatura T e sulla divergenza di Kullback-Leibler, nulla quando le due distribuzioni coincidono. L’esempio di codice fa addestrare due piccoli modelli di tipo GPT-2, inizializzati casualmente, su un solo step. L’articolo precisa che non produce un modello utile: un esperimento reale richiede un insegnante pre-addestrato e un testo rappresentativo.
Per un confronto serio, l’articolo raccomanda di misurare, sulle stesse query e lo stesso hardware, la qualità su dati tenuti da parte, la dimensione dei parametri in byte, la memoria massima, la latenza di pre-riempimento e il throughput di decodifica. Applicare il pruning o la distillazione può modificare il comportamento del modello, anche quando il numero di parametri diminuisce fortemente.
