La quantification n’est pas la seule manière de compresser un modèle d’IA. Un article de Machine Learning Mastery présente deux autres approches, l’élagage et la distillation de connaissances, qui réduisent le nombre de valeurs ou la taille des structures plutôt que leur format. Un modèle plus petit peut accélérer l’inférence, à condition de conserver le comportement attendu par l’application.
La quantification modifie la manière dont les valeurs du modèle sont représentées. L’élagage, lui, met à zéro certains paramètres ou retire des structures plus larges. La distillation entraîne un petit modèle, dit « élève », à reproduire le comportement d’un modèle plus grand, dit « professeur ».
L’élagage et la parcimonie
La méthode dite « par magnitude » repose sur une hypothèse simple : les poids de faible valeur absolue auraient moins d’effet sur la sortie. L’exemple de code fourni applique ce principe à une matrice de 1024 × 1024 avec un taux de 0,5, soit la moitié des poids visés pour suppression.
Une matrice élaguée reste pourtant stockée de façon dense. Le format CSR (compressed sparse row) ne conserve que les valeurs non nulles, accompagnées de métadonnées de position. Selon l’article, il ne réduit la mémoire que si ces métadonnées coûtent moins que les données retirées, et n’accélère le calcul que si la forme de la matrice, le niveau de parcimonie, le type de données et le matériel disposent d’un noyau de calcul creux efficace.
L’élagage structuré et la distillation
L’élagage structuré retire des unités entières, comme des têtes d’attention, des canaux de MLP, des couches ou des blocs. Le résultat peut souvent s’exprimer sous forme de modèle dense plus petit, plus facile à accélérer sur différents matériels. Dans un MLP de transformeur, chaque canal intermédiaire est produit par une ligne de la projection montante et consommé par une colonne de la projection descendante : supprimer l’une impose de supprimer l’autre.
L’article précise que le paramètre keep_channels désigne un nombre de canaux, non une fraction. Le fixer à 2048 réduit ainsi une largeur intermédiaire de 8192 à 2048 canaux. Le code garantit la compatibilité des formes de tenseurs, mais ne prouve pas que les canaux retenus sont les moins importants : une méthode réelle évalue les sorties des couches et procède à un affinage de récupération. Retirer des têtes d’attention exige des modifications coordonnées, et avec le GQA, une variante où plusieurs têtes de requête partagent une même tête KV, une suppression arbitraire peut rompre ces regroupements.
La distillation, elle, entraîne l’élève à partir des signaux du professeur : distribution de sortie, représentations intermédiaires ou données générées. La perte repose sur une température T et sur la divergence de Kullback-Leibler, nulle lorsque les deux distributions coïncident. L’exemple de code fait s’entraîner deux petits modèles de type GPT-2, initialisés au hasard, sur une seule étape. L’article précise qu’il ne produit pas un modèle utile : une expérience réelle exige un professeur préentraîné et un texte représentatif.
Pour une comparaison sérieuse, l’article recommande de mesurer, sur les mêmes requêtes et le même matériel, la qualité sur des données tenues à part, la taille des paramètres en octets, la mémoire maximale, la latence de préremplissage et le débit de décodage. Élaguer ou distiller peut modifier le comportement du modèle, même lorsque le nombre de paramètres baisse fortement.
