La cuantificación no es la única manera de comprimir un modelo de IA. Un artículo de Machine Learning Mastery presenta otros dos enfoques, el élagage y la distillation de connaissances, que reducen el número de valores o el tamaño de las estructuras en lugar de su formato. Un modelo más pequeño puede acelerar la inferencia, siempre que conserve el comportamiento esperado por la aplicación.
La cuantificación modifica la manera en que se representan los valores del modelo. El elagage, por su parte, pone a cero ciertos parámetros o retira estructuras más amplias. La distillation entrena a un modelo pequeño, llamado « alumno », para reproducir el comportamiento de un modelo más grande, llamado « profesor ».
El elagage y la parsimonia
El método llamado « por magnitud » se basa en una hipótesis simple: los pesos de bajo valor absoluto tendrían menos efecto en la salida. El ejemplo de código proporcionado aplica este principio a una matriz de 1024 × 1024 con una tasa de 0,5, es decir, la mitad de los pesos destinados a ser eliminados.
Una matriz elagada, sin embargo, sigue almacenándose de forma densa. El formato CSR (compressed sparse row) solo conserva los valores no nulos, acompañados de metadatos de posición. Según el artículo, solo reduce la memoria si estos metadatos cuestan menos que los datos retirados, y solo acelera el cálculo si la forma de la matriz, el nivel de parsimonia, el tipo de datos y el hardware disponen de un núcleo de cálculo disperso eficaz.
El elagage estructurado y la distillation
El elagage estructurado retira unidades enteras, como cabezas de atención, canales de MLP, capas o bloques. El resultado a menudo puede expresarse como un modelo denso más pequeño, más fácil de acelerar en diferentes hardwares. En un MLP de transformador, cada canal intermedio es producido por una línea de la proyección ascendente y consumido por una columna de la proyección descendente: eliminar una implica eliminar la otra.
El artículo precisa que el parámetro keep_channels designa un número de canales, no una fracción. Fijarlo en 2048 reduce así un ancho intermedio de 8192 a 2048 canales. El código garantiza la compatibilidad de las formas de los tensores, pero no prueba que los canales retenidos sean los menos importantes: un método real evalúa las salidas de las capas y procede a un afinamiento de recuperación. Retirar cabezas de atención exige modificaciones coordinadas, y con el GQA, una variante donde varias cabezas de consulta comparten una misma cabeza KV, una supresión arbitraria puede romper estas agrupaciones.
La distillation, por su parte, entrena al alumno a partir de las señales del profesor: distribución de salida, representaciones intermedias o datos generados. La pérdida se basa en una temperatura T y en la divergencia de Kullback-Leibler, nula cuando las dos distribuciones coinciden. El ejemplo de código hace que dos pequeños modelos de tipo GPT-2, inicializados al azar, se entrenen en un solo paso. El artículo precisa que no produce un modelo útil: un experimento real exige un profesor preentrenado y un texto representativo.
Para una comparación seria, el artículo recomienda medir, sobre las mismas consultas y el mismo hardware, la calidad en datos apartados, el tamaño de los parámetros en bytes, la memoria máxima, la latencia de prerrellenado y el rendimiento de decodificación. El elagage o la distillation pueden modificar el comportamiento del modelo, incluso cuando el número de parámetros baja drásticamente.
