Equipos de Amazon presentan HOPE (Higher-Order Pruning of Experts), un método de poda destinado a modelos de lenguaje tipo Mixture-of-Experts (MoE). Estos modelos alcanzan cientos de miles de millones de parámetros, pero su memoria sigue siendo un obstáculo costoso. HOPE busca retirar a los expertos menos útiles teniendo en cuenta sus interacciones.
- HOPE poda modelos MoE eliminando expertos según sus interacciones en pares.
- El método combina la importancia individual de cada experto con su cooperación con los demás.
- Supera a REAP, y su ventaja crece a medida que aumenta la tasa de poda.
- Al 50 %, Qwen3.5-35B podado supera ligeramente al modelo original en SWE-Bench Pro.
En una arquitectura MoE, el modelo se divide en subredes llamadas «expertos». Para cada token, es decir, cada unidad de texto procesada, solo se activan unos pocos expertos. Según la fuente, Qwen3.5-122B cuenta con 256 expertos en cada una de sus 48 capas MoE. Estos expertos representan por sí solos el 95 % de los aproximadamente 250 GB de memoria del modelo, mientras que solo se utilizan 8 expertos por capa para un token dado.
La poda consiste en eliminar definitivamente expertos. Este enfoque evita los retrasos relacionados con la carga dinámica, no requiere ningún entrenamiento y se combina con la cuantización. Sin embargo, los métodos existentes atribuyen a cada experto una puntuación aislada, sin tener en cuenta a los demás. HOPE se distingue al basarse en interacciones entre pares de expertos.
Expertos que cooperan
Los autores observan que los expertos forman grupos que a menudo se activan juntos. Eliminar a un experto considerado poco importante puede así desmantelar un grupo si otro experto, que depende de él, es muy utilizado. Los métodos que puntúan a cada experto por separado no ven este fenómeno.
HOPE se basa en una matriz llamada F. Su diagonal mide la importancia individual de cada experto, y los valores fuera de la diagonal miden su cooperación de dos en dos. Según los autores, la diagonal recupera casi perfectamente la clasificación de REAP, un método de referencia, con un coeficiente de Spearman de 0,988. Toda mejora de HOPE respecto a REAP provendría, por tanto, de los términos de interacción.
Resultados que progresan con la tasa de poda
El método se evaluó en tres modelos, Qwen3.5-122B, Qwen3.5-35B y GLM-4.5-Air, con dos conjuntos de calibración, y se comparó con cuatro métodos de referencia: REAP, MAN, EAN y Frequency. Las tasas de poda van del 10 % al 50 %. En el conjunto de condiciones, HOPE obtiene el mejor rango medio, de 2,07 sobre 5 métodos, con un 39 % de primeros puestos.
La ventaja de HOPE aumenta con la tasa de poda. Al 50 %, su rango medio alcanza 1,58, frente a 2,42 de REAP. En SWE-Bench Pro, una prueba de programación agentica, Qwen3.5-35B-A3B podado al 50 % obtiene 42,3, frente a 41,8 del modelo no podado, mientras que REAP desciende a 36,2, es decir, una regresión del 13 %. Los autores indican que la ventaja es menor al 10-20 %, y que HOPE no tiene en cuenta las interacciones entre capas.
Una implementación en tres pasos
El código, publicado en forma de paquete, incluye tres comandos: calibrar, resolver el programa cuadrático y luego podar. La calibración requiere un solo pase hacia adelante sobre datos de prueba, y la resolución toma, según la fuente, uno o dos segundos por capa. El modelo obtenido es un punto de control estándar de Hugging Face, más ligero en disco y en memoria, sin modificación de vLLM o SGLang. Las pruebas se realizan sobre Qwen3, Qwen3-Next, Qwen3.5 y GLM-4.5.
