Equipas da Amazon apresentam o HOPE (Higher-Order Pruning of Experts), um método de poda destinado a modelos de linguagem do tipo Mixture-of-Experts (MoE). Estes modelos atingem centenas de milhares de milhões de parâmetros, mas a sua memória continua a ser um obstáculo dispendioso. O HOPE procura remover os especialistas menos úteis, tendo em conta as suas interações.
Numa arquitetura MoE, o modelo é dividido em sub-redes chamadas «especialistas». Para cada token, ou seja, cada unidade de texto processada, apenas alguns especialistas são ativados. Segundo a fonte, o Qwen3.5-122B tem 256 especialistas em cada uma das suas 48 camadas MoE. Estes especialistas representam, por si só, 95 % dos cerca de 250 GB de memória do modelo, embora apenas 8 especialistas por camada sejam utilizados para um determinado token.
A poda consiste em remover definitivamente especialistas. Esta abordagem evita atrasos relacionados com o carregamento dinâmico, não requer qualquer treino e combina-se com a quantização. No entanto, os métodos existentes atribuem a cada especialista uma pontuação isolada, sem ter em conta os outros. O HOPE distingue-se por se basear em interações entre pares de especialistas.
Especialistas que cooperam
Os autores observam que os especialistas formam grupos que são frequentemente ativados em conjunto. Assim, remover um especialista considerado pouco importante pode desmantelar um grupo se outro especialista, que depende dele, for muito utilizado. Os métodos que classificam cada especialista separadamente não detetam este fenómeno.
O HOPE baseia-se numa matriz chamada F. A sua diagonal mede a importância individual de cada especialista, e os valores fora da diagonal medem a sua cooperação dois a dois. Segundo os autores, a diagonal recupera quase perfeitamente a classificação do REAP, um método de referência, com um coeficiente de Spearman de 0,988. Qualquer melhoria do HOPE em relação ao REAP proviria, portanto, dos termos de interação.
Resultados que progridem com a taxa de poda
O método foi avaliado em três modelos, Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air, com dois conjuntos de calibração, e comparado com quatro métodos de referência: REAP, MAN, EAN e Frequency. As taxas de poda variam entre 10 % e 50 %. Em todas as condições, o HOPE obtém o melhor posto médio, com 2,07 em 5 métodos, e 39 % de primeiros lugares.
A vantagem do HOPE aumenta com a taxa de poda. A 50 %, o seu posto médio atinge 1,58, contra 2,42 para o REAP. No SWE-Bench Pro, um teste de programação agentiva, o Qwen3.5-35B-A3B podado a 50 % obtém 42,3, contra 41,8 para o modelo não podado, enquanto o REAP desce para 36,2, ou seja, uma regressão de 13 %. Os autores indicam que a vantagem é menor a 10-20 %, e que o HOPE não tem em conta as interações entre camadas.
Uma implementação em três etapas
O código, publicado sob a forma de pacote, inclui três comandos: calibrar, resolver o programa quadrático e depois podar. A calibração requer apenas uma passagem forward sobre dados de teste, e a resolução demora, segundo a fonte, um a dois segundos por camada. O modelo obtido é um ponto de controlo padrão do Hugging Face, mais leve em disco e em memória, sem modificação do vLLM ou do SGLang. Os testes incidem sobre o Qwen3, Qwen3-Next, Qwen3.5 e GLM-4.5.
