Dei team di Amazon presentano HOPE (Higher-Order Pruning of Experts), un metodo di potatura destinato ai modelli linguistici di tipo Mixture-of-Experts (MoE). Questi modelli raggiungono centinaia di miliardi di parametri, ma la loro memoria resta un ostacolo costoso. HOPE cerca di rimuovere gli esperti meno utili tenendo conto delle loro interazioni.
In un’architettura MoE, il modello è diviso in sottoreti chiamate «esperti». Per ogni token, cioè ogni unità di testo elaborata, solo pochi esperti vengono attivati. Secondo la fonte, Qwen3.5-122B conta 256 esperti in ognuna delle sue 48 layer MoE. Questi esperti rappresentano da soli il 95% dei circa 250 GB di memoria del modello, mentre solo 8 esperti per layer sono utilizzati per un dato token.
La potatura consiste nel rimuovere definitivamente degli esperti. Questo approccio evita i ritardi legati al caricamento dinamico, non richiede alcun addestramento e si combina con la quantizzazione. I metodi esistenti attribuiscono però a ogni esperto un punteggio isolato, senza tenere conto degli altri. HOPE si distingue basandosi su interazioni tra coppie di esperti.
Esperti che cooperano
Gli autori osservano che gli esperti formano gruppi che sono spesso attivati insieme. Rimuovere un esperto giudicato poco importante può così smantellare un gruppo se un altro esperto, che dipende da lui, è molto utilizzato. I metodi che valutano ogni esperto separatamente non vedono questo fenomeno.
HOPE si basa su una matrice chiamata F. La sua diagonale misura l’importanza individuale di ogni esperto, e i valori fuori diagonale misurano la loro cooperazione a due a due. Secondo gli autori, la diagonale ritrova quasi perfettamente la classifica di REAP, un metodo di riferimento, con un coefficiente di Spearman di 0,988. Ogni miglioramento di HOPE rispetto a REAP proverrebbe quindi dai termini di interazione.
Risultati che progrediscono con il tasso di potatura
Il metodo è stato valutato su tre modelli, Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air, con due set di calibrazione, e confrontato con quattro metodi di riferimento: REAP, MAN, EAN e Frequency. I tassi di potatura vanno dal 10% al 50%. Nell’insieme delle condizioni, HOPE ottiene il miglior rango medio, a 2,07 su 5 metodi, con il 39% di primi posti.
Il vantaggio di HOPE aumenta con il tasso di potatura. Al 50%, il suo rango medio raggiunge 1,58, contro 2,42 per REAP. Su SWE-Bench Pro, un test di programmazione agentica, Qwen3.5-35B-A3B potato al 50% ottiene 42,3, contro 41,8 per il modello non potato, mentre REAP scende a 36,2, cioè una regressione del 13%. Gli autori indicano che il vantaggio è più debole al 10-20%, e che HOPE non prende in considerazione le interazioni tra layer.
Un’implementazione in tre fasi
Il codice, pubblicato sotto forma di pacchetto, comprende tre comandi: calibrare, risolvere il programma quadratico e poi potare. La calibrazione richiede un solo passaggio forward su dati di test, e la risoluzione richiede, secondo la fonte, uno o due secondi per layer. Il modello ottenuto è un checkpoint standard di Hugging Face, più leggero su disco e in memoria, senza modifiche di vLLM o SGLang. I test riguardano Qwen3, Qwen3-Next, Qwen3.5 e GLM-4.5.
