Teams van Amazon presenteren HOPE (Higher-Order Pruning of Experts), een snoeimethode voor Mixture-of-Experts (MoE) taalmodelarchitecturen. Deze modellen bereiken honderden miljarden parameters, maar hun geheugen blijft een kostbare hindernis. HOPE probeert de minst nuttige experts te verwijderen door rekening te houden met hun onderlinge interacties.
- HOPE verwijdert de minst nuttige experts uit MoE-taalmodellen en houdt daarbij rekening met hun interacties.
- De methode presteert beter dan REAP en andere referentiemethoden, vooral bij een snoeiratio van 50%.
- Qwen3.5-35B-A3B, tot 50% gesnoeid, scoort 42,3 op SWE-Bench Pro, tegenover 41,8 voor het ongesnoeide model.
- De implementatie gebruikt drie commando’s en levert een standaard Hugging Face-checkpoint dat zonder wijziging werkt met vLLM en SGLang.
In een MoE-architectuur is het model verdeeld in subnetwerken die ‘experts’ worden genoemd. Voor elke token, dat wil zeggen elke verwerkte tekstunit, worden slechts enkele experts geactiveerd. Volgens de bron heeft Qwen3.5-122B 256 experts in elk van zijn 48 MoE-lagen. Deze experts alleen al vertegenwoordigen 95% van de ongeveer 250 GB geheugen van het model, terwijl slechts 8 experts per laag worden gebruikt voor een bepaalde token.
Snoeien betekent het permanent verwijderen van experts. Deze aanpak vermijdt vertragingen door dynamisch laden, vereist geen training en kan worden gecombineerd met kwantisatie. Bestaande methoden kennen echter aan elke expert een geïsoleerde score toe, zonder rekening te houden met de anderen. HOPE onderscheidt zich door te steunen op interacties tussen paren experts.
Experts die samenwerken
De auteurs observeren dat experts groepen vormen die vaak samen worden geactiveerd. Het verwijderen van een expert die als weinig belangrijk wordt beschouwd, kan zo een groep ontmantelen als een andere expert, die ervan afhankelijk is, veel wordt gebruikt. Methoden die elke expert afzonderlijk scoren, zien dit fenomeen niet.
HOPE is gebaseerd op een matrix genaamd F. De diagonaal meet het individuele belang van elke expert, en de waarden buiten de diagonaal meten hun samenwerking twee aan twee. Volgens de auteurs komt de diagonaal bijna perfect overeen met de rangschikking van REAP, een referentiemethode, met een Spearman-coëfficiënt van 0,988. Elke verbetering van HOPE ten opzichte van REAP zou dus afkomstig zijn van de interactietermen.
Resultaten die vooruitgaan met het snoeiratio
De methode werd geëvalueerd op drie modellen, Qwen3.5-122B, Qwen3.5-35B en GLM-4.5-Air, met twee kalibratiesets, en vergeleken met vier referentiemethoden: REAP, MAN, EAN en Frequency. De snoeiratio’s lopen van 10% tot 50%. Over alle condities behaalt HOPE de beste gemiddelde rang, op 2,07 op 5 methoden, met 39% eerste plaatsen.
Het voordeel van HOPE neemt toe met het snoeiratio. Bij 50% bereikt de gemiddelde rang 1,58, tegenover 2,42 voor REAP. Op SWE-Bench Pro, een test voor agent-gebaseerd programmeren, behaalt Qwen3.5-35B-A3B, gesnoeid tot 50%, een score van 42,3, tegenover 41,8 voor het ongesnoeide model, terwijl REAP daalt naar 36,2, een regressie van 13%. De auteurs geven aan dat het voordeel kleiner is bij 10-20%, en dat HOPE geen rekening houdt met interacties tussen lagen.
Een implementatie in drie stappen
De code, gepubliceerd als een pakket, bevat drie commando’s: kalibreren, het kwadratische programma oplossen en dan snoeien. De kalibratie vereist slechts één voorwaartse pass op testdata, en de oplossing neemt volgens de bron één tot twee seconden per laag in beslag. Het verkregen model is een standaard checkpoint van Hugging Face, lichter op schijf en in geheugen, zonder wijziging van vLLM of SGLang. De tests zijn uitgevoerd op Qwen3, Qwen3-Next, Qwen3.5 en GLM-4.5.
