Teams von Amazon stellen HOPE (Higher-Order Pruning of Experts) vor, eine Beschneidungsmethode für Mixture-of-Experts-Modelle (MoE). Diese Modelle erreichen Hunderte von Milliarden Parametern, doch ihr Speicherbedarf bleibt ein kostspieliges Hindernis. HOPE versucht, die am wenigsten nützlichen Experten unter Berücksichtigung ihrer Interaktionen zu entfernen.
In einer MoE-Architektur ist das Modell in Teilnetzwerke, sogenannte ‘Experten’, unterteilt. Für jedes Token, also jede verarbeitete Texteinheit, werden nur wenige Experten aktiviert. Laut Quelle enthält Qwen3.5-122B 256 Experten in jeder seiner 48 MoE-Schichten. Diese Experten allein machen etwa 95 % der rund 250 GB Speicher des Modells aus, während für ein gegebenes Token nur 8 Experten pro Schicht genutzt werden.
Beim Beschneiden werden Experten dauerhaft entfernt. Dieser Ansatz vermeidet Verzögerungen durch dynamisches Laden, erfordert kein Training und lässt sich mit Quantisierung kombinieren. Bestehende Methoden weisen jedem Experten jedoch eine isolierte Bewertung zu, ohne andere zu berücksichtigen. HOPE unterscheidet sich, indem es auf Interaktionen zwischen Expertenpaaren basiert.
Experten, die kooperieren
Die Autoren beobachten, dass Experten Gruppen bilden, die oft gemeinsam aktiviert werden. Das Entfernen eines als weniger wichtig eingestuften Experten kann somit eine Gruppe zerlegen, wenn ein anderer, von ihm abhängiger Experten stark genutzt wird. Methoden, die jeden Experten einzeln bewerten, erkennen dieses Phänomen nicht.
HOPE basiert auf einer Matrix namens F. Ihre Diagonale misst die individuelle Bedeutung jedes Experten, und die Werte außerhalb der Diagonale messen ihre paarweise Kooperation. Laut den Autoren reproduziert die Diagonale fast perfekt das Ranking der Referenzmethode REAP mit einem Spearman-Koeffizienten von 0,988. Jede Verbesserung von HOPE gegenüber REAP würde daher von den Interaktionstermen stammen.
Ergebnisse, die mit der Beschneidungsrate fortschreiten
Die Methode wurde an drei Modellen evaluiert, Qwen3.5-122B, Qwen3.5-35B und GLM-4.5-Air, mit zwei Kalibrierungsdatensätzen und im Vergleich zu vier Referenzmethoden: REAP, MAN, EAN und Frequency. Die Beschneidungsraten reichen von 10 % bis 50 %. Über alle Bedingungen hinweg erzielt HOPE den besten durchschnittlichen Rang von 2,07 bei 5 Methoden, mit 39 % der ersten Plätze.
Der Vorteil von HOPE nimmt mit der Beschneidungsrate zu. Bei 50 % erreicht sein durchschnittlicher Rang 1,58, gegenüber 2,42 für REAP. Bei SWE-Bench Pro, einem Test für agentische Programmierung, erreicht Qwen3.5-35B-A3B, um 50 % beschnitten, 42,3 Punkte, gegenüber 41,8 für das unbeschnittene Modell, während REAP auf 36,2 absinkt, was einem Rückgang von 13 % entspricht. Die Autoren geben an, dass der Vorteil bei 10-20 % geringer ist und dass HOPE keine Interaktionen zwischen Schichten berücksichtigt.
Eine Implementierung in drei Schritten
Der als Paket veröffentlichte Code umfasst drei Befehle: kalibrieren, das quadratische Programm lösen und dann beschneiden. Die Kalibrierung erfordert nur einen einzigen Vorwärtsdurchlauf auf Testdaten, und die Lösung dauert laut Quelle ein bis zwei Sekunden pro Schicht. Das resultierende Modell ist ein Standard-Hugging-Face-Checkpoint, leichter auf der Festplatte und im Speicher, ohne Änderungen an vLLM oder SGLang. Die Tests betreffen Qwen3, Qwen3-Next, Qwen3.5 und GLM-4.5.
