Amazonのチームが、Mixture-of-Experts（MoE）型言語モデル向けのプルーニング手法であるHOPE（Higher-Order Pruning of Experts）を発表した。これらのモデルは数千億のパラメータに達するが、メモリ使用量は依然としてコストの高い障害となっている。HOPEは、専門家間の相互作用を考慮しつつ、最も有用でない専門家を除去することを目指している。
MoEアーキテクチャでは、モデルは「専門家」と呼ばれるサブネットワークに分割される。処理される各テキスト単位であるトークンごとに、少数の専門家のみが活性化される。情報源によると、Qwen3.5-122Bは、その48層のMoE層のそれぞれに256の専門家を有している。これらの専門家だけで、約250GBのモデルメモリの95%を占めており、一方で、特定のトークンに対しては層ごとに8つの専門家しか使用されない。
プルーニングは、専門家を恒久的に削除することを意味する。このアプローチは、動的ロードに関連する遅延を回避し、追加のトレーニングを必要とせず、量子化と組み合わせることができる。しかし、既存の手法は、他の専門家を考慮せずに、各専門家に独立したスコアを割り当てている。HOPEは、専門家ペア間の相互作用に基づく点で際立っている。
協力する専門家たち
著者らは、専門家がしばしば一緒に活性化されるグループを形成していることを観察した。重要度が低いと判断された専門家を削除すると、それに依存する別の専門家が頻繁に使用されている場合、グループが解体される可能性がある。各専門家を個別に評価する手法では、この現象を捉えることができない。
HOPEは、Fと呼ばれる行列に基づいている。その対角成分は各専門家の個別の重要度を測定し、非対角成分は専門家間の2者間の協力を測定する。著者らによると、対角成分は、基準となる手法であるREAPのランキングをほぼ完全に再現し、スピアマン相関係数は0.988であった。したがって、HOPEがREAPに対して示す改善は、相互作用項に由来する可能性が高い。
プルーニング率とともに向上する結果
この手法は、3つのモデル（Qwen3.5-122B、Qwen3.5-35B、GLM-4.5-Air）と2つのキャリブレーションデータセットを用いて評価され、4つの基準手法（REAP、MAN、EAN、Frequency）と比較された。プルーニング率は10%から50%まで変化した。すべての条件において、HOPEは5つの手法中で平均順位2.07、首位獲得率39%で最高の結果を示した。
HOPEの優位性は、プルーニング率が高くなるほど増大する。50%では、その平均順位は1.58に達し、REAPの2.42を上回った。エージェントプログラミングテストであるSWE-Bench Proでは、50%プルーニングされたQwen3.5-35B-A3Bは42.3を獲得し、非プルーニングモデルの41.8を上回った。一方、REAPは36.2まで低下し、13%の後退を示した。著者らは、10-20%では優位性が小さく、HOPEは層間の相互作用を考慮していないと指摘している。
3段階の実装
パッケージとして公開されたコードは、3つのコマンドを含む：キャリブレーション、二次計画問題の解決、そしてプルーニング。キャリブレーションにはテストデータを用いた単一のフォワードパスのみが必要であり、解決には層ごとに1〜2秒かかると情報源は述べている。得られたモデルは標準的なHugging Faceのチェックポイントであり、ディスクとメモリ上で軽量で、vLLMやSGLangの変更を必要としない。テストはQwen3、Qwen3-Next、Qwen3.5、GLM-4.5で行われた。
