1800億パラメータと32GB RAMで、TransformersがMoE推論の限界に挑む

1800億パラメータと32GB RAMで、TransformersがMoE推論の限界に挑む
1 分の読書

Hugging Faceサイトで公開された技術記事は、121GBのMoEタイプモデルQwen3.8-Flash-Nextを、32GBの統一メモリを搭載したMacBookで動作させる方法を説明している。SSDから直接エキスパートをストリーミングすることで、著者は生成速度で13.9 tok/sを達成し、この種のモデルに特化した推論エンジンStrataと比べて約6%遅い結果となった。

出発点は個人的なものだ。著者はオンラインモデルへの依存を減らし、より大規模なモデルをローカルで実行したいと考えている。彼はWindows 11を搭載した2枚のRTX 4090を備えたPCと、32GBの統一メモリを搭載したMacBook M5を所有している。Qwen 3.8 27Bでの最初の試みの後、ソーシャルメディアでの議論が彼をStrataとQwen3.8-Flash-Nextへと導いた。MoE(mixture of experts)は、各トークン(処理されるテキストの断片)ごとに、エキスパートと呼ばれるサブネットワークの一部のみが活性化されるアーキテクチャである。記事によれば、エキスパートはMoEモデルの重みの90%以上を占めており、最も頻繁に使用されるものだけを高速メモリに保持することが可能になる。

オフローディング手法の比較

Strataを選択する前に、著者は24GBのA10Gカードを使用して、Qwen3.6-35B-A3B上でllama.cpp、vLLM、Transformersを比較した。StrataはQ8_0で82〜88 tok/sを達成し、llama.cppは–fit onオプションで63〜64 tok/s、Accelerateを使用したTransformersはわずか0.16 tok/sだった。Harry Mellorはより良いパラメータでvLLMのテストを再実行し、FP8とエキスパートオフローディングを使用した最速の構成で20.1 tok/sを達成した。

記事は中心的なアイデアを提示している:エキスパートキャッシュを「スロットプール」、つまり事前に割り当てられすべての層で共有される単一のテンソルに変換することである。ルーターによって提供されるエキスパートIDはこれらのスロットにリダイレクトされ、これにより、特定の計算を記述することなく、Transformersの既存のカーネルgrouped_mmを使用できるようになる。OLMoE-1B-7Bでは、この改善により速度が34.6 tok/sに向上し、従来のTransformersの38.1 tok/sと比較される。

32GB MacでQwen3.8-Flash-Nextを実行

ターゲットモデルでは、エキスパートは3ビットに量子化され、ディスク上で49GB、デバイス上のキャッシュは12GiBとなる。密な層は8ビット(約5.4GB)に変換され、BF16と比較してパープレキシティのオーバーヘッドは0.2%増加する。51GBのn-gram埋め込みテーブルはディスク上に残り、必要な場合にのみ読み込まれる。変換には約5時間かかる。ロード後、モデルは約18GiBを占有し、6,000トークンのプロンプトでは25.4GiBのピークに達する。著者によれば、これはマシンの限界であり、macOSがスワップを使用し始めるのを防ぐためにブラウザを閉じる必要があるという。

Strataとの6%の差

いくつかの最適化の後、同じM5と同じプロンプトでの測定では、200トークンのデコードで13.9 tok/sとなり、Strataの14.8 tok/sに対し、4,000トークンのプロンプトでのプリフィルでは、Transformersは228 tok/s、Strataは220 tok/sを達成した。言及されている改善点には、MPS上のGPU計算の早期バリデーション(約10%の向上をもたらす)と、StrataのGGUF重みの使用(密な層のトークンあたりのトラフィックを5.4GBから3.9GBに削減)が含まれる。

著者によれば、残りの部分は主にホストとGPU間の往復に起因し、トークンあたり約10msを占めている。彼はこの速度をプログラミングエージェントの日常的な使用にはまだ不十分と判断している:「Orthrusが実際の作業を続けている。」プログラミングインターフェースについては、Transformersのメンテナーとの議論が続いている。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x