Meta、マルチモーダルなMixture-of-Experts型オープンウェイトモデル「Muse Spark Open」を発表

Meta、マルチモーダルなMixture-of-Experts型オープンウェイトモデル「Muse Spark Open」を発表

Metaは、特にコーディングや「エージェント的」タスク(モデルが自律的に複数のアクションを連鎖させるもの)向けに設計された、大規模なオープンウェイトモデル「Muse Spark Open」を発表した。このモデルについて詳細なガイドを公開しているHugging Faceによれば、これは現在最も能力の高い米国製オープンウェイトモデルである。入力としてテキスト、画像、音声、動画を受け付け、出力はテキストのみを生成する。

Muse Spark Openは、Metaが8月にコンパクトモデル「Muse Glimmer」を公開したMuseシリーズの大規模版である。Mixture-of-Experts(MoE)アーキテクチャを採用しており、各計算ではネットワークの一部のみが活性化される。モデルの総パラメータ数は約8160億で、処理されるテキストの単位である各トークンに対して活性化されるのはそのうち約420億パラメータである。一度に考慮できる情報量であるコンテキストウィンドウは、最大100万トークンに達する。

Metaはこのモデルを、コードベースの読み取り、コードの記述とデバッグ、ツールの呼び出しができるよう訓練した。Hugging Faceによれば、複数ファイルにわたるリファクタリングや長時間のデバッグセッションなど、開発者の実際の使用例に最適化されている。また、計画立案、行動、観察、自己エラーの修正を長期的なタスクで行うことができ、画像を用いたWebナビゲーションも含まれる。

大規模アーキテクチャ

各MoE層には256のエキスパートが存在し、ルーターが各トークンに対してそのうち8つを選択する。これらのエキスパートがモデルパラメータの約97%を占める。全てのエキスパートはメモリに保持されるため、デプロイには8160億パラメータモデル相当のメモリが必要となる一方、計算速度は420億パラメータモデル相当となる。BF16形式のチェックポイントはsafetensorsフォーマットで約1.5TBの容量を持つ。4ビット精度で保存されるNVFP4バージョンはNVIDIA Blackwell GPU向けであり、精度の低下は無視できるレベルと評価されている。

画像と動画については、18億パラメータの知覚エンコーダが画像をトークンに変換する。音声モジュールは80ミリ秒ごとに1トークンを生成し、これは1秒あたり12.5トークンに相当する。動画はデフォルトで毎秒2フレーム、最大96フレームまでサンプリングされる。

デプロイとファインチューニング

このモデルは、Transformers、llama.cpp、vLLM、SGLang、MLXを介して利用可能である。llama.cppでは、Q2_Kで量子化されたバージョンが512GBのMac M3 Ultra上で毎秒18トークンを処理する。oMLXを介した3ビットバージョンは約344GBを占有し、Hugging Faceのテストでは生成時に毎秒21トークンを達成した。ホスト型利用のため、Hugging FaceはInference Endpointsでのデプロイを提供しており、131,072トークンのウィンドウには98GBのNVIDIA RTX Pro 6000 GPU 8基、100万トークンのフルウィンドウには141GBのNVIDIA H200 GPU 8基が使用される。

Hugging Faceはまた、TRLを用いたファインチューニングも実演しており、アテンション層にLoRAアダプターを訓練し、エキスパートは固定したままにしている。訓練は500ステップ、約2時間(64基のH100 GPU上で毎秒約8,000トークン)かかった。トークン単位の平均精度は72%から84%に向上し、損失は1.26から0.57に減少した。これは記事によれば、訓練が順調に進んだことを示す信号である。

公開されたデモンストレーションは、エージェント的利用法を例示している。コーディングエージェントはThree.jsで3Dオブジェクトを生成・改良し、自身のレンダリング結果のスクリーンショットをモデルにフィードバックする。別のエージェントは、ページのHTMLコードにアクセスせず、スクリーンショットのみからブラウザを操作する。最後のエージェントは、音声による説明からAmazonで商品を検索する。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x