アリババがQwen4-Maxを発表:2.4TパラメータのMoEモデル、活性化パラメータ71B、コンテキスト長100万トークン

アリババがQwen4-Maxを発表:2.4TパラメータのMoEモデル、活性化パラメータ71B、コンテキスト長100万トークン
1 分の読書

アリババは、Qwen4シリーズ初のモデルとなるQwen4-Maxを発表した。プロプライエタリモデルとして提供され、ホステッドモードでのみ利用可能で、テキスト、画像、動画を入力として受け付ける。また、API価格の引き下げと、タスクあたりの平均コストが62%削減されたと発表された。

エキスパート混合アーキテクチャ

Qwen4-Maxは、MoE(mixture of experts、エキスパート混合)型のマルチモーダルモデルである。このアーキテクチャでは、処理されるテキストの断片である各トークンに対して、パラメータの一部のみが活性化される。モデルの基盤は2.4Tパラメータであり、そのうちトークンあたり71Bが活性化される。これに加えて、328BパラメータのN-gram Embeddingが存在する。コンテキストウィンドウは100万トークンに達し、最大出力トークン数は393Kである。

アリババは、前世代からの3つの進化点を説明している。1つ目は、関連するコンテキスト要素を選択するQSA(Qwen Sparse Attention)層と、履歴を固定サイズの状態に圧縮する3層のGated DeltaNetを組み合わせた点である。2つ目は、Gated Residualと呼ばれ、動的な読み書きゲートを備えた4つの並列残差ブランチを使用し、情報の流れと学習の安定性の向上を目指している。3つ目は、N-gram Embeddingパラメータを追加し、第2層で局所的なトークンパターンを参照できるようにした点である。同社によれば、2.4Tスケールでの事前学習では損失の急増は見られなかったという。内部テストでは、Qwen4-Max-Baseは、Qwen3.8-Max-Baseと比較して1バイトあたりのビット数が5〜13%低く、活性化パラメータ数も25%少ない結果を示した。

テスト結果は一様ではない

アリババの比較グラフは、Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra、Kimi K3.1に対する16のベンチマークをカバーしている。複数のスコアはサードパーティのランキングから引用されたものであり、発表時点では独立した再現は行われていない。Qwen4-Maxは、この16テストのうち4つで首位を獲得しており、特にHLAB-Vals-1.1(法律エージェント)では21.3ポイント(Kimi K3.1は11.7、Opus 5.5は9.2)、Agents’ Last Exam v1.1では46.7ポイントを記録した。

一方、Claude Opus 5.5は16ランキングのうち7つで優位に立っている。最も顕著な差が見られたのはコードと画像認識の分野で、ProgramBenchでは31.5ポイント(Opus 5.5は65.0)、Terminal-Bench 4.0では48.5ポイント(Kimi K3.1は67.2)だった。アリババの内部ベンチマークであるWork360(26の主要分野と721の専門分野をカバー)では、モデルは52.69ポイントを獲得し、Qwen3.8-Maxの47.74ポイントを上回った。

利用コストの低下

アリババによると、Work360におけるトークン消費量は、Xhighエフォートで約24%、Highエフォートで約35%減少したという。タスクあたりの平均コストは4.43ドルから1.67ドルへ、62%削減された。公開価格も同様の傾向を示している:入力トークンは100万トークンあたり1.50ドル(Qwen3.8-Maxは2ドル)、出力トークンは4.50ドル(同6ドル)。暗黙的キャッシュの読み取りコストは70%削減され、0.25ドルから0.075ドルとなった。

このモデルは、QwenCloud上でqwen4-maxという識別子を持つ。そのAPIはOpenAIおよびAnthropicのクライアントと互換性があり、関数呼び出し、構造化出力、コンテキストキャッシング、バッチ処理、ウェブ検索、ファインチューニングをサポートする。デフォルトのレート制限は1分あたり5,000,000トークンであり、推論モードはenable_thinkingパラメータで有効化される。アリババの公式ブログ記事によれば、モデルの重みは公開されず、セルフホスティングは不可能である。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x