2026年10月28日時点のArtificial Analysisランキングによると、ダウンロード可能なウェイトを持つ最良のモデルは32ポイントを獲得しているのに対し、AnthropicのClaude Opus 5.5は58ポイントを獲得している。 複数のベンチマークを集約したバージョン5の指標では、オープンウェイトモデルはすべて12〜16ポイントを失っており、モデル自体は変更されていない。
数日前まで公開されていた以前のバージョンでは、XiaomiのMiMo-V2.6-Pro、DeepSeek V4.1 Flash、GLM-5.3はいずれも44ポイントを超えていた。新しいバージョンでは、公開されていた評価の一部が、研究機関が参照できない質問セットに置き換えられている。
指標の60%が非公開テストに依存
バージョン5の紹介記事によると、指標の60%はテストセットが非公開、または回答が秘密にされている評価に基づいている。指標は、知的労働、コード、科学、一般知識の4つのカテゴリーに分かれており、各25%の重みを持つ。
Artificial Analysisは特に、Cognitionが立ち上げたプログラミングベンチマーク「FrontierCode 2.0」を引用しており、そのタスクは「汚染を避けるために非公開」とされている。汚染とは、モデルの学習データにテスト問題が含まれてしまうことを指す。また、指標には物理学の難しい問題40問からなるCritPt v2が採用され、AA-Omniscience v1.1からは公開問題が削除された。記事では、60%を構成する要素の詳細は明らかにされていない。
指標からはGDPval-AA、SciCode、AA-LCRの3つのベンチマークが外れ、FrontierCode 2.0とターミナルでの科学タスクに特化したTerminal-Bench-Scienceの2つが新たに加わった。Artificial AnalysisはXアカウントで、9月4日にバージョン4.2で非公開部分を40%に引き上げ、バージョン5でさらに増加すると既に発表していた。
オープンモデルは12〜16ポイントを失う
10月28日時点でまだバージョン4.3.2として表示されていたオープンモデルのページに掲載されている11のモデルはすべて、バージョン5で12〜16ポイントを失っている。まだウェイトが公開されていないMistral Large 4は13ポイントを失った。MiMo-V2.6-Proは46から30に、DeepSeek V4.1 Flash 1017 (max)は45から32に、Muse Spark Open (Meta, xhigh)は39から25にそれぞれ下落した。
ウェイトが公開されていないMoonshot AIのKimi K3.1 Proは55から46に下落した。トップクラスのクローズドモデルは、Claude Opus 5.5 (58)、GPT-6 Astra (57)、GPT-6.1 Sol (55)、Claude Sonnet 5.5 (54)、GPT-6.1 Terra (51)、Gemini 4 Argon (50)と、50〜58ポイントの範囲を維持している。Artificial Analysisはオープンモデルの下落理由については説明していない。
オープンと見なされるモデルにより、差は3〜26ポイント
Artificial Analysisはバージョン5を要約し、オープンウェイトモデルの差が「3ポイントから12ポイントに広がった」と記している。この計算では、ウェイトが「まだ公開されていない」Kimi K3.1 Pro（46ポイント）が含まれている。10月23日の記事で同サイトは、これらのウェイトが公開されれば差が「12ポイントから3ポイントに縮小する」と発表していたが、10月28日時点でまだ公開されていなかった。モデルのページでは「Proprietary model」と分類されている。
実際に公開されているウェイトのみに焦点を当てると、DeepSeek V4.1 FlashとGLM-5.3（32ポイント）はClaude Opus 5.5から26ポイント離れている。バージョン変更前の差は12ポイントだった。25ポイントのMistral Large 4はMuse Spark Openと同点となり、DeepSeek V4.1 FlashとGLM-5.3はこれら2つのモデルを7ポイント上回っている。
ランキングは各モデルの推論努力設定も示している。Artificial Analysisによると、努力設定を低くしたClaude Opus 5.5は35ポイントを獲得し、指標タスクあたりの平均コストは0.98ドルだった。最大努力設定では、同じタスクのコストは10.04ドルになる。
Mistral Large 4のHugging Faceリポジトリでは、ウェイト公開の予定日が2026年10月31日と表示されているが、10月28日夜時点でファイルもライセンスも確認できない。Mistralは10月6日に「今月末までに」公開すると記していた。選択されるライセンスと、公開版のスコアは不明のままである。
