Im Ranking von Artificial Analysis, abgerufen am 28. Oktober 2026, erzielt das beste Modell mit herunterladbaren Gewichten 32 Punkte, gegenüber 58 für Claude Opus 5.5 von Anthropic. Mit Version 5 des Index, der mehrere Benchmarks aggregiert, verlieren alle Open-Weight-Modelle zwischen 12 und 16 Punkten, obwohl sich die Modelle selbst nicht verändert haben.
In der vorherigen Version, die noch einige Tage zuvor online war, überschritten MiMo-V2.6-Pro von Xiaomi, DeepSeek V4.1 Flash und GLM-5.3 alle 44 Punkte. Die neue Version ersetzt tatsächlich öffentliche Evaluierungen durch Fragebatterien, die die Labore nicht einsehen können.
60 % des Index basieren nun auf privaten Tests
Laut dem Vorstellungsartikel zu Version 5 basieren 60 % des Index auf Evaluierungen, deren Testdatensätze privat sind oder deren Antworten geheim gehalten werden. Der Index gliedert sich in vier gleich gewichtete Kategorien mit je 25 %: intellektuelle Arbeit, Code, Wissenschaften und Allgemeinwissen.
Artificial Analysis nennt insbesondere FrontierCode 2.0, einen von Cognition gestarteten Programmier-Benchmark, dessen Aufgaben „privat bleiben, um Kontamination zu vermeiden ». Kontamination bezeichnet das Vorhandensein von Testfragen in den Trainingsdaten der Modelle. Der Index berücksichtigt auch 40 schwierige Fragen von CritPt v2 in Physik, während AA-Omniscience v1.1 von seinen öffentlichen Fragen bereinigt wurde. Der Artikel erläutert nicht die genaue Zusammensetzung der 60 %.
Drei Benchmarks fallen aus dem Index: GDPval-AA, SciCode und AA-LCR. Zwei kommen hinzu: FrontierCode 2.0 und Terminal-Bench-Science, das wissenschaftliche Aufgaben in einem Terminal gewidmet ist. Auf seinem X-Account hatte Artificial Analysis den privaten Anteil mit Version 4.2 am 4. September bereits auf 40 % erhöht und für Version 5 einen weiteren Anstieg angekündigt.
Open-Weight-Modelle verlieren zwischen 12 und 16 Punkten
Die elf auf der Open-Modelle-Seite erfassten Modelle, die am 28. Oktober noch in Version 4.3.2 angezeigt wurde, verlieren alle zwischen 12 und 16 Punkten in Version 5. Mistral Large 4, dessen Gewichte noch nicht veröffentlicht sind, verliert 13. MiMo-V2.6-Pro fällt somit von 46 auf 30, DeepSeek V4.1 Flash 1017 (max) von 45 auf 32 und Muse Spark Open (Meta, xhigh) von 39 auf 25.
Kimi K3.1 Pro von Moonshot AI, dessen Gewichte nicht veröffentlicht sind, fällt von 55 auf 46. Die bestplatzierten Closed-Modelle bleiben zwischen 50 und 58 Punkten: Claude Opus 5.5 (58), GPT-6 Astra (57), GPT-6.1 Sol (55), Claude Sonnet 5.5 (54), GPT-6.1 Terra (51) und Gemini 4 Argon (50). Artificial Analysis erklärt den Rückgang der Open-Modelle nicht.
Zwischen 3 und 26 Punkten Unterschied je nachdem, welches Modell als offen gezählt wird
Artificial Analysis fasst Version 5 zusammen, indem es schreibt, dass die Lücke der Open-Weight-Modelle „von 3 auf 12 Punkte ansteigt ». Diese Berechnung bezieht Kimi K3.1 Pro mit 46 Punkten ein, obwohl seine Gewichte „noch nicht veröffentlicht » sind. In seinem Artikel vom 23. Oktober kündigte die Website an, dass sich die Lücke „von 12 Punkten auf 3″ verringern würde, sobald diese Gewichte veröffentlicht seien, was am 28. Oktober jedoch noch nicht der Fall war. Die Modellkarte klassifiziert es zudem als „Proprietary model ».
Betrachtet man nur die tatsächlich veröffentlichten Gewichte, liegen DeepSeek V4.1 Flash und GLM-5.3 mit 32 Punkten 26 Punkte hinter Claude Opus 5.5. Vor dem Versionswechsel betrug die Lücke 12 Punkte. Mit 25 Punkten schließt Mistral Large 4 zu Muse Spark Open auf, und DeepSeek V4.1 Flash und GLM-5.3 liegen 7 Punkte vor diesen beiden Modellen.
Das Ranking gibt auch den Reasoning-Effort-Modus jedes Modells an. Im niedrigen Effort-Modus erzielt Claude Opus 5.5 laut Artificial Analysis 35 Punkte bei durchschnittlichen Kosten von 0,98 Dollar pro Index-Aufgabe. Im maximalen Effort-Modus kostet dieselbe Aufgabe 10,04 Dollar.
Das Hugging Face-Repository von Mistral Large 4 zeigt den 31. Oktober 2026 als geschätztes Veröffentlichungsdatum seiner Gewichte an, ohne dass bis zum Abend des 28. Oktobers eine Datei oder Lizenz vorlag. Mistral hatte am 6. Oktober geschrieben, dass es sie „bis Ende des Monats » veröffentlichen werde. Die gewählte Lizenz und die Punktzahl der veröffentlichten Version bleiben unbekannt.
