Согласно рейтингу Artificial Analysis по состоянию на 28 октября 2026 года, лучшая модель с публичными весами набирает 32 балла, тогда как Claude Opus 5.5 от Anthropic — 58. С переходом на пятую версию индекса, который агрегирует несколько тестов, все модели с открытыми весами потеряли от 12 до 16 баллов, хотя сами модели не менялись.
В предыдущей версии, ещё доступной несколькими днями ранее, MiMo-V2.6-Pro от Xiaomi, DeepSeek V4.1 Flash и GLM-5.3 набирали более 44 баллов. Новая версия действительно заменяет публичные оценки наборами вопросов, которые лаборатории не могут просматривать.
60% индекса теперь основаны на приватных тестах
Согласно статье, представляющей пятую версию, 60% индекса теперь основаны на оценках, тестовые наборы которых являются приватными или ответы на которые держатся в секрете. Индекс делится на четыре категории, каждая с весом 25%: интеллектуальный труд, программирование, наука и общие знания.
Artificial Analysis упоминает, в частности, FrontierCode 2.0, бенчмарк по программированию от Cognition, задачи которого «остаются приватными во избежание контаминации». Контаминация означает присутствие тестовых вопросов в обучающих данных моделей. Индекс также включает 40 сложных вопросов из CritPt v2 по физике, в то время как AA-Omniscience v1.1 был очищен от публичных вопросов. Статья не детализирует точный состав этих 60%.
Три теста исключены из индекса: GDPval-AA, SciCode и AA-LCR. Два добавлены: FrontierCode 2.0 и Terminal-Bench-Science, посвящённый научным задачам, выполняемым в терминале. В своём аккаунте X Artificial Analysis уже увеличил долю приватных тестов до 40% в версии 4.2 от 4 сентября и анонсировал дальнейший рост в пятой версии.
Открытые модели теряют от 12 до 16 баллов
Одиннадцать моделей, перечисленных на странице открытых моделей (которая ещё отображала версию 4.3.2 на 28 октября), все потеряли от 12 до 16 баллов в версии 5. Mistral Large 4, веса которого ещё не опубликованы, потерял 13. MiMo-V2.6-Pro упал с 46 до 30, DeepSeek V4.1 Flash 1017 (max) — с 45 до 32, а Muse Spark Open (Meta, xhigh) — с 39 до 25.
Kimi K3.1 Pro от Moonshot AI, веса которого не опубликованы, опустился с 55 до 46. Лучшие закрытые модели остаются в диапазоне от 50 до 58 баллов: Claude Opus 5.5 (58), GPT-6 Astra (57), GPT-6.1 Sol (55), Claude Sonnet 5.5 (54), GPT-6.1 Terra (51) и Gemini 4 Argon (50). Artificial Analysis не объясняет снижение баллов у открытых моделей.
От 3 до 26 баллов разрыва в зависимости от того, какая модель считается открытой
Artificial Analysis резюмирует пятую версию, отмечая, что разрыв моделей с открытыми весами «увеличивается с 3 до 12 баллов». В этом расчёте учитывается Kimi K3.1 Pro с 46 баллами, хотя его веса «ещё не опубликованы». В статье от 23 октября сайт заявлял, что разрыв сократится «с 12 баллов до 3» после публикации этих весов, но на 28 октября они всё ещё не были опубликованы. Карточка модели, кстати, классифицирует её как «Proprietary model».
Если рассматривать только фактически опубликованные веса, то DeepSeek V4.1 Flash и GLM-5.3 с 32 баллами отстают от Claude Opus 5.5 на 26 баллов. До смены версии разрыв составлял 12 баллов. С 25 баллами Mistral Large 4 сравнялся с Muse Spark Open, а DeepSeek V4.1 Flash и GLM-5.3 опережают эти две модели на 7 баллов.
Рейтинг также указывает настройку уровня усилия рассуждения для каждой модели. При низком уровне усилия Claude Opus 5.5 набирает 35 баллов при средней стоимости 0,98 доллара за задачу из индекса, согласно Artificial Analysis. При максимальном усилии стоимость той же задачи для него составляет 10,04 доллара.
Репозиторий Hugging Face для Mistral Large 4 указывает 31 октября 2026 года в качестве предполагаемой даты публикации его весов; на вечер 28 октября ни файлов, ни лицензии не было. Mistral писал 6 октября, что опубликует их «до конца месяца». Выбранная лицензия и результат опубликованной версии остаются неизвестными.
