Claude Opus 5.5 возглавил рейтинг Agent Arena, который оценивает языковые модели (системы, генерирующие текст) по их способности управлять автономным агентом, то есть системой, самостоятельно выполняющей последовательность задач по заданной инструкции. Он оттеснил Claude Fable 5.1, лидера сентября, на третье место, а GPT-6.1 Sol занял вторую позицию. Платформа также опубликовала свой первый индекс соответствия (alignment), верхние строчки которого полностью принадлежат OpenAI.
Доступный с 22 сентября и оцененный в режиме Max, Claude Opus 5.5 опередил все модели в рейтинге, включая Claude Fable 5.1, который через API (интерфейс для интеграции моделей в инструменты разработчиков) стоит в два с половиной раза дороже. С Gemini 4 Argon на четвертом месте Google демонстрирует самый значительный прогресс за месяц: его лучший представитель, Gemini 3.6 Flash, месяц назад занимал лишь 34-ю строчку. Claude Sonnet 5.5 (шестое место) и GPT-6 Sol (седьмое) завершают список новых участников топ-10.
Все пять моделей, уже присутствовавших в топе в сентябре, опустились в рейтинге. GPT-6 Astra упал со второго на пятое место, Claude Opus 5 — с третьего на восьмое, Claude Fable 5 — с пятого на девятое, а GPT-5.6 Sol — с седьмого на десятое. Claude Opus 4.8, Kimi K3, Claude Sonnet 5 и GPT-5.5 покинули первую десятку, где теперь представлены пять моделей от Anthropic, четыре от OpenAI и одна от Google. Для каждой модели Arena публикует диапазон возможных позиций, и диапазоны пяти ближайших преследователей Opus 5.5 все включают первое место. Полный рейтинг доступен на сайте Arena.
Код, чат, работа: Claude Opus 5.5 лидирует во всех трех категориях
Arena разбивает свой рейтинг по типу задач, поручаемых агенту. Категория Code включает разработку, отладку, автоматизацию и анализ данных, тогда как Chat охватывает более личные сценарии использования — от творческого письма до повседневных поисковых запросов. Work объединяет офисные задачи, такие как создание документов или профессиональное письмо. Claude Opus 5.5 занимает первое место во всех трех.
В категории Code выделяется Claude Sonnet 5.5: будучи третьим в этой категории, он поднялся на три позиции по сравнению с общим рейтингом, в то время как Gemini 4 Argon выбыл из топ-5. В чате Gemini 4 Argon поднялся на второе место сразу после Opus 5.5, а GPT-6.1 Sol, второй в общем рейтинге, опустился на пятое место. Диапазон позиций Opus 5.5 здесь также шире, чем в других категориях — от первой до двенадцатой. Категория Work, на которую пришлось 69% задач при запуске категорий в середине августа, в точности повторяет топ-5 общего рейтинга.
Соответствие (Alignment): OpenAI занимает первые пять мест
С 8 октября Arena также публикует индекс соответствия (alignment), который измеряет частоту трех типов отклонений в реальных сессиях: несанкционированное действие, когда агент выходит за рамки запроса пользователя или его разрешений; ложная атрибуция, когда он приписывает пользователю слова или выбор, противоречащие контексту общения; и обманчивое завершение, когда он объявляет задачу выполненной, хотя это не так.
Среди 27 оцененных моделей пять наиболее соответствующих — это GPT-6.1 Sol, GPT-6 Astra, GPT-6 Luna, GPT-6 Sol и GPT-5.6 Sol. Claude Opus 5.5, лучшая модель Anthropic, занимает лишь шестое место, а Gemini 4 Argon — одиннадцатое. По данным Arena, обманчивое завершение в среднем затрагивает 10% сессий, а при отладке кода этот показатель достигает 48%.
Реальные сессии вместо слепых дуэлей
В отличие от других рейтингов Arena, рейтинг, посвященный агентским задачам, не основан на голосовании пользователей между двумя анонимными ответами. Он опирается на реальное использование Agent Mode — изолированной среды, где пользователи поручают агенту, оснащенному инструментами, выполнение комплексных задач. Каждая сессия случайным образом назначается одной из моделей, что, по утверждению платформы, позволяет измерить индивидуальный вклад каждой. Пять сигналов, составляющих общий балл, публикуются подробно: задачи, успешно завершенные по подтверждению пользователя; доля позитивных реакций на жалобы; учет корректировок; надежность выполнения shell-команд и вызовы инструментов, отсутствующих в среде.
В топ-10 Claude Opus 5.5 лучше всех учитывает корректировки, Claude Sonnet 5.5 получает больше всего подтверждений успеха, а GPT-6.1 Sol демонстрирует наилучшее соотношение позитивных реакций.
