The AI / news

Alibaba представила Qwen4-Max : модель MoE на 2,4 трлн параметров с 71 млрд активных и контекстом в 1 млн токенов

Alibaba представила Qwen4-Max : модель MoE на 2,4 трлн параметров с 71 млрд активных и контекстом в 1 млн токенов
3 мин чтения

Alibaba представила Qwen4-Max, первую модель своего поколения Qwen4. Она предлагается как проприетарное решение и доступна только в режиме хостинга. Модель принимает текст, изображения и видео. Её запуск сопровождается снижением цен на API и заявленным сокращением средней стоимости задачи на 62%.

Архитектура смешения экспертов

Qwen4-Max — это мультимодальная модель типа MoE (mixture of experts, или смешение экспертов), архитектура, в которой на каждый токен (обрабатываемый фрагмент текста) активируется лишь часть параметров. Модель основана на 2.4T параметрах, из которых 71B активны на токен, плюс 328 млрд параметров N-gram Embedding. Её контекстное окно достигает 1 млн токенов, максимальная длина вывода — 393 тыс. токенов.

Alibaba описывает три улучшения по сравнению с предыдущим поколением. Первое сочетает слой QSA (Qwen Sparse Attention), который выбирает релевантные элементы контекста, с тремя слоями Gated DeltaNet, сжимающими историю в состояния фиксированного размера. Второе, под названием Gated Residual, использует четыре параллельные остаточные ветви с динамическими шлюзами чтения и записи для улучшения циркуляции информации и стабильности обучения. Третье добавляет параметры N-gram Embedding, позволяющие обращаться к локальным паттернам токенов на втором слое. По словам компании, предварительное обучение в масштабе 2,4 трлн параметров не показало пиков потерь. Во внутренних тестах Qwen4-Max-Base демонстрирует количество бит на байт на 5–13% ниже, чем у Qwen3.8-Max-Base, при этом активируя на 25% меньше параметров.

Неоднозначные результаты в тестах

Сравнительный график Alibaba охватывает 16 бенчмарков, где модель соревнуется с Qwen3.8-Max-0902, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra и Kimi K3.1. Некоторые оценки взяты из сторонних рейтингов, и ни один из них не был независимо воспроизведен на момент запуска. Qwen4-Max занимает первое место в 4 из 16 тестов, в частности, в HLAB-Vals-1.1 (юридические агенты) с 21,3 балла против 11,7 у Kimi K3.1 и 9,2 у Opus 5.5, а также в Agents’ Last Exam v1.1 с 46,7 балла.

Claude Opus 5.5, однако, лидирует в 7 из 16 рейтингов. Наиболее заметные разрывы наблюдаются в коде и компьютерном зрении: 31,5 на ProgramBench против 65,0 у Opus 5.5 и 48,5 на Terminal-Bench 4.0 против 67,2 у Kimi K3.1. На внутреннем бенчмарке Alibaba Work360, который охватывает 26 основных областей и 721 специализированную сферу, модель набирает 52,69 балла против 47,74 у Qwen3.8-Max.

Снижение стоимости использования

По данным Alibaba, потребление токенов снижается примерно на 24% при усилии Xhigh и на 35% при усилии High на Work360. Средняя стоимость задачи падает с 4,43 доллара до 1,67 доллара, то есть на 62%. Публичные тарифы следуют той же тенденции: входные данные стоят 1,50 доллара за миллион токенов против 2 долларов для Qwen3.8-Max, выходные — 4,50 доллара против 6 долларов. Стоимость чтения неявного кэша снижается на 70% — с 0,25 до 0,075 доллара.

Модель имеет идентификатор qwen4-max на QwenCloud. Её API совместим с клиентами OpenAI и Anthropic, поддерживает вызов функций, структурированный вывод, кэширование контекста, пакетную обработку, веб-поиск и тонкую настройку. Лимит пропускной способности по умолчанию составляет 5 000 000 токенов в минуту, а режим рассуждений активируется параметром enable_thinking. Согласно официальному сообщению Alibaba, веса модели не публикуются, что исключает самостоятельное размещение.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x