Alibaba startet Qwen4-Max : Ein MoE-Modell mit 2,4T Parametern, 71B aktiv und 1 Million Kontext

Alibaba startet Qwen4-Max : Ein MoE-Modell mit 2,4T Parametern, 71B aktiv und 1 Million Kontext
2 Minuten Lesezeit

Alibaba hat Qwen4-Max vorgestellt, das erste Modell seiner Qwen4-Generation. Es wird proprietär angeboten und ist ausschließlich im gehosteten Modus verfügbar, verarbeitet Text, Bilder und Video und geht mit einer Senkung der API-Preise sowie einer angekündigten Reduzierung der durchschnittlichen Kosten pro Aufgabe um 62 % einher.

Eine Mixture-of-Experts-Architektur

Qwen4-Max ist ein multimodales MoE-Modell (mixture of experts, Mixture of Experts), eine Architektur, bei der nur ein Bruchteil der Parameter pro Token, also pro verarbeitetem Textfragment, aktiviert wird. Das Modell basiert auf einem Fundament von 2,4T Parametern, von denen 71B pro Token aktiv sind, zuzüglich 328B Parametern für N-gram Embedding. Sein Kontextfenster erreicht 1M Tokens, bei einer maximalen Ausgabe von 393K Tokens.

Alibaba beschreibt drei Weiterentwicklungen gegenüber der Vorgängergeneration. Die erste kombiniert eine QSA-Schicht (Qwen Sparse Attention), die relevante Kontextelemente auswählt, mit drei Gated-DeltaNet-Schichten, die den Verlauf in Zustände fester Größe komprimieren. Die zweite, genannt Gated Residual, nutzt vier parallele Residualzweige mit dynamischen Lese- und Schreibgates, um den Informationsfluss und die Trainingsstabilität zu verbessern. Die dritte fügt N-gram-Embedding-Parameter hinzu, die es ermöglichen, lokale Token-Muster in Schicht 2 abzufragen. Laut Unternehmen zeigt das Vorabtraining im Maßstab von 2,4T keine Verlustspitzen. In internen Tests zeigt Qwen4-Max-Base eine um 5 bis 13 % geringere Bitmenge pro Byte als Qwen3.8-Max-Base, während es 25 % weniger Parameter aktiviert.

Gemischte Ergebnisse je nach Test

Das Vergleichsdiagramm von Alibaba umfasst 16 Benchmarks im Vergleich zu Qwen3.8-Max-0902, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra und Kimi K3.1. Mehrere Scores stammen aus Dritt-Rankings, und keiner war zum Start unabhängig reproduziert worden. Qwen4-Max belegt in 4 dieser 16 Tests den ersten Platz, insbesondere bei HLAB-Vals-1.1 (Rechtsagenten) mit 21,3 gegenüber 11,7 für Kimi K3.1 und 9,2 für Opus 5.5 sowie bei Agents’ Last Exam v1.1 mit 46,7.

Claude Opus 5.5 dominiert hingegen 7 der 16 Rankings. Die deutlichsten Unterschiede betreffen Code und Vision: 31,5 bei ProgramBench gegenüber 65,0 für Opus 5.5 und 48,5 bei Terminal-Bench 4.0 gegenüber 67,2 für Kimi K3.1. Bei Work360, dem internen Benchmark von Alibaba, der 26 Hauptdomänen und 721 Spezialgebiete abdeckt, erreicht das Modell 52,69 gegenüber 47,74 für Qwen3.8-Max.

Sinkende Nutzungskosten

Laut Alibaba sinkt der Token-Verbrauch auf Work360 um etwa 24 % bei der Anstrengungsstufe Xhigh und um 35 % bei High. Die durchschnittlichen Kosten pro Aufgabe sinken von 4,43 Dollar auf 1,67 Dollar, was einem Rückgang von 62 % entspricht. Die öffentlichen Preise folgen demselben Trend: Der Eingangspreis liegt bei 1,50 Dollar pro Million Tokens gegenüber 2 Dollar für Qwen3.8-Max, der Ausgangspreis bei 4,50 Dollar gegenüber 6 Dollar. Die Kosten für impliziten Cache-Lesevorgang sinken um 70 %, von 0,25 auf 0,075 Dollar.

Das Modell trägt die Kennung qwen4-max auf QwenCloud. Seine API ist kompatibel mit OpenAI- und Anthropic-Clients und unterstützt Funktionsaufrufe, strukturierte Ausgaben, Kontext-Caching, Batch-Verarbeitung, Websuche und Fine-Tuning. Das Standard-Durchsatzlimit beträgt 5.000.000 Tokens pro Minute, und der Reasoning-Modus wird mit dem Parameter enable_thinking aktiviert. Laut dem offiziellen Blogbeitrag von Alibaba werden die Modellgewichte nicht veröffentlicht, was Self-Hosting ausschließt.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x