IFM des MBZUAI veröffentlicht PAN 2, ein Open-Source-World-Model mit 29 Milliarden Parametern für physische KI

IFM des MBZUAI veröffentlicht PAN 2, ein Open-Source-World-Model mit 29 Milliarden Parametern für physische KI
3 Minuten Lesezeit

Das Institute of Foundation Models (IFM), das zum MBZUAI gehört, hat PAN 2 veröffentlicht, ein offenes World Model für physische künstliche Intelligenz. Ausgehend von einer Szene und einer in Text beschriebenen Aktion simuliert es das Ergebnis als Video. Die Ankündigung erfolgte am 10. November 2026 auf X, und die Gewichte, der Trainingscode sowie der Inferenzcode werden unter der Apache-2.0-Lizenz bereitgestellt.

Ein World Model ist ein System, das die Entwicklung einer Umgebung nach einer Aktion vorhersagt. PAN 2, als Modell für allgemeine Zwecke vorgestellt, folgt auf PAN, das im November 2025 veröffentlicht wurde. Das erklärte Ziel ist Reasoning durch Simulation: Ein Agent schlägt mehrere Pläne vor, PAN 2 simuliert jeden davon, und der Agent handelt gemäß dem besten. Für Entwickler von Robotik und Agents ist die Idee, einen Plan vor der Ausführung in der Simulation zu testen.

Ein zweistufiges Reasoning

PAN 2 teilt die Simulation in zwei Schritte auf. Der erste, sogenannte konzeptionelle Schritt, basiert auf einem großen Sprachmodell (LLM), also einem System, das darauf trainiert ist, mit Text umzugehen. Es liest die Beobachtung und die angeforderten Aktionen und verfasst dann den nächsten Weltzustand als strukturiertes JSON: Ereignisse, datierte Aktionen, die mit Akteuren verknüpft sind, und Kamerabewegung. Laut dem Bericht des IFM ist der standardmäßig verwendete Reasoner Kimi K3, aber jedes LLM, das Anweisungen befolgen kann, kann diese Rolle übernehmen.

Der zweite, perzeptive Schritt wird einem Diffusions-Transformer mit 29 Milliarden Parametern namens MMDiT anvertraut, der die Latents des Videos vorhersagt. Das IFM hat ihn von Grund auf mit Hunderten Millionen annotierten Videos trainiert. Ein Qwen3.5-9B-Textencoder, der während der Nutzung eingefroren ist, konditioniert dieses Modell, und der VAE-Decoder von Wan 2.2 erzeugt die finalen Bilder.

Das IFM behauptet, das LLM sei entscheidend. Ohne konzeptionelles Reasoning fällt die Vollständigkeitsrate vollständiger Pläne von 34,0 % auf 0,0 %, und die der einzelnen Schritte sinkt von 75,1 % auf 8,7 %. Eine einfache Umformulierung in strukturiertem Format holt einen Teil des Rückstands auf, mit 27,8 % vollständigen Plänen. Das IFM gibt auch an, Bilder von Videospielen, Animationen und Simulationen nach einer anfänglichen Trainingsphase ausgeschlossen zu haben. Ein 9-Milliarden-Parameter-Testmodell, das ohne diese trainiert wurde, gewann 58 % der Stimmen in einem Blindtest.

Vom Herausgeber angekündigte Ergebnisse

Alle folgenden Werte sind selbst deklariert vom IFM, das seinen eigenen Testsuite verwendete: 6 Fähigkeiten, bewertet an 300 Einzelaktionsfällen und 100 mehrstufigen Aufgaben. Bei vollständigen Plänen erreicht PAN 2 34,00 %, gegenüber 32,50 % für MiniMax-H3, 26,77 % für FLUX 3 und 24,49 % für Seedance 2.5. Bei den einzelnen Schritten erzielt es 75,10 %, gegenüber 75,12 % für MiniMax-H3. Bei den 6 Fähigkeiten zeigt es 84,48 %, gegenüber 87,20 % für MiniMax-H3, das in allen sechs Kategorien führt.

Im Physics-IQ Verified-Ranking erzielt PAN 2 49,38 und führt damit die offenen Modelle an, hinter dem geschlossenen Modell FLUX 3 mit 51,11. Auf RBench erreicht es 57,04, gegenüber 56,16 für MiniMax-H3. Im menschlichen Präferenztest zeigt es eine Elo-Zahl von 1595 mit GPT-6 Astra als Reasoner, gegenüber 1620 für MiniMax-H3.

Hardwareseitig lädt jeder GPU-Worker das vollständige 29-Milliarden-Parameter-Modell in BF16, mit Block-Offloading als Fallback-Lösung. Das IFM veröffentlicht weder VRAM-Zahlen noch Generierungsdauer. Die Standardlänge einer Sequenz beträgt 241 Frames, also etwa 10 Sekunden, und das Limit liegt bei 20 Sekunden in 704×1248 bei 24 Bildern pro Sekunde. Die Beschreibungen sind auf 1.536 Tokens begrenzt, die Texteinheiten, die das Modell verarbeitet.

Das IFM empfiehlt außerdem seine separate Sicherheitskomponente pan2-guardrail. In den Tests des Instituts reduzierte sie unsichere Ausgaben aus schädlichen Text-zu-Video-Anfragen von 33,9 % auf 1,5 %, während sie 11,5 % der harmlosen Anfragen blockierte.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x