IFM van MBZUAI publiceert PAN 2, een open source wereldmodel van 29 miljard parameters voor fysieke AI

IFM van MBZUAI publiceert PAN 2, een open source wereldmodel van 29 miljard parameters voor fysieke AI
3 min lezen

Het Institute of Foundation Models (IFM), verbonden aan MBZUAI, heeft PAN 2 gepubliceerd, een open wereldmodel voor fysieke kunstmatige intelligentie. Op basis van een scène en een in tekst beschreven actie simuleert het het resultaat in de vorm van een video. De aankondiging werd op 10 november 2026 op X gedaan, en de gewichten, de trainingscode en de inferentiecode worden gedistribueerd onder de Apache 2.0-licentie.

Een wereldmodel is een systeem dat de evolutie van een omgeving na een actie voorspelt. PAN 2, gepresenteerd als een model voor algemeen gebruik, volgt PAN op, dat in november 2025 werd uitgebracht. Het verklaarde doel is redeneren via simulatie: een agent stelt meerdere plannen voor, PAN 2 simuleert elk ervan, en de agent handelt volgens het beste plan. Voor ontwikkelaars van robotica en agents is het idee om een plan eerst in simulatie te testen voordat het wordt uitgevoerd.

Een tweestapsredenering

PAN 2 verdeelt de simulatie over twee stappen. De eerste, conceptuele stap, steunt op een groot taalmodel (LLM), een systeem getraind om tekst te manipuleren. Het leest de observatie en de gevraagde acties, en schrijft vervolgens de volgende wereldtoestand uit in de vorm van gestructureerde JSON: gebeurtenissen, gedateerde acties gekoppeld aan actoren, en camerabeweging. Volgens het rapport van IFM is de standaard gebruikte ‘reasoner’ Kimi K3, maar elk instructievolgend LLM kan deze rol vervullen.

De tweede, perceptuele stap, wordt toevertrouwd aan een diffusietransformator van 29B parameters, genaamd MMDiT, die de latente representaties van de video voorspelt. IFM heeft deze van scratch getraind op honderden miljoenen geannoteerde video’s. Een Qwen3.5-9B tekstencoder, bevroren tijdens gebruik, conditioneert dit model, en de VAE-decoder van Wan 2.2 produceert de uiteindelijke beelden.

IFM stelt dat het LLM bepalend is. Zonder conceptuele redenering daalt het slagingspercentage van volledige plannen van 34,0% naar 0,0%, en dat van individuele stappen van 75,1% naar 8,7%. Een simpele herschrijving in gestructureerd formaat herstelt een deel van het verschil, met 27,8% volledige plannen. IFM geeft ook aan beelden van videogames, animatie en simulatie te hebben uitgesloten na een initiële trainingsfase. Een 9B testmodel dat zonder deze beelden werd getraind, won 58% van de stemmen in een blinde test.

Resultaten aangekondigd door de uitgever

Alle onderstaande scores zijn zelfgerapporteerd door IFM, dat zijn eigen testset gebruikte: 6 capaciteiten geëvalueerd op 300 gevallen met één actie, en 100 taken met meerdere stappen. Voor volledige plannen bereikt PAN 2 34,00%, tegen 32,50% voor MiniMax-H3, 26,77% voor FLUX 3 en 24,49% voor Seedance 2.5. Voor individuele stappen behaalt het 75,10%, tegen 75,12% voor MiniMax-H3. Voor de 6 capaciteiten scoort het 84,48%, tegen 87,20% voor MiniMax-H3, die in alle zes categorieën voorligt.

Op de Physics-IQ Verified-ranglijst behaalt PAN 2 49,38, aan de top van de open modellen, achter het gesloten model FLUX 3 met 51,11. Op RBench bereikt het 57,04, tegen 56,16 voor MiniMax-H3. In de menselijke voorkeurtest behaalt het een Elo van 1595 met GPT-6 Astra als ‘reasoner’, tegen 1620 voor MiniMax-H3.

Wat hardware betreft, laadt elke GPU-worker het volledige 29B-model in BF16, met bloksgewijs ‘offloading’ als fallback. IFM publiceert geen VRAM-cijfers of generatieduur. De standaardduur van een sequentie is 241 frames, ongeveer 10 seconden, en de limiet is 20 seconden bij 704×1248 en 24 frames per seconde. De beschrijvingen zijn beperkt tot 1.536 tokens, de tekstverwerkingseenheden van het model.

IFM beveelt bovendien zijn aparte veiligheidsvoorziening aan, pan2-guardrail. In tests van het instituut verminderde dit onveilige uitvoer van schadelijke tekst-naar-video-verzoeken van 33,9% naar 1,5%, terwijl het 11,5% van de onschuldige verzoeken blokkeerde.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x