L’Institute of Foundation Models (IFM), rattaché au MBZUAI, a publié PAN 2, un modèle du monde ouvert destiné à l’intelligence artificielle physique. À partir d’une scène et d’une action décrite en texte, il simule le résultat sous forme de vidéo. L’annonce a été faite sur X le 10 novembre 2026, et les poids, le code d’entraînement et le code d’inférence sont distribués sous licence Apache 2.0.
- IFM publie PAN 2, un modèle du monde open source de 29 milliards de paramètres.
- Il simule une vidéo à partir d’une scène et d’une action décrite en texte.
- Un LLM rédige l’état suivant, puis un transformeur de diffusion génère la vidéo.
- Selon IFM, PAN 2 domine les modèles ouverts, mais MiniMax-H3 le devance sur la plupart des tests.
Un modèle du monde est un système qui prédit l’évolution d’un environnement après une action. PAN 2, présenté comme un modèle à usage général, succède à PAN, sorti en novembre 2025. L’objectif affiché est le raisonnement par simulation : un agent propose plusieurs plans, PAN 2 simule chacun d’eux, et l’agent agit selon le meilleur. Pour les développeurs de robotique et d’agents, l’idée est de tester un plan en simulation avant de l’exécuter.
Un raisonnement en deux temps
PAN 2 répartit la simulation entre deux étapes. La première, dite conceptuelle, repose sur un grand modèle de langage (LLM), c’est-à-dire un système entraîné à manipuler du texte. Il lit l’observation et les actions demandées, puis rédige l’état suivant du monde sous forme de JSON structuré : événements, actions datées liées à des acteurs, et mouvement de caméra. Selon le rapport d’IFM, le raisonneur utilisé par défaut est Kimi K3, mais n’importe quel LLM capable de suivre des instructions peut jouer ce rôle.
La seconde étape, perceptuelle, est confiée à un transformeur de diffusion de 29B paramètres, baptisé MMDiT, qui prédit les latents de la vidéo. IFM l’a entraîné à partir de zéro sur des centaines de millions de vidéos annotées. Un encodeur de texte Qwen3.5-9B, gelé pendant l’utilisation, conditionne ce modèle, et le décodeur VAE de Wan 2.2 produit les images finales.
IFM avance que le LLM est déterminant. Sans raisonnement conceptuel, le taux de complétion des plans complets tombe de 34,0 % à 0,0 %, et celui des étapes passe de 75,1 % à 8,7 %. Une simple réécriture au format structuré récupère une partie de l’écart, avec 27,8 % de plans complets. IFM indique aussi avoir écarté les images de jeux vidéo, d’animation et de simulation après une phase d’entraînement initiale. Un modèle test de 9B entraîné sans elles a remporté 58 % des votes à l’aveugle.
Des résultats annoncés par l’éditeur
Tous les scores ci-dessous sont auto-déclarés par IFM, qui a utilisé sa propre suite de tests : 6 capacités évaluées sur 300 cas à action unique, et 100 tâches multi-étapes. Sur les plans complets, PAN 2 atteint 34,00 %, contre 32,50 % pour MiniMax-H3, 26,77 % pour FLUX 3 et 24,49 % pour Seedance 2.5. Sur les étapes prises une à une, il obtient 75,10 %, contre 75,12 % pour MiniMax-H3. Sur les 6 capacités, il affiche 84,48 %, contre 87,20 % pour MiniMax-H3, qui devance dans les six catégories.
Sur le classement Physics-IQ Verified, PAN 2 obtient 49,38, en tête des modèles ouverts, derrière le modèle fermé FLUX 3, à 51,11. Sur RBench, il atteint 57,04, contre 56,16 pour MiniMax-H3. Dans le test de préférence humaine, il affiche un Elo de 1595 avec GPT-6 Astra comme raisonneur, contre 1620 pour MiniMax-H3.
Côté matériel, chaque travailleur GPU charge le modèle complet de 29B en BF16, avec un déchargement par blocs en solution de repli. IFM ne publie ni chiffre de mémoire vive (VRAM) ni durée de génération. La durée par défaut d’une séquence est de 241 images, soit environ 10 secondes, et la limite est de 20 secondes en 704×1248 à 24 images par seconde. Les descriptions sont plafonnées à 1 536 tokens, les unités de texte traitées par le modèle.
IFM recommande en outre son garde-fou séparé, pan2-guardrail. Dans les tests de l’institut, il a fait passer les sorties non sûres issues de requêtes nuisibles de texte vers vidéo de 33,9 % à 1,5 %, tout en bloquant 11,5 % des requêtes anodines.
