NVIDIA ajoute quatre points de contrôle (checkpoints) à poids ouverts à sa famille de modèles Cosmos 3, destinés à générer des simulations interactives de mondes et des scènes de conduite multi-capteurs et multi-vues. Les quatre modèles sont des versions post-entraînées de Cosmos 3 Nano, dotées de 16 milliards de paramètres entraînables, et sont publiés sous la licence OpenMDW1.1, qui autorise les usages commerciaux et non commerciaux selon ses termes.
- NVIDIA ajoute quatre modèles ouverts à sa famille Cosmos 3 pour simuler des mondes interactifs.
- Les modèles couvrent la conduite autonome et génèrent des vidéos et des données LiDAR synchronisées sur plusieurs caméras.
- Ils servent aussi la robotique, notamment pour piloter des robots à deux bras via des simulations.
- Ils sont publiés sous licence OpenMDW1.1, qui autorise les usages commerciaux.
Ces modèles, appelés « modèles de monde » (world models), visent à prédire ce qu’un agent observerait après une action. Selon NVIDIA, ils offrent aux chercheurs des environnements simulés pour la robotique comme pour la conduite autonome. Le modèle Sim-Bimanual prédit les conséquences visuelles d’actions, tandis que Sim-Transfer transforme les commandes d’un simulateur physique en observations générées.
Des modèles dédiés à la conduite autonome
Le modèle Cosmos3-Nano-Transfer-Auto est présenté comme un modèle bidirectionnel destiné à la génération de données de conduite synthétiques hors ligne. Il produit des vidéos synchronisées sur jusqu’à 11 caméras, y compris des caméras fisheye, et permet une génération conjointe RGB et LiDAR, c’est-à-dire d’images couleur et de nuages de points issus d’un capteur laser. Des contrôles « World Scenario Map » (WSM) par caméra définissent la structure de la scène et le trafic, tandis que des requêtes textuelles guident l’apparence.
La variante Cosmos3-Nano-Sim-Auto est une version distillée pour le streaming. Elle génère de petits segments successifs de vidéo et de LiDAR en quelques étapes de débruitage, à partir de l’historique généré et de contrôles de conduite mis à jour. Pour une interaction en boucle fermée, la source précise qu’un environnement de simulation et un moteur de rendu WSM sont nécessaires afin de mettre à jour ces contrôles à partir des commandes de conduite.
Robotique : de la simulation physique aux bras jumeaux
Cosmos3-Nano-Sim-Transfer utilise des contrôles spatiaux (profondeur, segmentation, contours et flou) ainsi qu’une requête textuelle pour produire des images couleur exploitables par une politique de contrôle. La physique et l’état de référence restent gérés par le simulateur, le texte ne servant qu’à guider l’apparence.
Cosmos3-Nano-Sim-Bimanual simule quant à lui l’évolution d’un environnement en réponse aux actions d’un robot à deux bras, pour les modèles YAM et AgiBot. La simulation peut être pilotée par une politique ou par des manettes manipulées par un opérateur humain. L’exemple à actions mixtes utilise 59 valeurs de contrôle, complétées à 64 pendant l’entraînement.
Le fonctionnement interne repose sur un backbone de type Mixture-of-Transformers, qui relie des réseaux séparés pour le texte et pour la génération visuelle. Le modèle travaille sur des représentations vidéo compressées, les latents, où chaque pas de temps correspond à quatre images RGB après l’image initiale. Transfer prédit un pas par segment, contre deux pour la configuration Bimanual optimisée, selon le rapport technique de NVIDIA, qui précise que des segments plus courts permettent aux nouveaux contrôles d’influencer la génération plus souvent.
Adapter les modèles à ses propres données
Les recettes de post-entraînement couvrent quatre étapes, de l’adaptation bidirectionnelle à l’auto-forçage, qui entraîne le modèle sur sa propre historique générée afin de limiter l’accumulation des erreurs. Les points de contrôle d’entraînement complets permettent de reprendre un entraînement, alors que les poids d’inférence exportés n’en contiennent pas l’état. Pour exécuter les modèles, la source indique un système Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit. La configuration vLLM-Omni publiée a été testée sur un GB200, mais ce n’est pas une spécification minimale de mémoire.
