Un simulateur de monde interactif entraîne et évalue des politiques pour les robots

Un simulateur de monde interactif entraîne et évalue des politiques pour les robots
4 min de lecture

Des chercheurs présentent un « Interactive World Simulator », un simulateur qui prédit des images vidéo en réponse aux actions d’un robot, sans moteur physique. Selon les auteurs, cet outil pourrait réduire deux goulets d’étranglement de l’apprentissage robotique : la collecte de données d’entraînement et l’évaluation des politiques, c’est-à-dire des programmes de contrôle des robots.

Aujourd’hui, la méthode courante consiste à recueillir des centaines de démonstrations réalisées par un expert sur un vrai robot, à entraîner une politique d’imitation sur ces données, puis à la tester à de nombreuses reprises sur le même robot. Ces étapes sont lentes, coûteuses et difficiles à reproduire, car le matériel peut tomber en panne, l’éclairage peut changer et les objets peuvent se déplacer. Les simulateurs classiques fondés sur la physique offrent une alternative, mais ils exigent de modéliser à la main les géométries, les contacts, les frottements et les déformations, et restent souvent trop éloignés du réel pour que les politiques entraînées en simulation fonctionnent ensuite sur un robot réel.

Un modèle qui apprend à partir des actions

Les auteurs ont choisi une autre approche. Leur simulateur est un modèle de prédiction vidéo, conditionné par les actions du robot : à partir de l’image courante et d’une suite d’actions, il génère les images suivantes directement en pixels, sans moteur physique. Il a été entraîné sur quatre tâches de manipulation : pousser un objet en forme de T (contact entre corps rigides), passer une corde dans un clip (interaction entre un objet déformable et un objet rigide), saisir une tasse (dynamique fine de la pince) et balayer un tas d’objets.

Selon les auteurs, un opérateur peut contrôler le robot à travers ce modèle pendant plus de 10 minutes à 15 FPS, soit 15 images par seconde, sur une seule carte RTX 4090, tout en obtenant une vidéo qui reste stable et physiquement plausible. Pour y parvenir, le système fonctionne en deux temps. Un premier autoencodeur compresse les images RGB en représentations latentes compactes, puis les restitue en images. Un second modèle, dont l’autoencodeur est figé, prédit l’état latent suivant à partir des latents passés et des actions, avant un décodage en image. Cette prédiction se répète de façon autorégressive, chaque image produite servant de contexte pour la suivante. Les auteurs indiquent utiliser des modèles de cohérence pour que la simulation reste interactive et stable sur la durée.

Deux usages : générer des données et évaluer

Dans une première expérience, les auteurs ont collecté des démonstrations entièrement dans le simulateur, puis entraîné des politiques d’imitation avec 0 % de données réelles et 100 % de données générées. Ces politiques, déployées directement sur le robot réel, accomplissent les tâches et restent robustes face à des perturbations humaines continues. Selon les auteurs, cela montre que la qualité des données générées est comparable à celle des données réelles.

Dans une seconde expérience, quatre politiques, DP, ACT, π0 et π0.5, ont été évaluées à la fois dans le simulateur et sur le robot réel, avec les mêmes configurations initiales. Chaque point de l’évaluation correspond à un point de contrôle (checkpoint) de politique, noté dans les deux environnements. Les auteurs observent une forte corrélation entre les deux séries de scores, selon les tâches et les politiques. Qualitativement, les politiques qui réussissent en simulation réussissent aussi sur le robot réel, et celles qui échouent en simulation échouent également dans le réel.

Les auteurs indiquent vouloir étendre leur cadre à des environnements plus variés et à des tâches de manipulation plus complexes. Ils citent aussi l’étude de la manière dont les performances de ces modèles évoluent avec la quantité de données d’interaction et les ressources de calcul, une question qu’ils jugent utile pour concevoir des modèles de monde plus grands pour la robotique.

Yixuan Wang est doctorant en dernière année en informatique à Columbia University et scientifique de recherche au sein du NVIDIA Seattle Robotics Lab. Le projet est présenté sur une page dédiée, où le simulateur peut être testé dans un navigateur au clavier.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x