Des chercheurs du MIT CSAIL et du Toyota Research Institute ont présenté SceneSmith, un système qui fait appel à trois agents d’IA pour construire des scènes 3D d’intérieurs destinées à l’entraînement des robots. Ces environnements virtuels permettent aux machines de s’exercer et d’essayer différentes manières d’accomplir une tâche avant d’être mises en service. Les travaux ont été présentés en tant que spotlight à la conférence 2026 International Conference on Machine Learning.
Le principal obstacle à la robotique généraliste reste la donnée. Comme les humains, les robots apprennent surtout par l’expérience, mais l’enseigner physiquement à une machine, pour un grand nombre d’actions et de lieux, demande beaucoup de travail et de temps. Russ Tedrake, professeur au MIT et chercheur principal au CSAIL, rappelle que la simulation constitue une piste naturelle. Les moteurs physiques des simulateurs ont beaucoup progressé, mais il reste difficile de produire des contenus assez riches et variés pour refléter la complexité du monde réel.
Trois agents pour une pièce
Les agents d’IA, programmes semi-autonomes capables d’accomplir des tâches bien définies, peuvent précisément aider à produire ces décors. SceneSmith s’appuie sur trois agents qui assemblent les objets, les murs et l’aspect général d’une scène en 3D. Chacun repose sur un modèle vision-langage (VLM, un système capable de traiter à la fois du texte et des images), en l’occurrence GPT-5.2 d’OpenAI, présenté dans la source comme l’un des modèles les plus avancés du domaine.
Le fonctionnement suit une chaîne en trois temps. Un agent « designer » génère les éléments de la scène, un agent « critic » juge si le résultat paraît réaliste, et un agent « orchestrator » gère les échanges entre les deux et décide quand la conception est terminée. Une fois cette collaboration achevée, la scène peut être chargée directement dans un logiciel de simulation physique. Les agents procèdent ainsi étape par étape : mobilier, objets posés sur les murs puis au plafond, et enfin objets que le robot peut manipuler, comme des armoires qu’il peut ouvrir et fermer.
Nicholas Pfaff, doctorant en génie électrique et informatique au MIT et auteur principal de l’article avec Russ Tedrake, décrit un résultat qui le surprend : « Nous avons constaté que le système peut construire des scènes 3D à la manière d’un designer humain. » Selon lui, l’équipe a généré plus de 1 300 scènes, avec des agencements « insanely creative » (d’une créativité folle) et variés, que le système n’avait pas reçus explicitement dans ses consignes.
Selon les chercheurs, ces scènes contiennent jusqu’à six fois plus d’objets par pièce que les méthodes précédentes, ce qui les rend utiles pour apprendre à un robot à placer une tasse dans l’évier, disposer des fruits sur des assiettes ou déplacer une canette d’une étagère à une table.
Un réalisme à l’épreuve
Pour vérifier le réalisme de ces mondes virtuels, les chercheurs ont testé une politique pré-entraînée, c’est-à-dire un contrôleur d’IA formé en grande partie sur des données réelles, qui n’avait jamais vu une scène de SceneSmith. Lorsqu’on lui a demandé de « prendre la pomme du bol et la poser sur la planche à découper », le robot simulé a accompli la tâche. Les équipes ont également piloté des robots à distance dans ces espaces pour ouvrir des placards, ranger des bouteilles et passer d’une pièce à l’autre.
Dans un autre test, 100 espaces uniques ont été générés et un agent VLM a évalué les plans d’action du robot, jugés défaillants dans de nombreux cas. Les humains se sont accordés avec ces verdicts dans plus de 99 % des cas, selon les chercheurs, ce qui pourrait permettre d’écarter en simulation les approches défectueuses avant leur déploiement. Plus de 200 utilisateurs ont par ailleurs jugé les visuels plus réalistes que ceux des systèmes concurrents dans plus de 90 % des cas.
Le système a cependant un coût en temps. Il peut falloir plusieurs heures pour produire une seule scène, car les agents créent et examinent chaque objet de près. Une puissance de calcul accrue pourrait améliorer l’efficacité, et l’équipe envisage d’étendre le système aux objets déformables, comme les éponges, si de vastes bibliothèques 3D venaient à être disponibles.
