Ricercatori del MIT CSAIL e del Toyota Research Institute hanno presentato SceneSmith, un sistema che impiega tre agenti di IA per costruire scene 3D di interni destinate all’addestramento dei robot. Questi ambienti virtuali consentono alle macchine di esercitarsi e provare diversi modi di eseguire un compito prima di essere messe in servizio. Il lavoro è stato presentato come spotlight alla conferenza International Conference on Machine Learning 2026.
Il principale ostacolo alla robotica generalista rimane la dati. Come gli umani, i robot imparano soprattutto attraverso l’esperienza, ma insegnare fisicamente a una macchina, per un gran numero di azioni e luoghi, richiede molto lavoro e tempo. Russ Tedrake, professore al MIT e ricercatore principale al CSAIL, ricorda che la simulazione costituisce una strada naturale. I motori fisici dei simulatori hanno fatto molti progressi, ma resta difficile produrre contenuti abbastanza ricchi e vari per riflettere la complessità del mondo reale.
Tre agenti per una stanza
Gli agenti di IA, programmi semi-autonomi capaci di compiere compiti ben definiti, possono aiutare proprio a produrre questi scenari. SceneSmith si basa su tre agenti che assemblano gli oggetti, le pareti e l’aspetto generale di una scena in 3D. Ciascuno si appoggia su un modello visione-linguaggio (VLM, un sistema capace di elaborare sia testo che immagini), in questo caso GPT-5.2 di OpenAI, presentato nella fonte come uno dei modelli più avanzati del settore.
Il funzionamento segue una catena in tre fasi. Un agente «designer» genera gli elementi della scena, un agente «critic» giudica se il risultato appare realistico, e un agente «orchestrator» gestisce gli scambi tra i due e decide quando la progettazione è terminata. Una volta completata questa collaborazione, la scena può essere caricata direttamente in un software di simulazione fisica. Gli agenti procedono passo dopo passo: mobili, oggetti appesi alle pareti e poi al soffitto, e infine oggetti che il robot può manipolare, come armadietti che può aprire e chiudere.
Nicholas Pfaff, dottorando in ingegneria elettrica e informatica al MIT e autore principale dell’articolo con Russ Tedrake, descrive un risultato che lo sorprende: «Abbiamo riscontrato che il sistema può costruire scene 3D alla maniera di un designer umano». Secondo lui, il team ha generato oltre 1.300 scene, con disposizioni «insanely creative» (di una creatività folle) e varie, che il sistema non aveva ricevuto esplicitamente nelle sue istruzioni.
Secondo i ricercatori, queste scene contengono fino a sei volte più oggetti per stanza rispetto ai metodi precedenti, il che le rende utili per insegnare a un robot a posare una tazza nel lavello, disporre frutta su piatti o spostare una lattina da uno scaffale a un tavolo.
Un realismo alla prova
Per verificare il realismo di questi mondi virtuali, i ricercatori hanno testato una policy pre-addestrata, cioè un controllore di IA formato in gran parte su dati reali, che non aveva mai visto una scena di SceneSmith. Quando gli è stato chiesto di «prendere la mela dalla ciotola e posarla sul tagliere», il robot simulato ha portato a termine il compito. I team hanno anche pilotato robot a distanza in questi spazi per aprire armadietti, riporre bottiglie e passare da una stanza all’altra.
In un altro test, sono stati generati 100 spazi unici e un agente VLM ha valutato i piani d’azione del robot, giudicati fallimentari in molti casi. Gli umani si sono trovati d’accordo con questi verdetti in oltre il 99% dei casi, secondo i ricercatori, il che potrebbe permettere di scartare in simulazione gli approcci difettosi prima del loro dispiegamento. Oltre 200 utenti hanno inoltre giudicato le immagini più realistiche di quelle dei sistemi concorrenti in oltre il 90% dei casi.
Il sistema ha però un costo in termini di tempo. Possono essere necessarie diverse ore per produrre una singola scena, poiché gli agenti creano ed esaminano ogni oggetto da vicino. Una potenza di calcolo maggiore potrebbe migliorare l’efficienza, e il team prevede di estendere il sistema agli oggetti deformabili, come le spugne, se dovessero diventare disponibili ampie librerie 3D.
