Onderzoekers van MIT CSAIL en het Toyota Research Institute hebben SceneSmith gepresenteerd, een systeem dat drie AI-agenten inzet om 3D-interieurscènes te bouwen voor robottraining. Deze virtuele omgevingen stellen machines in staat om te oefenen en verschillende manieren uit te proberen om een taak uit te voeren voordat ze in gebruik worden genomen. Het werk werd gepresenteerd als een spotlight op de International Conference on Machine Learning 2026.
Het grootste obstakel voor algemene robotica blijft de data. Net als mensen leren robots vooral door ervaring, maar het fysiek aanleren van een grote hoeveelheid acties en locaties aan een machine vergt veel werk en tijd. Russ Tedrake, professor aan het MIT en hoofdonderzoeker bij CSAIL, herinnert eraan dat simulatie een natuurlijke weg is. De natuurkundige motoren van simulatoren zijn sterk verbeterd, maar het blijft moeilijk om inhoud te produceren die rijk en gevarieerd genoeg is om de complexiteit van de echte wereld weer te geven.
Drie agenten voor één kamer
AI-agenten, semi-autonome programma’s die goed gedefinieerde taken kunnen uitvoeren, kunnen precies helpen om deze decors te produceren. SceneSmith maakt gebruik van drie agenten die objecten, muren en het algemene uiterlijk van een 3D-scène samenstellen. Elk is gebaseerd op een vision-language model (VLM, een systeem dat zowel tekst als afbeeldingen kan verwerken), in dit geval GPT-5.2 van OpenAI, in de bron gepresenteerd als een van de meest geavanceerde modellen in het veld.
De werking volgt een driedelige keten. Een ‘designer’-agent genereert de elementen van de scène, een ‘critic’-agent beoordeelt of het resultaat realistisch lijkt, en een ‘orchestrator’-agent beheert de uitwisselingen tussen de twee en beslist wanneer het ontwerp klaar is. Zodra deze samenwerking is voltooid, kan de scène direct worden geladen in een software voor fysieke simulatie. De agenten werken stapsgewijs: meubels, objecten op de muren en vervolgens aan het plafond, en ten slotte objecten die de robot kan manipuleren, zoals kasten die hij kan openen en sluiten.
Nicholas Pfaff, promovendus in elektrotechniek en informatica aan het MIT en hoofdauteur van het artikel samen met Russ Tedrake, beschrijft een resultaat dat hem verrast: ‘We ontdekten dat het systeem 3D-scènes kan bouwen op de manier van een menselijke ontwerper.’ Volgens hem heeft het team meer dan 1.300 scènes gegenereerd, met ‘insanely creative’ (waanzinnig creatieve) en gevarieerde opstellingen, die het systeem niet expliciet in zijn instructies had ontvangen.
Volgens de onderzoekers bevatten deze scènes tot zes keer meer objecten per kamer dan eerdere methoden, waardoor ze nuttig zijn om een robot te leren een kopje in de gootsteen te zetten, fruit op borden te leggen of een blikje van een plank naar een tafel te verplaatsen.
Een realisme op de proef gesteld
Om het realisme van deze virtuele werelden te controleren, testten de onderzoekers een voorgetraind beleid, dat wil zeggen een AI-controller die grotendeels op echte data was getraind en nog nooit een SceneSmith-scène had gezien. Toen hem werd gevraagd om ‘de appel uit de kom te nemen en op de snijplank te leggen’, voltooide de gesimuleerde robot de taak. De teams hebben ook op afstand robots in deze ruimtes bestuurd om kasten te openen, flessen op te bergen en van kamer naar kamer te gaan.
In een andere test werden 100 unieke ruimtes gegenereerd en beoordeelde een VLM-agent de actieplannen van de robot, die in veel gevallen als gebrekkig werden beoordeeld. Mensen waren het in meer dan 99% van de gevallen eens met deze oordelen, volgens de onderzoekers, wat zou kunnen helpen om defecte benaderingen in simulatie uit te sluiten vóór implementatie. Meer dan 200 gebruikers vonden de visuals bovendien in meer dan 90% van de gevallen realistischer dan die van concurrerende systemen.
Het systeem heeft echter een tijdskost. Het kan enkele uren duren om één enkele scène te produceren, omdat de agenten elk object zorgvuldig creëren en onderzoeken. Meer rekenkracht zou de efficiëntie kunnen verbeteren, en het team overweegt om het systeem uit te breiden naar vervormbare objecten, zoals sponzen, als uitgebreide 3D-bibliotheken beschikbaar komen.
