Een interactieve wereldsimulator traint en evalueert beleid voor robots

Een interactieve wereldsimulator traint en evalueert beleid voor robots
3 min lezen

Onderzoekers presenteren een ‘Interactive World Simulator’, een simulator die videobeelden voorspelt als reactie op de acties van een robot, zonder fysieke engine. Volgens de auteurs zou dit hulpmiddel twee knelpunten in robotleren kunnen verminderen: het verzamelen van trainingsdata en de evaluatie van beleid, dat wil zeggen de besturingsprogramma’s van robots.

Tegenwoordig bestaat de gangbare methode uit het verzamelen van honderden demonstraties uitgevoerd door een expert op een echte robot, het trainen van een imitatiebeleid op deze data, en het vervolgens herhaaldelijk testen op dezelfde robot. Deze stappen zijn traag, duur en moeilijk reproduceerbaar, omdat hardware kan falen, belichting kan veranderen en objecten kunnen verschuiven. Klassieke op fysica gebaseerde simulators bieden een alternatief, maar vereisen het handmatig modelleren van geometrieën, contacten, wrijving en vervormingen, en blijven vaak te ver van de werkelijkheid verwijderd om ervoor te zorgen dat in simulatie getraind beleid daarna op een echte robot werkt.

Een model dat leert uit acties

De auteurs kozen voor een andere aanpak. Hun simulator is een videovoorspellingsmodel, geconditioneerd door de acties van de robot: uitgaande van het huidige beeld en een reeks acties, genereert het de volgende beelden direct in pixels, zonder fysieke engine. Het werd getraind op vier manipulatietaken: een T-vormig object duwen (contact tussen rigide lichamen), een koord door een clip halen (interactie tussen een vervormbaar en een rigide object), een mok grijpen (fijne dynamiek van de grijper) en een hoop objecten wegvegen.

Volgens de auteurs kan een operator de robot via dit model gedurende meer dan 10 minuten besturen op 15 FPS, oftewel 15 beelden per seconde, op een enkele RTX 4090-kaart, terwijl een video wordt geproduceerd die stabiel en fysisch plausibel blijft. Om dit te bereiken werkt het systeem in twee stappen. Een eerste auto-encoder comprimeert RGB-beelden tot compacte latente representaties en reconstrueert deze vervolgens weer tot beelden. Een tweede model, waarvan de auto-encoder bevroren is, voorspelt de volgende latente toestand op basis van eerdere latente toestanden en acties, waarna decodering naar een beeld volgt. Deze voorspelling herhaalt zich autoregressief, waarbij elk geproduceerd beeld als context voor het volgende dient. De auteurs geven aan dat ze consistentiemodellen gebruiken om de simulatie interactief en stabiel te houden over langere tijd.

Twee toepassingen: data genereren en evalueren

In een eerste experiment verzamelden de auteurs demonstraties volledig in de simulator en trainden vervolgens imitatiebeleid met 0% echte data en 100% gegenereerde data. Dit beleid, direct ingezet op de echte robot, voltooit de taken en blijft robuust onder voortdurende menselijke verstoringen. Volgens de auteurs toont dit aan dat de kwaliteit van de gegenereerde data vergelijkbaar is met die van echte data.

In een tweede experiment werden vier beleidsvarianten, DP, ACT, π0 en π0.5, zowel in de simulator als op de echte robot geëvalueerd, met dezelfde initiële configuraties. Elk evaluatiepunt komt overeen met een beleidscheckpoint, gescoord in beide omgevingen. De auteurs observeren een sterke correlatie tussen de twee reeksen scores, afhankelijk van de taak en het beleid. Kwalitatief gezien slagen de beleidsvarianten die in de simulatie slagen ook op de echte robot, en falen die welke in de simulatie falen ook in de werkelijkheid.

De auteurs geven aan hun raamwerk te willen uitbreiden naar meer diverse omgevingen en complexere manipulatietaken. Ze noemen ook het bestuderen van hoe de prestaties van deze modellen evolueren met de hoeveelheid interactiedata en rekenkracht, een vraag die zij nuttig achten voor het ontwerpen van grotere wereldmodellen voor robotica.

Yixuan Wang is promovendus in zijn laatste jaar informatica aan Columbia University en onderzoekswetenschapper bij het NVIDIA Seattle Robotics Lab. Het project wordt gepresenteerd op een speciale pagina, waar de simulator in een browser met toetsenbord kan worden getest.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x