Un simulatore di mondo interattivo addestra e valuta politiche per i robot

Un simulatore di mondo interattivo addestra e valuta politiche per i robot
3 min di lettura

Dei ricercatori presentano un « Interactive World Simulator », un simulatore che predice immagini video in risposta alle azioni di un robot, senza motore fisico. Secondo gli autori, questo strumento potrebbe ridurre due colli di bottiglia dell’apprendimento robotico: la raccolta di dati di addestramento e la valutazione delle politiche, cioè dei programmi di controllo dei robot.

Oggi, il metodo comune consiste nel raccogliere centinaia di dimostrazioni realizzate da un esperto su un robot reale, addestrare una politica di imitazione su questi dati e poi testarla ripetutamente sullo stesso robot. Queste fasi sono lente, costose e difficili da riprodurre, perché l’hardware può guastarsi, l’illuminazione può cambiare e gli oggetti possono spostarsi. I simulatori classici basati sulla fisica offrono un’alternativa, ma richiedono di modellare manualmente geometrie, contatti, attriti e deformazioni, e restano spesso troppo distanti dalla realtà per far sì che le politiche addestrate in simulazione funzionino poi su un robot reale.

Un modello che apprende dalle azioni

Gli autori hanno scelto un altro approccio. Il loro simulatore è un modello di predizione video, condizionato dalle azioni del robot: partendo dall’immagine corrente e da una sequenza di azioni, genera le immagini successive direttamente in pixel, senza motore fisico. È stato addestrato su quattro compiti di manipolazione: spingere un oggetto a forma di T (contatto tra corpi rigidi), infilare una corda in una clip (interazione tra un oggetto deformabile e uno rigido), afferrare una tazza (dinamica fine della pinza) e spazzare via un mucchio di oggetti.

Secondo gli autori, un operatore può controllare il robot attraverso questo modello per oltre 10 minuti a 15 FPS, cioè 15 immagini al secondo, su una singola scheda RTX 4090, ottenendo comunque un video che rimane stabile e fisicamente plausibile. Per riuscirci, il sistema funziona in due fasi. Un primo autoencoder comprime le immagini RGB in rappresentazioni latenti compatte, per poi restituirle in immagini. Un secondo modello, il cui autoencoder è congelato, predice lo stato latente successivo a partire dai latenti passati e dalle azioni, prima di una decodifica in immagine. Questa predizione si ripete in modo autoregressivo, con ogni immagine prodotta che serve come contesto per la successiva. Gli autori indicano di utilizzare modelli di coerenza affinché la simulazione rimanga interattiva e stabile nel tempo.

Due usi: generare dati e valutare

In un primo esperimento, gli autori hanno raccolto dimostrazioni interamente nel simulatore, per poi addestrare politiche di imitazione con lo 0% di dati reali e il 100% di dati generati. Queste politiche, implementate direttamente sul robot reale, portano a termine i compiti e rimangono robuste di fronte a perturbazioni umane continue. Secondo gli autori, ciò dimostra che la qualità dei dati generati è paragonabile a quella dei dati reali.

In un secondo esperimento, quattro politiche, DP, ACT, π0 e π0.5, sono state valutate sia nel simulatore che sul robot reale, con le stesse configurazioni iniziali. Ogni punto della valutazione corrisponde a un checkpoint di politica, valutato in entrambi gli ambienti. Gli autori osservano una forte correlazione tra le due serie di punteggi, a seconda dei compiti e delle politiche. Qualitativamente, le politiche che hanno successo in simulazione hanno successo anche sul robot reale, e quelle che falliscono in simulazione falliscono anche nella realtà.

Gli autori indicano di voler estendere il loro framework ad ambienti più vari e a compiti di manipolazione più complessi. Citano anche lo studio di come le prestazioni di questi modelli evolvono con la quantità di dati di interazione e le risorse di calcolo, una questione che ritengono utile per progettare modelli di mondo più grandi per la robotica.

Yixuan Wang è dottorando all’ultimo anno in informatica alla Columbia University e scienziato di ricerca presso il NVIDIA Seattle Robotics Lab. Il progetto è presentato su una pagina dedicata, dove il simulatore può essere testato in un browser tramite tastiera.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x