Um simulador de mundo interativo treina e avalia políticas para robôs

Um simulador de mundo interativo treina e avalia políticas para robôs
4 min de leitura

Investigadores apresentam um « Interactive World Simulator », um simulador que prevê imagens de vídeo em resposta às ações de um robô, sem motor físico. Segundo os autores, esta ferramenta poderá reduzir dois estrangulamentos da aprendizagem robótica: a recolha de dados de treino e a avaliação das políticas, ou seja, dos programas de controlo dos robôs.

Atualmente, o método comum consiste em recolher centenas de demonstrações realizadas por um especialista num robô real, treinar uma política de imitação com esses dados e depois testá-la repetidamente no mesmo robô. Estas etapas são lentas, dispendiosas e difíceis de reproduzir, pois o hardware pode avariar-se, a iluminação pode mudar e os objetos podem ser deslocados. Os simuladores clássicos baseados na física oferecem uma alternativa, mas exigem modelar manualmente as geometrias, os contactos, os atritos e as deformações, e permanecem frequentemente demasiado distantes da realidade para que as políticas treinadas em simulação funcionem depois num robô real.

Um modelo que aprende a partir das ações

Os autores optaram por uma abordagem diferente. O seu simulador é um modelo de previsão de vídeo, condicionado pelas ações do robô: a partir da imagem atual e de uma sequência de ações, gera as imagens seguintes diretamente em píxeis, sem motor físico. Foi treinado em quatro tarefas de manipulação: empurrar um objeto em forma de T (contacto entre corpos rígidos), passar uma corda por um clipe (interação entre um objeto deformável e um objeto rígido), agarrar uma chávena (dinâmica fina da pinça) e varrer um monte de objetos.

Segundo os autores, um operador pode controlar o robô através deste modelo durante mais de 10 minutos a 15 FPS, ou seja, 15 imagens por segundo, numa única placa RTX 4090, obtendo ao mesmo tempo um vídeo que se mantém estável e fisicamente plausível. Para o conseguir, o sistema funciona em duas fases. Um primeiro autoencoder comprime as imagens RGB em representações latentes compactas e depois reconstrói-as em imagens. Um segundo modelo, cujo autoencoder está congelado, prevê o estado latente seguinte a partir dos estados latentes anteriores e das ações, antes de uma descodificação em imagem. Esta previsão repete-se de forma autorregressiva, com cada imagem produzida a servir de contexto para a seguinte. Os autores indicam utilizar modelos de coerência para que a simulação se mantenha interativa e estável ao longo do tempo.

Dois usos: gerar dados e avaliar

Numa primeira experiência, os autores recolheram demonstrações inteiramente no simulador e depois treinaram políticas de imitação com 0% de dados reais e 100% de dados gerados. Estas políticas, implementadas diretamente no robô real, realizam as tarefas e mantêm-se robustas face a perturbações humanas contínuas. Segundo os autores, isto mostra que a qualidade dos dados gerados é comparável à dos dados reais.

Numa segunda experiência, quatro políticas, DP, ACT, π0 e π0.5, foram avaliadas tanto no simulador como no robô real, com as mesmas configurações iniciais. Cada ponto da avaliação corresponde a um ponto de controlo (checkpoint) de política, pontuado nos dois ambientes. Os autores observam uma forte correlação entre as duas séries de pontuações, consoante as tarefas e as políticas. Qualitativamente, as políticas que têm sucesso em simulação também têm sucesso no robô real, e as que falham em simulação também falham na realidade.

Os autores indicam querer estender o seu enquadramento a ambientes mais variados e a tarefas de manipulação mais complexas. Citam também o estudo da forma como o desempenho destes modelos evolui com a quantidade de dados de interação e os recursos de computação, uma questão que consideram útil para conceber modelos de mundo maiores para a robótica.

Yixuan Wang é doutorando no último ano em ciência da computação na Columbia University e cientista de investigação no NVIDIA Seattle Robotics Lab. O projeto é apresentado numa página dedicada, onde o simulador pode ser testado num navegador através do teclado.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x