Un simulador de mundo interactivo entrena y evalúa políticas para robots

Un simulador de mundo interactivo entrena y evalúa políticas para robots
4 min de lectura

Unos investigadores presentan un «Interactive World Simulator», un simulador que predice imágenes de vídeo en respuesta a las acciones de un robot, sin motor físico. Según los autores, esta herramienta podría reducir dos cuellos de botella del aprendizaje robótico: la recolección de datos de entrenamiento y la evaluación de las políticas, es decir, de los programas de control de los robots.

Hoy en día, el método habitual consiste en recoger cientos de demostraciones realizadas por un experto en un robot real, entrenar una política de imitación con esos datos y luego probarla muchas veces en el mismo robot. Estas etapas son lentas, costosas y difíciles de reproducir, porque el hardware puede fallar, la iluminación puede cambiar y los objetos pueden moverse. Los simuladores clásicos basados en la física ofrecen una alternativa, pero exigen modelar manualmente las geometrías, los contactos, las fricciones y las deformaciones, y a menudo se alejan demasiado de la realidad para que las políticas entrenadas en simulación funcionen luego en un robot real.

Un modelo que aprende a partir de las acciones

Los autores han elegido otro enfoque. Su simulador es un modelo de predicción de vídeo, condicionado por las acciones del robot: a partir de la imagen actual y de una secuencia de acciones, genera las imágenes siguientes directamente en píxeles, sin motor físico. Se ha entrenado en cuatro tareas de manipulación: empujar un objeto en forma de T (contacto entre cuerpos rígidos), pasar una cuerda por una pinza (interacción entre un objeto deformable y uno rígido), agarrar una taza (dinámica fina de la pinza) y barrer un montón de objetos.

Según los autores, un operador puede controlar el robot a través de este modelo durante más de 10 minutos a 15 FPS, es decir, 15 imágenes por segundo, en una sola tarjeta RTX 4090, obteniendo además un vídeo que se mantiene estable y físicamente plausible. Para lograrlo, el sistema funciona en dos fases. Un primer autoencoder comprime las imágenes RGB en representaciones latentes compactas y luego las reconstruye en imágenes. Un segundo modelo, cuyo autoencoder está congelado, predice el siguiente estado latente a partir de los estados latentes pasados y de las acciones, antes de una decodificación en imagen. Esta predicción se repite de forma autorregresiva, donde cada imagen producida sirve de contexto para la siguiente. Los autores indican utilizar modelos de coherencia para que la simulación se mantenga interactiva y estable en el tiempo.

Dos usos: generar datos y evaluar

En un primer experimento, los autores recogieron demostraciones completamente en el simulador y luego entrenaron políticas de imitación con un 0 % de datos reales y un 100 % de datos generados. Estas políticas, desplegadas directamente en el robot real, realizan las tareas y se mantienen robustas frente a perturbaciones humanas continuas. Según los autores, esto demuestra que la calidad de los datos generados es comparable a la de los datos reales.

En un segundo experimento, cuatro políticas, DP, ACT, π0 y π0.5, fueron evaluadas tanto en el simulador como en el robot real, con las mismas configuraciones iniciales. Cada punto de la evaluación corresponde a un punto de control (checkpoint) de política, anotado en ambos entornos. Los autores observan una fuerte correlación entre las dos series de puntuaciones, según las tareas y las políticas. Cualitativamente, las políticas que tienen éxito en simulación también lo tienen en el robot real, y las que fracasan en simulación también fracasan en la realidad.

Los autores indican querer extender su marco a entornos más variados y a tareas de manipulación más complejas. También citan el estudio de cómo evolucionan las prestaciones de estos modelos con la cantidad de datos de interacción y los recursos de cálculo, una cuestión que consideran útil para diseñar modelos de mundo más grandes para la robótica.

Yixuan Wang es doctorando en último año en informática en la Columbia University y científico de investigación en el NVIDIA Seattle Robotics Lab. El proyecto se presenta en una página dedicada, donde el simulador puede probarse en un navegador con el teclado.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x