Ai2 presenta FoundationWorlds, un marco diseñado para crear entornos controlados para estudiar robótica, y ofrece un primer ejemplo, ToyBlocks. Se trata de un marco de simulación abierto, construido alrededor de un brazo robótico y bloques colocados sobre una mesa.
- ToyBlocks genera demostraciones automáticamente en simulación, sin teleoperación.
- Los modelos VLA generalizan mal, y Ai2 considera que el problema sigue abierto.
- Un agente que redacta sus propias descripciones de habilidades eleva el éxito del 24 % al 63 %.
- El sistema Molmo 2 + ManiFlow pasa del 55,5 % en simulación al 50,0 % en el mundo real.
Las demostraciones recientes de robots que doblan ropa o clasifican piezas suelen ser limitadas y no explican bien qué ha aprendido el robot o por qué falla. Por ello, los investigadores necesitan entornos donde puedan modificar los datos de entrenamiento o el diseño del modelo, repetir una prueba y rastrear la causa de un fallo. Cada FoundationWorld combina un mundo simulado, herramientas de generación automática de tareas y demostraciones, y mediciones del comportamiento del robot a lo largo del tiempo.
Generar demostraciones sin teleoperación
ToyBlocks produce automáticamente demostraciones, es decir, grabaciones de un robot completando una tarea en simulación, sin recurrir a la teleoperación, donde una persona controla el robot de forma remota. Para aprender habilidades cortas, como empujar un bloque o voltearlo sin agarrarlo, el sistema combina el aprendizaje por refuerzo (RL, que procede por ensayo y error) y la planificación de movimientos. El entrenamiento se lleva a cabo en Isaac Lab, un marco de código abierto de Nvidia para el aprendizaje robótico en simulación.
Un planificador de tareas y movimientos (TAMP) encadena luego estas habilidades para resolver una tarea. Según Ai2, cientos de planes pueden ejecutarse en paralelo en una sola unidad de procesamiento gráfico (GPU), hasta 24 veces en tiempo real.
Probar la generalización de los modelos
Los modelos visión-lenguaje-acción (VLA), que traducen una instrucción en lenguaje e imágenes en acciones del robot, se supone que se generalizan rápidamente gracias a su pre-entrenamiento en grandes conjuntos de datos. Sin embargo, los estudios disponibles siguen siendo contradictorios. Ai2 indica que sus pruebas, realizadas con ManiFlow, π0.5 y MolmoAct 2, muestran una generalización deficiente en el estado inicial, y que el equipo luego mejoró estos resultados. La empresa considera que la cuestión está lejos de estar resuelta.
En otro apartado, un modelo de visión-lenguaje, Molmo 2, sirve como planificador de alto nivel y ManiFlow como ejecutor. Para una tarea que consiste en deletrear « Ai2 » con una torre de bloques, las letras pueden no ser visibles inicialmente, lo que obliga al agente a buscar primero información.
Agentes que realizan sus propios experimentos
En otra serie de pruebas, Ai2 utiliza Claude Opus 5.5 y expone las habilidades de ToyBlocks a través del Model Context Protocol (MCP), un estándar de conexión entre aplicaciones de IA y herramientas. Según la fuente, al permitir que el agente redacte sus propias descripciones de habilidades a partir de sus experiencias, la tasa de éxito pasa del 24 % con las descripciones por defecto al 63 %, frente al 36 % con descripciones escritas por un experto humano.
Otra prueba se centra en los modelos del mundo impulsados por la acción, que predicen la evolución de una escena según los gestos del robot. En 900 trayectorias por habilidad, Wan 2.2, un modelo de predicción de vídeo de 5 mil millones de parámetros, predice mejor el movimiento de los bloques y el resultado de las tareas. Ai2 añade que 100 trayectorias generadas por este modelo elevan la tasa de éxito de una política en una zona desconocida del 19 % al 78 %.
Del simulador al brazo real
En un brazo Franka FR3 equipado con una pinza Robotiq, y en treinta configuraciones de escena, ManiFlow logra un 80,0 % de éxito en simulación y un 81,1 % en el mundo real para sus habilidades aisladas. El sistema jerárquico Molmo 2 + ManiFlow alcanza un 55,5 % en simulación (111 de 200) y un 50,0 % en condiciones reales (15 de 30). Ai2 precisa que serán necesarios más ensayos para establecer una confianza estadística.
Los primeros datos publicados incluyen 85.336 demostraciones de horizonte largo, aproximadamente 1.600 horas de ejecución robótica y 144 millones de imágenes. Una segunda versión, con un conjunto de datos más amplio y más habilidades, está prevista en unas semanas.
