A Ai2 apresenta o FoundationWorlds, uma estrutura destinada a criar ambientes controlados para estudar robótica, e fornece um primeiro exemplo, ToyBlocks. Trata-se de uma estrutura de simulação aberta, construída em torno de um braço robótico e de blocos colocados sobre uma mesa.
- A Ai2 apresenta o ToyBlocks, um ambiente de simulação aberto para estudar robótica.
- O sistema gera demonstrações automaticamente, sem teleoperação, combinando aprendizagem por reforço e planeamento de movimentos.
- Um agente que escreve as suas próprias descrições de competências passa de 24% para 63% de sucesso.
- No mundo real, o sistema hierárquico Molmo 2 + ManiFlow atinge 50% de sucesso, contra 55,5% em simulação.
As demonstrações recentes de robôs que dobram roupa ou separam peças permanecem frequentemente limitadas, e explicam mal o que o robô aprendeu ou por que falha. Os investigadores precisam, portanto, de ambientes onde possam modificar os dados de treino ou o desenho do modelo, repetir um teste e remontar à causa de uma falha. Cada FoundationWorld combina um mundo simulado, ferramentas de geração automática de tarefas e demonstrações, e medidas do comportamento do robô ao longo do tempo.
Gerar demonstrações sem teleoperação
O ToyBlocks produz automaticamente demonstrações, ou seja, gravações de um robô a realizar uma tarefa em simulação, sem recorrer à teleoperação, em que uma pessoa controla o robô remotamente. Para aprender competências curtas, como empurrar um bloco ou virá-lo sem o agarrar, o sistema combina aprendizagem por reforço (RL, que procede por tentativa e erro) e planeamento de movimentos. O treino decorre no Isaac Lab, uma estrutura open source da Nvidia para aprendizagem robótica em simulação.
Um planeador de tarefas e movimentos (TAMP) encadeia depois estas competências para resolver uma tarefa. Segundo a Ai2, centenas de planos podem ser executados em paralelo numa única unidade de processamento gráfico (GPU), até 24 vezes em tempo real.
Testar a generalização dos modelos
Os modelos visão-linguagem-ação (VLA), que traduzem uma instrução em linguagem e imagens em ações do robô, são supostos generalizar-se rapidamente graças ao seu pré-treino em grandes conjuntos de dados. Os estudos disponíveis permanecem, contudo, contraditórios. A Ai2 indica que os seus testes, realizados com o ManiFlow, π0.5 e MolmoAct 2, mostram uma generalização medíocre no estado inicial, e que a equipa melhorou depois estes resultados. A empresa considera que a questão está longe de estar resolvida.
Noutra vertente, um modelo de visão-linguagem, Molmo 2, serve de planeador de alto nível e o ManiFlow de executor. Para uma tarefa que consiste em soletrar « Ai2 » com uma torre de blocos, as letras podem não ser visíveis inicialmente, o que obriga o agente a procurar primeiro informações.
Agentes que fazem as suas próprias experiências
Noutra série de ensaios, a Ai2 utiliza o Claude Opus 5.5 e expõe as competências do ToyBlocks através do Model Context Protocol (MCP), um padrão de ligação entre aplicações de IA e ferramentas. Segundo a fonte, ao deixar o agente redigir as suas próprias descrições de competências a partir das suas experiências, a taxa de sucesso passa de 24% com as descrições padrão para 63%, contra 36% com descrições escritas por um especialista humano.
Outro teste incide sobre os modelos do mundo orientados pela ação, que preveem a evolução de uma cena de acordo com os gestos do robô. Em 900 trajetórias por competência, o Wan 2.2, um modelo de previsão de vídeo de 5 mil milhões de parâmetros, prevê melhor o movimento dos blocos e o desfecho das tarefas. A Ai2 acrescenta que 100 trajetórias geradas por este modelo elevam a taxa de sucesso de uma política numa zona desconhecida de 19% para 78%.
Do simulador para o braço real
Num braço Franka FR3 equipado com uma pinça Robotiq, e em trinta configurações de cena, o ManiFlow realiza 80,0% de sucesso em simulação e 81,1% no mundo real para as suas competências isoladas. O sistema hierárquico Molmo 2 + ManiFlow atinge 55,5% em simulação (111 em 200) e 50,0% em condições reais (15 em 30). A Ai2 precisa que serão necessários outros ensaios para estabelecer uma confiança estatística.
Os primeiros dados publicados incluem 85 336 demonstrações de longo horizonte, cerca de 1600 horas de execução robótica e 144 milhões de imagens. Uma segunda versão, com um conjunto de dados mais vasto e mais competências, é visada dentro de algumas semanas.
