Ai2 presenta FoundationWorlds, un framework per creare ambienti controllati per lo studio della robotica, e ne fornisce un primo esempio, ToyBlocks. Si tratta di un framework di simulazione open source, costruito attorno a un braccio robotico e a blocchi posizionati su un tavolo.
- Ai2 presenta FoundationWorlds, un framework per creare ambienti controllati dedicati alla robotica.
- ToyBlocks genera automaticamente dimostrazioni in simulazione, combinando apprendimento per rinforzo e pianificazione del movimento.
- Un agente IA scrive le proprie descrizioni delle abilità e fa salire il tasso di successo dal 24% al 63%.
- Il sistema gerarchico Molmo 2 + ManiFlow raggiunge il 50% di successo su un braccio robotico reale.
Le recenti dimostrazioni di robot che piegano il bucato o smistano oggetti rimangono spesso limitate e spiegano poco ciò che il robot ha imparato o il motivo dei suoi fallimenti. I ricercatori hanno quindi bisogno di ambienti in cui possano modificare i dati di addestramento o il design del modello, ripetere un test e risalire alla causa di un malfunzionamento. Ogni FoundationWorlds combina un mondo simulato, strumenti per la generazione automatica di compiti e dimostrazioni, e metriche del comportamento del robot nel tempo.
Generare dimostrazioni senza teleoperazione
ToyBlocks produce automaticamente dimostrazioni, ovvero registrazioni di un robot che completa un compito in simulazione, senza ricorrere alla teleoperazione, in cui una persona controlla il robot da remoto. Per imparare abilità brevi, come spingere un blocco o capovolgerlo senza afferrarlo, il sistema combina l’apprendimento per rinforzo (RL, che procede per tentativi ed errori) e la pianificazione del movimento. L’addestramento avviene in Isaac Lab, un framework open source di Nvidia per l’apprendimento robotico in simulazione.
Un pianificatore di compiti e movimenti (TAMP) collega poi queste abilità per risolvere un compito. Secondo Ai2, centinaia di piani possono essere eseguiti in parallelo su una singola GPU, fino a 24 volte in tempo reale.
Testare la generalizzazione dei modelli
I modelli visione-linguaggio-azione (VLA), che traducono un’istruzione linguistica e immagini in azioni del robot, dovrebbero generalizzare rapidamente grazie al loro pre-addestramento su grandi dataset. Gli studi disponibili rimangono tuttavia contraddittori. Ai2 indica che i suoi test, condotti con ManiFlow, π0.5 e MolmoAct 2, mostrano una generalizzazione mediocre allo stato iniziale, e che il team ha poi migliorato questi risultati. L’azienda ritiene che la questione sia lungi dall’essere risolta.
In un altro ambito, un modello visione-linguaggio, Molmo 2, funge da pianificatore di alto livello e ManiFlow da esecutore. Per un compito che consiste nello scrivere « Ai2 » con una torre di blocchi, le lettere potrebbero non essere visibili inizialmente, costringendo l’agente a cercare prima informazioni.
Agenti che conducono i propri esperimenti
In un’altra serie di prove, Ai2 utilizza Claude Opus 5.5 ed espone le abilità di ToyBlocks tramite il Model Context Protocol (MCP), uno standard di connessione tra applicazioni di IA e strumenti. Secondo la fonte, lasciando che l’agente scriva le proprie descrizioni delle abilità basandosi sulle sue esperienze, il tasso di successo passa dal 24% con le descrizioni predefinite al 63%, contro il 36% con descrizioni scritte da un esperto umano.
Un altro test riguarda i modelli del mondo guidati dall’azione, che predicono l’evoluzione di una scena in base ai movimenti del robot. Su 900 traiettorie per abilità, Wan 2.2, un modello di predizione video da 5 miliardi di parametri, predice meglio il movimento dei blocchi e l’esito dei compiti. Ai2 aggiunge che 100 traiettorie generate da questo modello aumentano il tasso di successo di una policy in un’area sconosciuta dal 19% al 78%.
Dal simulatore al braccio reale
Su un braccio Franka FR3 equipaggiato con una pinza Robotiq, e su trenta configurazioni di scena, ManiFlow raggiunge l’80,0% di successo in simulazione e l’81,1% nel mondo reale per le sue abilità isolate. Il sistema gerarchico Molmo 2 + ManiFlow raggiunge il 55,5% in simulazione (111 su 200) e il 50,0% in condizioni reali (15 su 30). Ai2 precisa che saranno necessari altri test per stabilire una fiducia statistica.
I primi dati pubblicati includono 85.336 dimostrazioni a lungo termine, circa 1.600 ore di esecuzione robotica e 144 milioni di immagini. Una seconda versione, con un dataset più ampio e più abilità, è prevista tra poche settimane.
