Ai2 presenteert FoundationWorlds, een raamwerk voor het creëren van gecontroleerde omgevingen om robotica te bestuderen, en levert een eerste voorbeeld, ToyBlocks. Het is een open simulatiekader, gebouwd rond een robotarm en blokken op een tafel.
- ToyBlocks is een open simulatiekader van Ai2 om robots te bestuderen, gebouwd rond een robotarm en blokken.
- Het genereert automatisch demonstraties via reinforcement learning en bewegingsplanning, zonder teleoperatie.
- Een agent die zelf vaardigheidsbeschrijvingen schrijft, verhoogt zijn slagingspercentage van 24% naar 63%.
- Op een echte Franka-arm haalt het hiërarchische systeem Molmo 2 + ManiFlow 50,0% succes, tegenover 55,5% in simulatie.
Recente demonstraties van robots die wasgoed vouwen of onderdelen sorteren blijven vaak beperkt, en ze verklaren slecht wat de robot heeft geleerd of waarom hij faalt. Onderzoekers hebben daarom omgevingen nodig waar ze de trainingsdata of het modelontwerp kunnen wijzigen, een test kunnen herhalen en de oorzaak van een fout kunnen achterhalen. Elke FoundationWorld combineert een gesimuleerde wereld, tools voor het automatisch genereren van taken en demonstraties, en metingen van het gedrag van de robot in de tijd.
Demonstraties genereren zonder teleoperatie
ToyBlocks produceert automatisch demonstraties, dat wil zeggen opnames van een robot die een taak uitvoert in simulatie, zonder gebruik te maken van teleoperatie, waarbij een persoon de robot op afstand bestuurt. Om korte vaardigheden te leren, zoals een blok duwen of omdraaien zonder het vast te pakken, combineert het systeem reinforcement learning (RL, dat werkt via trial-and-error) en bewegingsplanning. De training vindt plaats in Isaac Lab, een open source raamwerk van Nvidia voor robotleren in simulatie.
Een taak- en bewegingsplanner (TAMP) verbindt vervolgens deze vaardigheden om een taak op te lossen. Volgens Ai2 kunnen honderden plannen parallel worden uitgevoerd op een enkele grafische processor (GPU), tot 24 keer in realtime.
De generalisatie van modellen testen
Vision-language-action-modellen (VLA), die een instructie in taal en beelden vertalen naar acties van de robot, zouden zich snel moeten generaliseren dankzij hun voorafgaande training op grote datasets. Beschikbare studies blijven echter tegenstrijdig. Ai2 geeft aan dat zijn tests, uitgevoerd met ManiFlow, π0.5 en MolmoAct 2, een slechte initiële generalisatie tonen, en dat het team deze resultaten vervolgens heeft verbeterd. Het bedrijf vindt dat de kwestie verre van opgelost is.
In een ander onderdeel fungeert een vision-language-model, Molmo 2, als planner op hoog niveau en ManiFlow als uitvoerder. Voor een taak waarbij « Ai2 » moet worden gespeld met een toren van blokken, zijn de letters mogelijk aanvankelijk niet zichtbaar, wat de agent dwingt eerst informatie te zoeken.
Agents die hun eigen experimenten uitvoeren
In een andere reeks tests gebruikt Ai2 Claude Opus 5.5 en stelt het de vaardigheden van ToyBlocks beschikbaar via het Model Context Protocol (MCP), een standaard voor het verbinden van AI-toepassingen en tools. Volgens de bron stijgt het slagingspercentage, door de agent zijn eigen beschrijvingen van vaardigheden te laten schrijven op basis van zijn ervaringen, van 24% met de standaardbeschrijvingen naar 63%, tegenover 36% met beschrijvingen geschreven door een menselijke expert.
Een andere test gaat over door actie aangedreven wereldmodellen, die de evolutie van een scène voorspellen op basis van de handelingen van de robot. Op 900 trajecten per vaardigheid voorspelt Wan 2.2, een videovoorspellingsmodel met 5 miljard parameters, het beste de beweging van de blokken en de uitkomst van de taken. Ai2 voegt toe dat 100 trajecten gegenereerd door dit model het slagingspercentage van een beleid in een onbekend gebied verhoogt van 19% naar 78%.
Van simulator naar echte arm
Op een Franka FR3-arm uitgerust met een Robotiq-grijper, en op dertig scèneconfiguraties, behaalt ManiFlow 80,0% succes in simulatie en 81,1% in de echte wereld voor zijn geïsoleerde vaardigheden. Het hiërarchische systeem Molmo 2 + ManiFlow bereikt 55,5% in simulatie (111 op 200) en 50,0% in reële omstandigheden (15 op 30). Ai2 preciseert dat verdere tests nodig zullen zijn om statistisch vertrouwen vast te stellen.
De eerste gepubliceerde gegevens omvatten 85.336 demonstraties met een lange horizon, ongeveer 1.600 uur aan robotuitvoering en 144 miljoen afbeeldingen. Een tweede versie, met een grotere dataset en meer vaardigheden, is binnen enkele weken gepland.
