Ai2 stellt FoundationWorlds vor, ein Framework zur Erstellung kontrollierter Umgebungen für die Robotikforschung, und liefert mit ToyBlocks ein erstes Beispiel. Es handelt sich um ein offenes Simulationsframework, das um einen Roboterarm und auf einem Tisch platzierte Blöcke herum aufgebaut ist.
- Ai2 stellt FoundationWorlds vor, ein Framework für kontrollierte Robotikumgebungen, mit ToyBlocks als erstem Beispiel.
- ToyBlocks erzeugt Demonstrationen ohne Teleoperation, indem es Reinforcement Learning mit Bewegungsplanung kombiniert.
- Die Generalisierung von VLA-Modellen bleibt schwach, und Wan 2.2 sagt Blockbewegungen am besten voraus.
- Am realen Franka-Arm erreicht ManiFlow 81,1 % Erfolg, das hierarchische System Molmo 2 + ManiFlow 50,0 %.
Die jüngsten Demonstrationen von Robotern, die Wäsche falten oder Teile sortieren, bleiben oft eng gefasst und erklären schlecht, was der Roboter gelernt hat oder warum er scheitert. Forscher benötigen daher Umgebungen, in denen sie Trainingsdaten oder das Modelldesign ändern, einen Test wiederholen und die Ursache eines Fehlschlags zurückverfolgen können. Jedes FoundationWorld kombiniert eine simulierte Welt, Werkzeuge zur automatischen Generierung von Aufgaben und Demonstrationen sowie Messungen des Roboterverhaltens über die Zeit.
Demonstrationen ohne Teleoperation generieren
ToyBlocks erzeugt automatisch Demonstrationen, also Aufzeichnungen eines Roboters, der eine Aufgabe in der Simulation erfüllt, ohne auf Teleoperation zurückzugreifen, bei der eine Person den Roboter fernsteuert. Um kurze Fähigkeiten zu erlernen, wie das Schieben eines Blocks oder das Umdrehen ohne Greifen, kombiniert das System Reinforcement Learning (RL, das durch Versuch und Irrtum vorgeht) und Bewegungsplanung. Das Training findet in Isaac Lab statt, einem Open-Source-Framework von Nvidia für robotisches Lernen in der Simulation.
Ein Task-and-Motion-Planning-System (TAMP) verkettet dann diese Fähigkeiten, um eine Aufgabe zu lösen. Laut Ai2 können Hunderte von Plänen parallel auf einer einzigen GPU ausgeführt werden, bis zu 24-mal in Echtzeit.
Die Generalisierungsfähigkeit von Modellen testen
Vision-Language-Action-Modelle (VLA), die eine Sprachaufforderung und Bilder in Roboteraktionen übersetzen, sollen sich dank ihres Vortrainings auf großen Datensätzen schnell generalisieren. Die verfügbaren Studien bleiben jedoch widersprüchlich. Ai2 gibt an, dass seine Tests mit ManiFlow, π0.5 und MolmoAct 2 eine schlechte Generalisierung im Ausgangszustand zeigen und das Team diese Ergebnisse später verbessert hat. Das Unternehmen hält die Frage für längst nicht gelöst.
In einem anderen Teil dient ein Vision-Language-Modell, Molmo 2, als hochrangiger Planer und ManiFlow als Ausführender. Für eine Aufgabe, bei der « Ai2 » mit einem Blockturm geschrieben werden soll, sind die Buchstaben möglicherweise zunächst nicht sichtbar, was den Agenten zwingt, zuerst Informationen zu suchen.
Agenten, die ihre eigenen Experimente durchführen
In einer weiteren Testreihe nutzt Ai2 Claude Opus 5.5 und stellt die Fähigkeiten von ToyBlocks über das Model Context Protocol (MCP) bereit, einen Standard für die Verbindung zwischen KI-Anwendungen und Werkzeugen. Laut Quelle steigt die Erfolgsquote, wenn der Agent seine eigenen Fähigkeitsbeschreibungen aus seinen Erfahrungen verfasst, von 24 % mit Standardbeschreibungen auf 63 %, verglichen mit 36 % mit von einem menschlichen Experten verfassten Beschreibungen.
Ein weiterer Test betrifft aktionsgesteuerte Weltmodelle, die die Entwicklung einer Szene basierend auf den Bewegungen des Roboters vorhersagen. Bei 900 Trajektorien pro Fähigkeit sagt Wan 2.2, ein Videovorhersagemodell mit 5 Milliarden Parametern, die Bewegung der Blöcke und den Ausgang der Aufgaben am besten voraus. Ai2 fügt hinzu, dass 100 von diesem Modell generierte Trajektorien die Erfolgsrate einer Policy in einem unbekannten Bereich von 19 % auf 78 % erhöhen.
Vom Simulator zum echten Arm
An einem Franka FR3-Arm mit einem Robotiq-Greifer erreicht ManiFlow bei dreißig Szenenkonfigurationen eine Erfolgsquote von 80,0 % in der Simulation und 81,1 % in der realen Welt für seine isolierten Fähigkeiten. Das hierarchische System Molmo 2 + ManiFlow erreicht 55,5 % in der Simulation (111 von 200) und 50,0 % unter realen Bedingungen (15 von 30). Ai2 merkt an, dass weitere Tests für statistische Zuverlässigkeit erforderlich sein werden.
Die ersten veröffentlichten Daten umfassen 85.336 Demonstrationen mit langem Zeithorizont, etwa 1.600 Stunden Roboterlaufzeit und 144 Millionen Bilder. Eine zweite Version mit einem größeren Datensatz und mehr Fähigkeiten wird in einigen Wochen angestrebt.
