Ai2 prezentuje FoundationWorlds, framework do tworzenia kontrolowanych środowisk do badania robotyki, wraz z pierwszym przykładem, ToyBlocks. To otwarte środowisko symulacyjne zbudowane wokół ramienia robotycznego i klocków na stole.
- Ai2 przedstawia FoundationWorlds i ToyBlocks, kontrolowane środowisko do badania robotyki.
- ToyBlocks generuje demonstracje automatycznie, bez teleoperacji, łącząc uczenie przez wzmacnianie z planowaniem ruchu.
- Agent, który sam pisze opisy umiejętności, zwiększa wskaźnik sukcesu z 24% do 63%.
- ManiFlow osiąga 81,1% sukcesów w świecie rzeczywistym, a system hierarchiczny 50,0%.
Ostatnie demonstracje robotów składających pranie czy sortujących elementy często są wąskie i słabo wyjaśniają, czego robot się nauczył lub dlaczego zawodzi. Badacze potrzebują więc środowisk, w których mogą modyfikować dane treningowe lub projekt modelu, powtarzać testy i docierać do przyczyn niepowodzeń. Każdy FoundationWorld łączy symulowany świat, narzędzia do automatycznego generowania zadań i demonstracji oraz metryki zachowania robota w czasie.
Generowanie demonstracji bez teleoperacji
ToyBlocks automatycznie generuje demonstracje, czyli zapisy robota wykonującego zadanie w symulacji, bez uciekania się do teleoperacji, gdzie człowiek zdalnie steruje robotem. Do nauki krótkich umiejętności, jak popychanie klocka czy jego obracanie bez chwytania, system łączy uczenie przez wzmacnianie (RL, działające metodą prób i błędów) z planowaniem ruchu. Szkolenie odbywa się w Isaac Lab, otwartym frameworku Nvidii do uczenia robotów w symulacji.
Planista zadań i ruchów (TAMP) następnie łączy te umiejętności, aby rozwiązać zadanie. Według Ai2 setki planów można wykonywać równolegle na jednym procesorze graficznym (GPU), nawet do 24 razy w czasie rzeczywistym.
Testowanie generalizacji modeli
Modele wizja-język-działanie (VLA), które tłumaczą instrukcję językową i obrazy na działania robota, mają się szybko generalizować dzięki wstępnemu treningowi na dużych zbiorach danych. Dostępne badania pozostają jednak sprzeczne. Ai2 wskazuje, że jej testy z ManiFlow, π0.5 i MolmoAct 2 pokazują słabą generalizację w stanie początkowym, a zespół później poprawił te wyniki. Firma uważa, że kwestia ta jest daleka od rozwiązania.
W innym podejściu model wizja-język, Molmo 2, służy jako planista wysokiego poziomu, a ManiFlow jako wykonawca. W zadaniu ułożenia wieży z klocków liter « Ai2 », litery mogą początkowo nie być widoczne, co zmusza agenta do poszukiwania informacji.
Agenci przeprowadzający własne eksperymenty
W innej serii prób Ai2 używa Claude Opus 5.5 i udostępnia umiejętności ToyBlocks przez Model Context Protocol (MCP), standard łączenia aplikacji AI z narzędziami. Według źródła, pozwalając agentowi pisać własne opisy umiejętności na podstawie doświadczeń, wskaźnik sukcesu wzrasta z 24% przy domyślnych opisach do 63%, w porównaniu do 36% przy opisach napisanych przez ludzkiego eksperta.
Kolejny test dotyczy modeli świata sterowanych działaniem, które przewidują zmianę sceny w zależności od ruchów robota. Na 900 trajektorii na umiejętność, Wan 2.2, model predykcji wideo o 5 miliardach parametrów, najlepiej przewiduje ruch klocków i wynik zadań. Ai2 dodaje, że 100 trajektorii wygenerowanych przez ten model podnosi wskaźnik sukcesu polityki w nieznanym obszarze z 19% do 78%.
Od symulatora do rzeczywistego ramienia
Na ramieniu Franka FR3 z chwytakiem Robotiq, w trzydziestu konfiguracjach sceny, ManiFlow osiąga 80,0% sukcesów w symulacji i 81,1% w świecie rzeczywistym dla swoich izolowanych umiejętności. Hierarchiczny system Molmo 2 + ManiFlow osiąga 55,5% w symulacji (111 na 200) i 50,0% w warunkach rzeczywistych (15 na 30). Ai2 zaznacza, że potrzebne będą dalsze próby dla uzyskania statystycznej pewności.
Opublikowane dane początkowe obejmują 85 336 demonstracji długoterminowych, około 1600 godzin działania robota i 144 miliony obrazów. Druga wersja z większym zbiorem danych i większą liczbą umiejętności jest planowana za kilka tygodni.
