Ai2 представляет FoundationWorlds — фреймворк для создания контролируемых сред для изучения робототехники, и представляет его первый пример, ToyBlocks. Это открытый симуляционный фреймворк, построенный вокруг роботизированной руки и блоков, расположенных на столе.
Недавние демонстрации роботов, складывающих бельё или сортирующих детали, часто остаются узкоспециализированными и плохо объясняют, что именно робот усвоил или почему он терпит неудачу. Поэтому исследователям нужны среды, где они могут изменять обучающие данные или архитектуру модели, повторять тесты и отслеживать причины сбоев. Каждый FoundationWorlds сочетает симулированный мир, инструменты для автоматической генерации задач и демонстраций, а также метрики для оценки поведения робота с течением времени.
Генерация демонстраций без телеоперации
ToyBlocks автоматически генерирует демонстрации — записи робота, выполняющего задачу в симуляции, без использования телеоперации, когда человек управляет роботом дистанционно. Для обучения коротким навыкам, таким как толкание блока или его переворачивание без захвата, система сочетает обучение с подкреплением (RL, методом проб и ошибок) и планирование движений. Обучение проходит в Isaac Lab — открытом фреймворке от Nvidia для обучения роботов в симуляции.
Планировщик задач и движений (TAMP) затем объединяет эти навыки для решения задачи. По данным Ai2, сотни планов могут выполняться параллельно на одном графическом процессоре (GPU) со скоростью до 24 раз быстрее реального времени.
Тестирование обобщающей способности моделей
Модели «зрение-язык-действие» (VLA), преобразующие текстовые инструкции и изображения в действия робота, должны быстро обобщать благодаря предварительному обучению на больших наборах данных. Однако существующие исследования остаются противоречивыми. Ai2 сообщает, что её тесты, проведённые с ManiFlow, π0.5 и MolmoAct 2, показывают слабую обобщающую способность изначально, и что команда затем улучшила эти результаты. Компания считает, что вопрос далёк от решения.
В другом эксперименте модель «зрение-язык» Molmo 2 служит высокоуровневым планировщиком, а ManiFlow — исполнителем. Для задачи написания слова «Ai2» башней из блоков буквы изначально могут быть не видны, что вынуждает агента сначала искать информацию.
Агенты, проводящие собственные эксперименты
В другой серии испытаний Ai2 использует Claude Opus 5.5 и предоставляет доступ к навыкам ToyBlocks через Model Context Protocol (MCP) — стандарт подключения между AI-приложениями и инструментами. По данным источника, когда агенту позволили самостоятельно описывать навыки на основе своего опыта, уровень успеха вырос с 24% при использовании стандартных описаний до 63%, по сравнению с 36% при описаниях, написанных человеком-экспертом.
Другой тест касается управляемых действием моделей мира, которые предсказывают изменения сцены в зависимости от действий робота. На 900 траекторий для каждого навыка Wan 2.2 — 5-миллиардная модель прогнозирования видео — лучше всего предсказывает движение блоков и исход задач. Ai2 добавляет, что 100 траекторий, сгенерированных этой моделью, повышают уровень успеха стратегии в неизвестной области с 19% до 78%.
От симулятора к реальному манипулятору
На манипуляторе Franka FR3 с захватом Robotiq и в тридцати различных сценариях ManiFlow демонстрирует 80,0% успеха в симуляции и 81,1% в реальном мире для отдельных навыков. Иерархическая система Molmo 2 + ManiFlow достигает 55,5% в симуляции (111 из 200) и 50,0% в реальных условиях (15 из 30). Ai2 уточняет, что для установления статистической достоверности потребуются дополнительные испытания.
Первые опубликованные данные включают 85 336 долгосрочных демонстраций, около 1600 часов работы робота и 144 миллиона изображений. Вторая версия с более обширным набором данных и большим количеством навыков планируется через несколько недель.
