تُقدِّم Ai2 إطار عمل FoundationWorlds، وهو إطار مخصَّص لإنشاء بيئات مُتحكَّم فيها لدراسة الروبوتات، وتُطلق أول مثال عليه، ToyBlocks. إنه إطار محاكاة مفتوح، مبني حول ذراع روبوتية ومكعبات موضوعة على طاولة.
غالبًا ما تكون العروض التوضيحية الحديثة للروبوتات التي تطوي الملابس أو تفرز القطع محدودة النطاق، ولا تُفسر جيدًا ما تعلمه الروبوت أو سبب فشله. لذلك يحتاج الباحثون إلى بيئات يمكنهم فيها تعديل بيانات التدريب أو تصميم النموذج، وتكرار الاختبار، وتتبع سبب الفشل. يجمع كل إطار FoundationWorlds بين عالم محاكاة، وأدوات لتوليد المهام والعروض التوضيحية تلقائيًا، ومقاييس لسلوك الروبوت عبر الزمن.
توليد عروض توضيحية بدون التحكم عن بُعد
يُنتج ToyBlocks عروضًا توضيحية تلقائيًا، أي تسجيلات لروبوت يُنجز مهمة في المحاكاة، دون اللجوء إلى التحكم عن بُعد، حيث يتحكم شخص في الروبوت من مكان آخر. لتعلم مهارات قصيرة، مثل دفع مكعب أو قلبه دون الإمساك به، يدمج النظام بين التعلم المعزز (RL، الذي يعمل بالمحاولة والخطأ) وتخطيط الحركة. يتم التدريب في Isaac Lab، وهو إطار عمل مفتوح المصدر من Nvidia للتعلم الآلي للروبوتات في المحاكاة.
ثم يربط مُخطِّط المهام والحركة (TAMP) هذه المهارات لحل مهمة. وفقًا لـ Ai2، يمكن تنفيذ مئات الخطط بالتوازي على معالج رسومي واحد (GPU)، بسرعة تصل إلى 24 ضعف الوقت الفعلي.
اختبار قدرة النماذج على التعميم
من المفترض أن تتمكن نماذج الرؤية-اللغة-الفعل (VLA)، التي تترجم تعليمات نصية وصور إلى أفعال للروبوت، من التعميم بسرعة بفضل تدريبها المسبق على مجموعات بيانات كبيرة. ومع ذلك، تظل الدراسات المتاحة متناقضة. تشير Ai2 إلى أن اختباراتها، التي أُجريت باستخدام ManiFlow وπ0.5 وMolmoAct 2، تُظهر تعميمًا ضعيفًا في الحالة الأولية، وأن الفريق حسَّن هذه النتائج لاحقًا. وتعتقد الشركة أن المسألة بعيدة عن الحل.
في جانب آخر، يُستخدم نموذج الرؤية-اللغة Molmo 2 كمُخطِّط عالي المستوى وManiFlow كمنفذ. لمهمة تتعلق بتهجئة « Ai2 » باستخدام برج من المكعبات، قد لا تكون الحروف مرئية في البداية، مما يضطر الوكيل إلى البحث عن معلومات أولاً.
وكلاء يُجرون تجاربهم الخاصة
في سلسلة أخرى من التجارب، تستخدم Ai2 نموذج Claude Opus 5.5 وتعرض مهارات ToyBlocks عبر Model Context Protocol (MCP)، وهو معيار لربط تطبيقات الذكاء الاصطناعي بالأدوات. وفقًا للمصدر، عندما يُترك للوكيل كتابة أوصاف مهاراته الخاصة بناءً على تجاربه، يرتفع معدل النجاح من 24% مع الأوصاف الافتراضية إلى 63%، مقارنة بـ 36% مع أوصاف كتبها خبير بشري.
اختبار آخر يتعلق بنماذج العالم المُحرَّكة بالفعل، التي تتوقع تطور المشهد بناءً على حركات الروبوت. من بين 900 مسار لكل مهارة، يتنبأ Wan 2.2، وهو نموذج للتنبؤ بالفيديو بسعة 5 مليارات معامل، بشكل أفضل بحركة المكعبات ونتائج المهام. تضيف Ai2 أن 100 مسار مولَّدة بواسطة هذا النموذج ترفع معدل نجاح سياسة في منطقة غير معروفة من 19% إلى 78%.
من المُحاكي إلى الذراع الحقيقية
على ذراع Franka FR3 مزود بقابض Robotiq، وعلى ثلاثين تكوينًا للمشهد، يحقق ManiFlow معدل نجاح 80.0% في المحاكاة و81.1% في العالم الحقيقي لمهاراته المنفردة. يصل النظام الهرمي Molmo 2 + ManiFlow إلى 55.5% في المحاكاة (111 من 200) و50.0% في الظروف الحقيقية (15 من 30). توضح Ai2 أن تجارب أخرى ستكون ضرورية لبناء ثقة إحصائية.
تشمل البيانات الأولية المنشورة 85,336 عرضًا توضيحيًا طويل المدى، وحوالي 1,600 ساعة من التنفيذ الروبوتي و144 مليون صورة. تستهدف الشركة إصدارًا ثانيًا، بمجموعة بيانات أكبر ومزيد من المهارات، خلال بضعة أسابيع.
