يقدم باحثون «محاكيًا تفاعليًا للعالم»، وهو محاكٍ يتنبأ بمقاطع فيديو استجابةً لأفعال روبوت، دون استخدام محرك فيزيائي. وفقًا للمؤلفين، يمكن لهذه الأداة أن تخفف اختناقين رئيسيين في تعلم الروبوتات: جمع بيانات التدريب وتقييم السياسات، أي برامج التحكم في الروبوتات.
اليوم، تتلخص الطريقة الشائعة في جمع مئات العروض التوضيحية التي يؤديها خبير على روبوت حقيقي، ثم تدريب سياسة تقليد على هذه البيانات، واختبارها مرارًا وتكرارًا على نفس الروبوت. هذه الخطوات بطيئة ومكلفة ويصعب إعادة إنتاجها، لأن العتاد قد يتعطل، والإضاءة قد تتغير، والأجسام قد تتحرك. توفر المحاكيات التقليدية القائمة على الفيزياء بديلاً، لكنها تتطلب نمذجة الأشكال الهندسية والاتصالات والاحتكاك والتشوهات يدويًا، وغالبًا ما تبقى بعيدة جدًا عن الواقع بحيث تفشل السياسات المدربة في المحاكاة عند نقلها إلى روبوت حقيقي.
نموذج يتعلم من الأفعال
اختار المؤلفون نهجًا مختلفًا. محاكيهم هو نموذج للتنبؤ بالفيديو، مشروط بأفعال الروبوت: انطلاقًا من الصورة الحالية وسلسلة من الأفعال، يولد الصور التالية مباشرةً بالبكسل، دون محرك فيزيائي. تم تدريبه على أربع مهام مناولة: دفع جسم على شكل حرف T (اتصال بين أجسام صلبة)، وإدخال حبل في مشبك (تفاعل بين جسم قابل للتشوه وجسم صلب)، والإمساك بكوب (ديناميكيات دقيقة للملقط)، وكسح كومة من الأجسام.
وفقًا للمؤلفين، يمكن لمشغل أن يتحكم بالروبوت عبر هذا النموذج لأكثر من 10 دقائق بمعدل 15 إطارًا في الثانية، باستخدام بطاقة RTX 4090 واحدة فقط، مع الحصول على فيديو يبقى مستقرًا ومقبولًا فيزيائيًا. لتحقيق ذلك، يعمل النظام على مرحلتين. أولاً، يقوم مشفر تلقائي بضغط صور RGB إلى تمثيلات كامنة مضغوطة، ثم يعيد تحويلها إلى صور. ثانيًا، نموذج آخر، مع تثبيت المشفر التلقائي، يتنبأ بالحالة الكامنة التالية بناءً على الحالات الكامنة السابقة والأفعال، قبل فك تشفيرها إلى صورة. يتكرر هذا التنبؤ بشكل تكراري ذاتي، حيث تُستخدم كل صورة منتجة كسياق للصورة التالية. يشير المؤلفون إلى استخدامهم نماذج للاتساق لضمان بقاء المحاكاة تفاعلية ومستقرة على المدى الطويل.
استخدامان: توليد البيانات والتقييم
في تجربة أولى، جمع المؤلفون عروضًا توضيحية بالكامل داخل المحاكي، ثم دربوا سياسات تقليد باستخدام 0% من البيانات الحقيقية و100% من البيانات المُولَّدة. هذه السياسات، عند نشرها مباشرةً على الروبوت الحقيقي، أنجزت المهام وأظهرت متانة في مواجهة اضطرابات بشرية مستمرة. وفقًا للمؤلفين، يوضح هذا أن جودة البيانات المُولَّدة قابلة للمقارنة بجودة البيانات الحقيقية.
في تجربة ثانية، تم تقييم أربع سياسات، وهي DP وACT وπ0 وπ0.5، في كل من المحاكي وعلى الروبوت الحقيقي، بنفس التهيئات الأولية. كل نقطة في التقييم تتوافق مع نقطة تحقق (checkpoint) لسياسة ما، تم تسجيلها في كلا البيئتين. لاحظ المؤلفون ارتباطًا قويًا بين السلسلتين من النقاط، حسب المهام والسياسات. نوعيًا، السياسات التي تنجح في المحاكاة تنجح أيضًا على الروبوت الحقيقي، وتلك التي تفشل في المحاكاة تفشل أيضًا في الواقع.
يشير المؤلفون إلى رغبتهم في توسيع إطار عملهم ليشمل بيئات أكثر تنوعًا ومهام مناولة أكثر تعقيدًا. ويذكرون أيضًا دراسة كيفية تطور أداء هذه النماذج مع كمية بيانات التفاعل وموارد الحوسبة، وهو سؤال يرونه مفيدًا لتصميم نماذج عالمية أكبر للروبوتات.
ييكسوان وانغ طالب دكتوراه في السنة الأخيرة في علوم الحاسوب بجامعة كولومبيا وباحث في مختبر NVIDIA Seattle للروبوتات. يُعرض المشروع على صفحة مخصصة، حيث يمكن اختبار المحاكي في متصفح باستخدام لوحة المفاتيح.
