لا تزال المناولة الدقيقة واحدة من العقبات الرئيسية التي تمنع الروبوتات من إنجاز مجموعة واسعة من المهام اليومية. قد يكون حاسة اللمس هي المفتاح، لكن نقص البيانات عالية الجودة أعاق التقدم. تكرر الآن المختبرات الجامعية والشركات الناشئة مجموعات البيانات اللمسية والتقنيات لاستغلالها.
في السنوات الأخيرة، حسنت نماذج الرؤية-اللغة-الفعل (VLA) بشكل ملحوظ قدرة الروبوتات على إنجاز مهام معقدة تتضمن أجسامًا وبيئات غير مألوفة. بعد التدريب المسبق على كميات كبيرة من الصور والفيديوهات والنصوص، ثم التنقيح على عدد أقل من العروض التوضيحية التي يتم التحكم فيها عن بُعد بواسطة إنسان، توجه هذه النماذج الروبوتات في مهام مثل طي الملابس، أو ترتيب غرفة المعيشة، أو استخدام أجهزة المطبخ، بناءً على مجرد بث فيديو وتعليمات بلغة طبيعية.
ومع ذلك، تواجه الروبوتات صعوبة في المهام التي تتطلب دقة عالية، مثل التعامل مع مواد قابلة للتشوه أو أجسام صغيرة، أو توصيل كابل USB، أو تدوير مفتاح في قفل. والسبب جزئيًا هو أن نماذج VLA تتجاهل أحد المصادر الرئيسية للمعلومات التي يمتلكها البشر في مثل هذه المواقف: التغذية الراجعة اللمسية.
لمس يصعب دمجه
يقول تريفور داريل، أستاذ علوم الكمبيوتر في جامعة كاليفورنيا في بيركلي: « يمكن للبشر إنجاز معظم المناولات الماهرة وعيونهم مغلقة. فهم القوة والانزلاق والإمساك الدقيق ليس شيئًا يمكن القيام به بشكل صحيح باستخدام أجهزة استشعار الرؤية التقليدية. »
ومع ذلك، يبقى استغلال أجهزة الاستشعار اللمسية أمرًا صعبًا. بياناتها لها خصائص مختلفة جدًا عن تلك الخاصة بالصور التي يتم تدريب نماذج VLA عليها عادةً، ومجموعات البيانات اللمسية متأخرة بكثير عن نطاق الإنترنت الذي تستفيد منه العديد من مجموعات البيانات البصرية واللغوية. لذلك قام فريق داريل أولاً بتدريب نموذج مسبقًا على البيانات الموجودة، قبل منحه حاسة اللمس من خلال نموذج فرعي متخصص، تم تدريبه على 100 ساعة من البيانات اللمسية عالية الجودة، تم جمعها خصيصًا. وهي تشمل عروضًا توضيحية لإجراءات شائعة مثل المسح، والإمساك، واللف، أو الصب، تم تنفيذها باستخدام أكثر من 200 جسم منزلي مختلف.
التحدي يكمن أيضًا في السرعة. الهدف هو أن يصحح الروبوت قبضته في الوقت الفعلي بفضل الإشارة اللمسية، وهذا يتطلب أوقات استجابة أقصر من تلك التي تعمل بها معظم نماذج الرؤية-اللغة. لذلك قسم الفريق النظام إلى نماذج فرعية تسمى « خبراء »: خبير في الأفعال ينتج خطط الحركة، بينما يقوم الخبير اللمسي، الذي يعمل بأربعة أضعاف السرعة، بتعديل هذه الخطة في الوقت الفعلي. بعد التنقيح على حوالي 100 عرض توضيحي يتم التحكم فيه عن بُعد لمهام معقدة نسبيًا، مثل بري لمبة، أو وضع معجون الأسنان على فرشاة أسنان، أو نقل بيضة من صينية إلى أخرى، حقق النموذج متوسط معدل نجاح بلغ 65٪ في 12 مهمة، أي ما يقارب ضعف أفضل نموذج VLA.
مسألة تنوع
لكن، كما يعترف تريفور داريل، فإن بياناته تأتي من جهاز روبوتي واحد فقط. تتراوح الأيدي الروبوتية من نماذج بخمسة أصابع مفصلة بالكامل إلى الملاقط البسيطة، ويمكن لأجهزة الاستشعار اللمسية أن تعتمد على مبادئ فيزيائية مختلفة جدًا، من قياس التغيرات في المقاومة إلى تسجيل صور لوسادة هلامية مرنة تتشوه. وفقًا لتشينجبو يوان، طالب ماجستير في جامعة تسينغهوا في بكين، فإن هذا يجعل معظم أبحاث الذكاء الاصطناعي اللمسية تعتمد على مستشعر محدد، ويصعب مشاركتها بين الفرق.
جمع يوان أكثر من 3000 ساعة من البيانات الروبوتية اللمسية من مجموعات بيانات عامة، تغطي 21 نوعًا من أجهزة الاستشعار وتجسيدات روبوتية متنوعة. ويشير كمصدر إلهام إلى تعاون Open X-Embodiment، الذي جمع بيانات من العديد من الروبوتات. صمم فريقه نموذجًا مستقلًا عن الجهاز: فهو يحول ناتج كل مستشعر إلى تنسيق مشترك ويطابقه مع مواقع موسومة على نموذج ليد بشرية. تفوق هذا النموذج بوضوح على نموذج مرجعي، بما في ذلك على أجهزة لم يصادفها من قبل. يعزو يوان هذه النتيجة إلى اكتساب « نوع من الحس السليم للمعرفة اللمسية »، بفضل التدريب على أجهزة متنوعة للغاية.
تغيير النطاق
على الرغم من هذه النتائج، يعتقد يوان أن هناك حاجة إلى المزيد من البيانات اللمسية. تقود مجموعته تعاونًا بين 80 مؤسسة تهدف إلى جمع مجموعة أكبر من العروض التوضيحية التي يتم التحكم فيها عن بُعد، وفقًا لطريقة موحدة للجمع والمعالجة. في غضون ذلك، أنتجت جامعة فودان في شنغهاي وشركتها الفرعية NeoteAI بالفعل مجموعة بيانات لمسية أكبر بمقدار درجة واحدة من الجهود السابقة. بفضل مستشعر خاص مثبت على أذرع روبوتية مختلفة وملقط يدوي يعمل بواسطة البشر، جمعوا أكثر من 30,000 ساعة من العروض التوضيحية، مع بيانات بصرية ولمسية متزامنة.
تم استخدام هذه البيانات لتدريب نموذج لا يقتصر على الاستجابة للمس فحسب: بل يتنبأ أيضًا بما يجب أن يشعر به الروبوت، لتوجيه وتقييم أفعاله، مما يحسن الأداء بشكل ملحوظ. يرى شونلين لو، الباحث ما بعد الدكتوراه في جامعة فودان والمدير التقني (CTO) لشركة NeoteAI، في هذا دليلاً واضحًا على أن الوصول إلى بيانات لمسية واسعة النطاق ومتنوعة يؤدي إلى مكاسب أداء كبيرة.
مسار آخر يتمثل في الاعتماد على الأحجام الهائلة من البيانات البصرية الروبوتية التي تم جمعها بالفعل. نشر باحثون من جامعة جنوب كاليفورنيا في لوس أنجلوس نموذجًا قادرًا على استنتاج معلومات لمسية من الصور، تم تدريبه على أكثر من 2700 عرض توضيحي للمناولة اليومية تم تنفيذها باستخدام ملقط يدوي يسجل بيانات لمسية وصورًا في نفس الوقت. يربط النموذج صور التلامس بين الملقط والأجسام بالضغط المحسوس في تلك اللحظة، مما يمنح حتى الروبوتات التي لا تحتوي على أجهزة استشعار لمسية حاسة لمس بدائية.
لا يزال من غير المؤكد مقدار البيانات اللمسية التي ستكون ضرورية لتحقيق اختراقات في المهام الأكثر دقة. حتى الآن، كما يلاحظ تشينجبو يوان، كان الإسهام الرئيسي للمس هو جعل الروبوتات أكثر كفاءة في المهام المتاحة بالفعل، مثل الإمساك بالأشياء ووضعها، ويشتبه في أن خوارزميات جديدة ستكون ضرورية لمعالجة المشكلات المستحيلة حقًا دون اللمس. يلخص لونغ تشنغ، من الأكاديمية الصينية للعلوم في بكين، الصعوبة: « البيانات جيدة. لكن كيفية استخدامها بشكل صحيح هي مسألة أخرى. »
من جانبه، يقدم شونلين لو رقمًا يقترب من 100,000 ساعة من البيانات، يتم جمعها في بيئات حقيقية ومتنوعة بدلاً من المختبر، لفتح قدرات جديدة. ويقول: « أعتقد أن الذكاء اللمسي هو في الواقع الخطوة التالية للذكاء الاصطناعي المادي ».
