طور مهندسون في معهد ماساتشوستس للتكنولوجيا سوارًا يعمل بالموجات فوق الصوتية قادرًا على تتبع حركات يد مرتديه في الوقت الحقيقي. وبالاقتران مع خوارزمية للذكاء الاصطناعي، يحول الصور الملتقطة من المعصم إلى أوضاع للأصابع الخمسة وراحة اليد، ويمكنه التحكم بروبوت أو كائن افتراضي. نُشرت الأعمال في مجلة Nature Electronics.
تظل اليد واحدة من أكثر أجزاء الجسم تعقيدًا. وفقًا للنص، فهي تشمل 34 عضلة و27 مفصلًا وأكثر من 100 وتر ورباط، مما يجعل محاكاتها بواسطة الروبوتات أو في بيئات الواقع الافتراضي أمرًا صعبًا.
تتمتع المنهجيات الحالية بحدود خاصة بكل منها. أنظمة الكاميرات غير عملية في النشر وحساسة للعوائق البصرية، بينما يمكن للقفازات المجهزة بأجهزة استشعار أن تعيق الحركات الطبيعية. يتلخص المسار الثالث في استغلال الإشارات الكهربائية لعضلات الساعد، لكن هذه الإشارات يسهل تشويشها بالضوضاء المحيطة ولا تسمح بتمييز الحركات الدقيقة.
لذلك سعى فريق شوانهي زاو، الأستاذ في الهندسة الميكانيكية بمعهد ماساتشوستس للتكنولوجيا، لمعرفة ما إذا كان التصوير بالموجات فوق الصوتية يمكنه التقاط حركات أكثر دقة واستمرارية. يعتمد الجهاز على « ملصقات » بالموجات فوق الصوتية، وهي نسخ مصغرة من المحولات المستخدمة في العيادات الطبية، مقترنة بمادة هيدروجيل يمكنها الالتصاق بالجلد. في هذه الدراسة، تم دمج هذه المستشعرات في سوار يراقب باستمرار عضلات وأوتار المعصم.
يبلغ حجم السوار حجم ساعة ذكية، ويبلغ حجم إلكترونياته المدمجة تقريبًا حجم هاتف محمول. وفقًا للباحثين، فإنه ينتج صورًا واضحة ومستمرة للمعصم عندما يحرك المتطوع أصابعه.
ربط الصور بالإيماءات
كان التحدي التالي هو ربط هذه الصور بالأبيض والأأسود بأوضاع دقيقة لليد. تمتلك الأصابع والإبهام 22 درجة من الحرية، أي 22 طريقة مختلفة لمدها أو إمالتها. حدد الباحثون في صور المعصم مناطق تتوافق مع كل درجة من هذه الدرجات: منطقة واحدة تُعلم على سبيل المثال بمد الإبهام، وأخرى بحركات السبابة.
لإقامة هذه المراسلات، قام متطوع يرتدي السوار بتنفيذ أوضاع مختلفة بينما كانت عدة كاميرات تسجل إيماءاته. وبما أن الترجمة الفورية في الوقت الحقيقي مستحيلة يدويًا، لجأ الفريق إلى خوارزمية للذكاء الاصطناعي، مُدربة على التعرف على أنماط في الصور وربطها بتسميات. تم وضع تعليقات توضيحية على الصور بعناية، ثم اختُبرت الخوارزمية على مجموعة جديدة من الصور، وتمكنت من التنبؤ بالإيماءات المقابلة بشكل صحيح.
ثم ارتدى ثمانية متطوعين بأحجام مختلفة لليد والمعصم السوار. قاموا بتنفيذ أوضاع وقبضات متنوعة، بما في ذلك إشارات الحروف الـ 26 للأبجدية بلغة الإشارة الأمريكية، ومسكوا كرة تنس، وزجاجة بلاستيكية، وزوج مقص، أو قلم رصاص. في كل حالة، تتبع السوار وتنبأ بدقة بوضع اليد.
تطبيقات في العرض التوضيحي
في العروض التوضيحية، ربط الفريق السوار، لاسلكيًا، ببرنامج حاسوبي بسيط. تسمح إيماءات القرصمة والإمساك بتكبير أو تصغير أو تحريك كائن على الشاشة. كما استُخدم السوار كجهاز تحكم عن بعد لاسلكي ليد آلية تجارية بسيطة: يكرر الروبوت في الوقت الحقيقي حركات متطوع يعزف على لوحة مفاتيح، ويعزف بذلك لحنًا بسيطًا على البيانو. كما كرر نفس الروبوت نقرات الأصابع للعب بلعبة كرة سلة طاولة.
لقد جمع الباحثون بالفعل بيانات حركات من العديد من المستخدمين، بهدف تكوين مجموعة بيانات واسعة. وفقًا للنص، يمكن أن تُستخدم لتدريب الروبوتات البشرية على مهام تتطلب مهارة يدوية، مثل بعض الإجراءات الجراحية. يخطط زاو لتصغير الأجهزة أكثر وتدريب الخوارزمية على عدد أكبر من الإيماءات والأشكال. ويقول: « نعتقد أن هذه هي الطريقة الأكثر تقدمًا لتتبع الحركات الدقيقة لليد، من خلال تصوير المعصم ».
دُعمت هذه الأعمال جزئيًا من قبل معهد ماساتشوستس للتكنولوجيا، والمعاهد الوطنية للصحة، والمؤسسة الوطنية للعلوم، ووزارة الدفاع الأمريكية، ومؤسسة سنغافورة الوطنية للبحوث، من خلال تحالف سنغافورة-معهد ماساتشوستس للتكنولوجيا للبحث والتكنولوجيا.
