Een armband maakt het mogelijk om een robothand te besturen met eigen bewegingen

Een armband maakt het mogelijk om een robothand te besturen met eigen bewegingen

Ingenieurs van het MIT hebben een ultrasone armband ontwikkeld die in realtime de handbewegingen van de drager kan volgen. In combinatie met een artificiële intelligentie-algoritme vertaalt het de beelden van de pols naar posities van de vijf vingers en de handpalm, en kan het een robot of een virtueel object aansturen. Het werk is gepubliceerd in het tijdschrift Nature Electronics.

De hand blijft een van de meest complexe delen van het lichaam. Volgens de tekst zijn er 34 spieren, 27 gewrichten en meer dan 100 pezen en ligamenten bij betrokken, wat het moeilijk maakt om deze na te bootsen met robots of in virtuele realiteit-omgevingen.

De bestaande benaderingen hebben elk hun beperkingen. Camerasystemen zijn onpraktisch om te installeren en gevoelig voor visuele obstakels, terwijl handschoenen met sensoren de natuurlijke bewegingen kunnen hinderen. Een derde weg is het gebruikmaken van de elektrische signalen van de spieren in de onderarm, maar deze signalen worden gemakkelijk verstoord door omgevingslawaai en laten geen onderscheid toe tussen subtiele bewegingen.

Het team van Xuanhe Zhao, hoogleraar werktuigbouwkunde aan het MIT, wilde daarom onderzoeken of beeldvorming met ultrageluid fijnere en continue bewegingen kon vastleggen. Het apparaat maakt gebruik van ultrasone ‘stickers’, geminiaturiseerde versies van de transducers die in medische praktijken worden gebruikt, gecombineerd met een hydrogelmateriaal dat aan de huid kan hechten. In deze studie zijn deze sensoren geïntegreerd in een armband die continu de spieren en pezen van de pols observeert.

De armband heeft het formaat van een smartwatch en de ingebouwde elektronica is ongeveer zo groot als een mobiele telefoon. Volgens de onderzoekers produceert het duidelijke en continue beelden van de pols wanneer de vrijwilliger zijn vingers beweegt.

Beelden koppelen aan gebaren

De uitdaging bestond er vervolgens in om deze zwart-witbeelden te koppelen aan precieze handposities. De vingers en de duim hebben 22 vrijheidsgraden, dat wil zeggen 22 verschillende manieren om ze te strekken of te kantelen. De onderzoekers identificeerden in de beelden van de pols zones die overeenkomen met elk van deze vrijheidsgraden: een gebied geeft bijvoorbeeld informatie over het strekken van de duim, een ander over de bewegingen van de wijsvinger.

Om deze overeenkomsten vast te stellen, voerde een vrijwilliger die de armband droeg verschillende posities uit terwijl meerdere camera’s zijn gebaren registreerden. Omdat een realtime vertaling handmatig onmogelijk is, maakte het team gebruik van een artificiële intelligentie-algoritme, getraind om patronen in de beelden te herkennen en deze te koppelen aan labels. De beelden werden zorgvuldig geannoteerd, waarna het algoritme werd getest op een nieuwe set beelden, en het slaagde erin de corresponderende gebaren correct te voorspellen.

Acht vrijwilligers met verschillende hand- en polsmaten droegen vervolgens de armband. Ze voerden diverse houdingen en grepen uit, waaronder de gebaren voor de 26 letters van het Amerikaanse gebarentaalalfabet, en hielden een tennisbal, een plastic fles, een schaar of een potlood vast. In elk geval volgde en voorspelde de armband nauwkeurig de positie van de hand.

Toepassingen in demonstraties

In demonstraties verbond het team de armband draadloos met een eenvoudig computerprogramma. Knijp- en grijpgebaren maken het mogelijk om een object op het scherm te vergroten, verkleinen of verplaatsen. De armband diende ook als draadloze afstandsbediening voor een eenvoudige commerciële robothand: de robot bootst in realtime de bewegingen na van een vrijwilliger die op een keyboard speelt, en speelt zo een eenvoudig deuntje op de piano. Dezelfde robot bootste ook vingertikken na om een tafelbasketbalspel te spelen.

De onderzoekers hebben al bewegingsgegevens verzameld van veel gebruikers, met als doel een uitgebreide dataset op te bouwen. Volgens de tekst zou deze kunnen dienen om humanoïde robots op te leiden voor behendigheidstaken, zoals bepaalde chirurgische procedures. Zhao is van plan de hardware verder te miniaturiseren en het algoritme te trainen op een groter aantal gebaren en lichaamsvormen. « Wij denken dat dit de meest geavanceerde methode is om fijne handbewegingen te volgen, dankzij beeldvorming van de pols », zegt hij.

Dit werk werd deels ondersteund door het MIT, de National Institutes of Health, de National Science Foundation, het Amerikaanse Ministerie van Defensie en de Singapore National Research Foundation, via de Singapore-MIT Alliance for Research and Technology.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x