Ingenieure des MIT haben ein Ultraschallarmband entwickelt, das in Echtzeit die Bewegungen der Hand seines Trägers verfolgen kann. In Verbindung mit einem Algorithmus für künstliche Intelligenz übersetzt es die Bilder des Handgelenks in Positionen der fünf Finger und der Handfläche und kann einen Roboter oder ein virtuelles Objekt steuern. Die Arbeit wurde in der Fachzeitschrift Nature Electronics veröffentlicht.
Die Hand bleibt einer der komplexesten Körperteile. Laut dem Text sind daran 34 Muskeln, 27 Gelenke und über 100 Sehnen und Bänder beteiligt, was ihre Nachbildung durch Roboter oder in virtuellen Realitätsumgebungen schwierig macht.
Die bestehenden Ansätze haben jeweils ihre Grenzen. Kamerasysteme sind unpraktisch einzusetzen und anfällig für visuelle Hindernisse, während mit Sensoren ausgestattete Handschuhe die natürlichen Bewegungen behindern können. Ein dritter Weg nutzt die elektrischen Signale der Unterarmmuskeln, aber diese Signale werden leicht durch Umgebungsgeräusche gestört und erlauben keine Unterscheidung subtiler Bewegungen.
Das Team von Xuanhe Zhao, Professor für Maschinenbau am MIT, wollte daher herausfinden, ob Ultraschallbildgebung feinere und kontinuierliche Bewegungen erfassen kann. Das Gerät basiert auf Ultraschall-„Stickern », miniaturisierten Versionen der in Arztpraxen verwendeten Transducer, kombiniert mit einem Hydrogel-Material, das auf der Haut haften kann. In dieser Studie wurden diese Sensoren in ein Armband integriert, das kontinuierlich die Muskeln und Sehnen des Handgelenks beobachtet.
Das Armband hat die Größe einer Smartwatch, und seine eingebaute Elektronik ist etwa so groß wie ein Mobiltelefon. Den Forschern zufolge erzeugt es klare und kontinuierliche Bilder des Handgelenks, wenn der Proband die Finger bewegt.
Bilder mit Gesten verknüpfen
Die Herausforderung bestand darin, diese Schwarz-Weiß-Bilder mit präzisen Handpositionen zu verknüpfen. Die Finger und der Daumen verfügen über 22 Freiheitsgrade, das heißt 22 verschiedene Möglichkeiten, sie zu strecken oder zu neigen. Die Forscher identifizierten in den Bildern des Handgelenks Bereiche, die jeweils einem dieser Freiheitsgrade entsprechen: Eine Region gibt beispielsweise Aufschluss über die Streckung des Daumens, eine andere über die Bewegungen des Zeigefingers.
Um diese Entsprechungen herzustellen, führte ein Proband mit dem Armband verschiedene Positionen aus, während mehrere Kameras seine Gesten aufzeichneten. Da eine Echtzeit-Übersetzung manuell nicht möglich ist, griff das Team auf einen Algorithmus für künstliche Intelligenz zurück, der darauf trainiert wurde, Muster in den Bildern zu erkennen und sie mit Beschriftungen zu verknüpfen. Die Bilder wurden sorgfältig annotiert, dann wurde der Algorithmus mit einem neuen Satz von Bildern getestet, und er konnte die entsprechenden Gesten korrekt vorhersagen.
Acht Probanden mit unterschiedlichen Hand- und Handgelenksgrößen trugen anschließend das Armband. Sie führten verschiedene Haltungen und Greifbewegungen aus, darunter die Zeichen für die 26 Buchstaben des amerikanischen Gebärdensprachalphabets, und hielten einen Tennisball, eine Plastikflasche, eine Schere oder einen Stift. In jedem Fall verfolgte und sagte das Armband die Position der Hand genau voraus.
Demonstrierte Anwendungen
In Demonstrationen verband das Team das Armband drahtlos mit einem einfachen Computerprogramm. Greif- und Zupackgesten ermöglichen es, ein Objekt auf dem Bildschirm zu vergrößern, zu verkleinern oder zu verschieben. Das Armband diente auch als drahtlose Fernsteuerung für eine einfache kommerzielle Roboterhand: Der Roboter reproduziert in Echtzeit die Bewegungen eines Probanden, der auf einer Tastatur spielt, und spielt so eine einfache Melodie auf dem Klavier. Derselbe Roboter reproduzierte auch Fingerbewegungen, um ein Tischbasketballspiel zu spielen.
Die Forscher haben bereits Bewegungsdaten von vielen Nutzern gesammelt, um einen umfangreichen Datensatz aufzubauen. Laut dem Text könnte dieser dazu dienen, humanoide Roboter für geschickte Aufgaben zu trainieren, wie etwa bestimmte chirurgische Verfahren. Zhao plant, die Hardware weiter zu miniaturisieren und den Algorithmus mit einer größeren Anzahl von Gesten und Morphologien zu trainieren. „Wir glauben, dass dies die fortschrittlichste Methode ist, um feine Handbewegungen durch Bildgebung des Handgelenks zu verfolgen », erklärt er.
Diese Arbeit wurde teilweise vom MIT, den National Institutes of Health, der National Science Foundation, dem US-Verteidigungsministerium und der Singapore National Research Foundation über die Singapore-MIT Alliance for Research and Technology unterstützt.
