Inżynierowie z MIT opracowali bransoletkę ultradźwiękową, która może śledzić w czasie rzeczywistym ruchy ręki użytkownika. W połączeniu z algorytmem sztucznej inteligencji, przetwarza ona obrazy nadgarstka na pozycje pięciu palców i dłoni, umożliwiając sterowanie robotem lub obiektem wirtualnym. Badania zostały opublikowane w czasopiśmie Nature Electronics.
Dłoń pozostaje jedną z najbardziej złożonych części ciała. Według tekstu, angażuje ona 34 mięśnie, 27 stawów i ponad 100 ścięgien i więzadeł, co utrudnia jej odtworzenie przez roboty lub w środowiskach rzeczywistości wirtualnej.
Istniejące podejścia mają swoje ograniczenia. Systemy kamerowe są mało praktyczne w użyciu i wrażliwe na przeszkody wizualne, podczas gdy rękawice wyposażone w czujniki mogą zakłócać naturalne ruchy. Trzecia metoda polega na wykorzystaniu sygnałów elektrycznych z mięśni przedramienia, ale te sygnały są łatwo zakłócane przez szum otoczenia i nie pozwalają na rozróżnienie subtelnych ruchów.
Zespół Xuanhe Zhao, profesora inżynierii mechanicznej w MIT, postanowił zbadać, czy obrazowanie ultradźwiękowe może uchwycić bardziej precyzyjne i ciągłe ruchy. Urządzenie opiera się na ultradźwiękowych « naklejkach », zminiaturyzowanych wersjach przetworników stosowanych w medycynie, połączonych z materiałem hydrożelowym, który może przylegać do skóry. W tym badaniu czujniki te zostały zintegrowane z bransoletką, która stale obserwuje mięśnie i ścięgna nadgarstka.
Bransoletka ma rozmiar smartwatcha, a jej wbudowana elektronika jest mniej więcej wielkości telefonu komórkowego. Według badaczy, generuje ona wyraźne i ciągłe obrazy nadgarstka, gdy ochotnik porusza palcami.
Łączenie obrazów z gestami
Kolejnym wyzwaniem było powiązanie tych czarno-białych obrazów z precyzyjnymi pozycjami dłoni. Palce i kciuk mają 22 stopnie swobody, czyli 22 różne sposoby ich wyprostowania lub pochylenia. Naukowcy zidentyfikowali na obrazach nadgarstka obszary odpowiadające każdemu z tych stopni: na przykład jeden region dostarcza informacji o wyproście kciuka, inny o ruchach palca wskazującego.
Aby ustalić te korelacje, ochotnik noszący bransoletkę wykonywał różne pozycje, podczas gdy kilka kamer rejestrowało jego gesty. Ponieważ tłumaczenie w czasie rzeczywistym nie jest możliwe do wykonania ręcznie, zespół wykorzystał algorytm sztucznej inteligencji, wyszkolony do rozpoznawania wzorców na obrazach i kojarzenia ich z etykietami. Obrazy zostały starannie opisane, a następnie algorytm przetestowano na nowym zestawie obrazów, co pozwoliło mu poprawnie przewidzieć odpowiadające im gesty.
Ośmiu ochotników o różnych rozmiarach dłoni i nadgarstków następnie założyło bransoletkę. Wykonywali oni różne pozycje i chwyty, w tym znaki 26 liter alfabetu amerykańskiego języka migowego, a także trzymali piłkę tenisową, plastikową butelkę, nożyczki lub ołówek. W każdym przypadku bransoletka śledziła i dokładnie przewidywała pozycję dłoni.
Demonstracje zastosowań
W demonstracjach zespół połączył bransoletkę bezprzewodowo z prostym programem komputerowym. Gesty szczypania i chwytania pozwalają powiększać, pomniejszać lub przesuwać obiekt na ekranie. Bransoletka posłużyła również jako bezprzewodowy pilot dla prostej, komercyjnej ręki robota: robot odtwarzał w czasie rzeczywistym ruchy ochotnika grającego na klawiaturze, odgrywając w ten sposób prostą melodię na pianinie. Ten sam robot odtworzył również stukanie palcami, aby zagrać w stołową grę w koszykówkę.
Naukowcy zebrali już dane ruchowe od wielu użytkowników, aby stworzyć obszerny zbiór danych. Według tekstu, mógłby on posłużyć do szkolenia robotów humanoidalnych w zadaniach wymagających zręczności, takich jak niektóre procedury chirurgiczne. Zhao planuje dalszą miniaturyzację sprzętu i trenowanie algorytmu na większej liczbie gestów i morfologii. « Uważamy, że jest to najbardziej zaawansowana metoda śledzenia precyzyjnych ruchów dłoni, dzięki obrazowaniu nadgarstka », twierdzi.
Prace te były częściowo wspierane przez MIT, National Institutes of Health, National Science Foundation, Departament Obrony USA oraz Singapore National Research Foundation, za pośrednictwem Singapore-MIT Alliance for Research and Technology.
