Degli ingegneri del MIT hanno sviluppato un braccialetto a ultrasuoni in grado di seguire in tempo reale i movimenti della mano di chi lo indossa. Associato a un algoritmo di intelligenza artificiale, traduce le immagini del polso nelle posizioni delle cinque dita e del palmo, e può comandare un robot o un oggetto virtuale. Il lavoro è stato pubblicato sulla rivista Nature Electronics.
La mano rimane una delle parti più complesse del corpo. Secondo il testo, coinvolge 34 muscoli, 27 articolazioni e oltre 100 tendini e legamenti, il che rende difficile la sua riproduzione da parte di robot o in ambienti di realtà virtuale.
Gli approcci esistenti presentano ciascuno dei limiti. I sistemi di telecamere sono poco pratici da implementare e sensibili agli ostacoli visivi, mentre i guanti dotati di sensori possono ostacolare i movimenti naturali. Una terza via consiste nello sfruttare i segnali elettrici dei muscoli dell’avambraccio, ma questi segnali sono facilmente disturbati dal rumore ambientale e non permettono di distinguere i movimenti sottili.
Il team di Xuanhe Zhao, professore di ingegneria meccanica al MIT, ha quindi cercato di capire se l’imaging a ultrasuoni potesse catturare movimenti più fini e continui. Il dispositivo si basa su « adesivi » a ultrasuoni, versioni miniaturizzate dei trasduttori usati negli studi medici, associate a un materiale idrogel che può aderire alla pelle. In questo studio, questi sensori sono stati integrati in un braccialetto che osserva continuamente i muscoli e i tendini del polso.
Il braccialetto ha le dimensioni di un orologio intelligente, e la sua elettronica integrata è all’incirca delle dimensioni di un telefono cellulare. Secondo i ricercatori, produce immagini chiare e continue del polso quando il volontario muove le dita.
Collegare le immagini ai gesti
La sfida successiva consisteva nell’associare queste immagini in bianco e nero a posizioni precise della mano. Le dita e il pollice dispongono di 22 gradi di libertà, cioè di 22 modi diversi di estenderli o inclinarli. I ricercatori hanno identificato, nelle immagini del polso, delle zone corrispondenti a ciascuno di questi gradi: una regione fornisce informazioni, ad esempio, sull’estensione del pollice, un’altra sui movimenti dell’indice.
Per stabilire queste corrispondenze, un volontario che indossava il braccialetto eseguiva diverse posizioni mentre diverse telecamere registravano i suoi gesti. Una traduzione in tempo reale essendo impossibile da realizzare manualmente, il team ha fatto ricorso a un algoritmo di intelligenza artificiale, addestrato a riconoscere schemi nelle immagini e ad associarli a etichette. Le immagini sono state annotate con cura, poi l’algoritmo è stato testato su un nuovo set di immagini, e ha permesso di prevedere correttamente i gesti corrispondenti.
Otto volontari con dimensioni di mano e polso diverse hanno poi indossato il braccialetto. Hanno eseguito varie posture e prese, inclusi i segni delle 26 lettere dell’alfabeto della lingua dei segni americana, e hanno tenuto una pallina da tennis, una bottiglia di plastica, un paio di forbici o una matita. In ogni caso, il braccialetto ha seguito e previsto con precisione la posizione della mano.
Applicazioni in dimostrazione
Nelle dimostrazioni, il team ha collegato il braccialetto, senza fili, a un semplice programma informatico. I gesti di pizzicamento e di presa permettono di ingrandire, ridurre o spostare un oggetto sullo schermo. Il braccialetto ha anche funzionato da telecomando senza fili per una semplice mano robotica commerciale: il robot riproduce in tempo reale i movimenti di un volontario che suona una tastiera, suonando così una semplice melodia al pianoforte. Lo stesso robot ha anche riprodotto dei picchiettamenti di dita per giocare a un gioco di basket da tavolo.
I ricercatori hanno già raccolto dati sui movimenti da numerosi utenti, con l’obiettivo di costituire un vasto set di dati. Secondo il testo, questo potrebbe servire ad addestrare robot umanoidi a compiti di destrezza, come alcune procedure chirurgiche. Zhao prevede di miniaturizzare ulteriormente l’hardware e di addestrare l’algoritmo su un maggior numero di gesti e morfologie. « Pensiamo che questo sia il metodo più avanzato per seguire i movimenti fini della mano, grazie all’imaging del polso », afferma.
Questo lavoro è stato sostenuto in parte dal MIT, dai National Institutes of Health, dalla National Science Foundation, dal Dipartimento della Difesa degli Stati Uniti e dalla Singapore National Research Foundation, attraverso la Singapore-MIT Alliance for Research and Technology.
