Engenheiros do MIT desenvolveram uma pulseira de ultrassons capaz de seguir em tempo real os movimentos da mão do seu utilizador. Associado a um algoritmo de inteligência artificial, traduz as imagens do pulso nas posições dos cinco dedos e da palma, e pode comandar um robô ou um objeto virtual. O trabalho foi publicado na revista Nature Electronics.
A mão continua a ser uma das partes mais complexas do corpo. Segundo o texto, envolve 34 músculos, 27 articulações e mais de 100 tendões e ligamentos, o que torna difícil a sua reprodução por robôs ou em ambientes de realidade virtual.
As abordagens existentes apresentam cada uma as suas limitações. Os sistemas de câmaras são pouco práticos de implementar e sensíveis a obstáculos visuais, enquanto as luvas equipadas com sensores podem interferir com os movimentos naturais. Uma terceira via consiste em explorar os sinais elétricos dos músculos do antebraço, mas estes sinais são facilmente perturbados pelo ruído ambiente e não permitem distinguir movimentos subtis.
A equipa de Xuanhe Zhao, professor de engenharia mecânica no MIT, procurou então saber se a imagiologia por ultrassons poderia capturar movimentos mais finos e contínuos. O dispositivo baseia-se em « adesivos » de ultrassons, versões miniaturizadas dos transdutores usados em consultórios médicos, associadas a um material de hidrogel que pode aderir à pele. Neste estudo, estes sensores foram integrados numa pulseira que observa continuamente os músculos e tendões do pulso.
A pulseira tem o tamanho de um relógio inteligente, e a sua eletrónica embutida tem aproximadamente o tamanho de um telemóvel. Segundo os investigadores, produz imagens claras e contínuas do pulso quando o voluntário move os dedos.
Ligar as imagens aos gestos
O desafio consistiu depois em associar estas imagens a preto e branco a posições precisas da mão. Os dedos e o polegar dispõem de 22 graus de liberdade, ou seja, 22 formas diferentes de os estender ou inclinar. Os investigadores identificaram, nas imagens do pulso, zonas correspondentes a cada um destes graus: uma região informa, por exemplo, sobre a extensão do polegar, outra sobre os movimentos do indicador.
Para estabelecer estas correspondências, um voluntário a usar a pulseira executava diferentes posições enquanto várias câmaras registavam os seus gestos. Sendo impossível realizar uma tradução em tempo real manualmente, a equipa recorreu a um algoritmo de inteligência artificial, treinado para reconhecer padrões nas imagens e associá-los a etiquetas. As imagens foram anotadas com cuidado, depois o algoritmo foi testado num novo conjunto de imagens, e permitiu prever corretamente os gestos correspondentes.
Oito voluntários com tamanhos de mão e pulso diferentes usaram depois a pulseira. Realizaram várias posturas e preensões, incluindo os sinais das 26 letras do alfabeto da língua gestual americana, e seguraram uma bola de ténis, uma garrafa de plástico, uma tesoura ou um lápis. Em cada caso, a pulseira seguiu e previu com precisão a posição da mão.
Aplicações em demonstração
Nas demonstrações, a equipa ligou a pulseira, sem fios, a um programa informático simples. Os gestos de pinça e preensão permitem ampliar, reduzir ou mover um objeto no ecrã. A pulseira também serviu de telecomando sem fios para uma mão robótica comercial simples: o robô reproduz em tempo real os movimentos de um voluntário que toca num teclado, tocando assim uma melodia simples ao piano. O mesmo robô também reproduziu batidas de dedos para jogar um jogo de basquetebol de mesa.
Os investigadores já recolheram dados de movimentos de muitos utilizadores, com o objetivo de constituir um vasto conjunto de dados. Segundo o texto, este poderia servir para treinar robôs humanoides para tarefas de destreza, como certos procedimentos cirúrgicos. Zhao planeia miniaturizar ainda mais o hardware e treinar o algoritmo com um maior número de gestos e morfologias. « Acreditamos que este é o método mais avançado para seguir os movimentos finos da mão, graças à imagiologia do pulso », afirma.
Este trabalho foi apoiado em parte pelo MIT, pelos National Institutes of Health, pela National Science Foundation, pelo Departamento de Defesa dos EUA e pela Singapore National Research Foundation, através da Singapore-MIT Alliance for Research and Technology.
