Des ingénieurs du MIT ont mis au point un bracelet à ultrasons capable de suivre en temps réel les mouvements de la main de son porteur. Associé à un algorithme d’intelligence artificielle, il traduit les images du poignet en positions des cinq doigts et de la paume, et peut commander un robot ou un objet virtuel. Les travaux ont été publiés dans la revue Nature Electronics.
La main reste l’une des parties les plus complexes du corps. Selon le texte, elle fait intervenir 34 muscles, 27 articulations et plus de 100 tendons et ligaments, ce qui rend difficile sa reproduction par des robots ou dans des environnements de réalité virtuelle.
Les approches existantes présentent chacune des limites. Les systèmes de caméras sont peu pratiques à déployer et sensibles aux obstacles visuels, tandis que les gants équipés de capteurs peuvent gêner les mouvements naturels. Une troisième voie consiste à exploiter les signaux électriques des muscles de l’avant-bras, mais ces signaux sont facilement perturbés par le bruit ambiant et ne permettent pas de distinguer les mouvements subtils.
L’équipe de Xuanhe Zhao, professeur de génie mécanique au MIT, a donc cherché à savoir si l’imagerie par ultrasons pouvait saisir des mouvements plus fins et continus. Le dispositif repose sur des « stickers » à ultrasons, des versions miniaturisées des transducteurs utilisés en cabinet médical, associées à un matériau hydrogel qui peut adhérer à la peau. Dans cette étude, ces capteurs ont été intégrés à un bracelet qui observe en continu les muscles et les tendons du poignet.
Le bracelet a la taille d’une montre connectée, et son électronique embarquée est d’environ la taille d’un téléphone portable. Selon les chercheurs, il produit des images claires et continues du poignet lorsque le volontaire bouge les doigts.
Relier les images aux gestes
Le défi consistait ensuite à associer ces images en noir et blanc à des positions précises de la main. Les doigts et le pouce disposent de 22 degrés de liberté, c’est-à-dire de 22 manières différentes de les étendre ou de les incliner. Les chercheurs ont identifié, dans les images du poignet, des zones correspondant à chacun de ces degrés : une région renseigne par exemple sur l’extension du pouce, une autre sur les mouvements de l’index.
Pour établir ces correspondances, un volontaire portant le bracelet exécutait différentes positions pendant que plusieurs caméras enregistraient ses gestes. Une traduction en temps réel étant impossible à réaliser manuellement, l’équipe a eu recours à un algorithme d’intelligence artificielle, entraîné à reconnaître des motifs dans les images et à les associer à des étiquettes. Les images ont été annotées avec soin, puis l’algorithme a été testé sur un nouveau jeu d’images, et il a permis de prédire correctement les gestes correspondants.
Huit volontaires aux tailles de main et de poignet différentes ont ensuite porté le bracelet. Ils ont réalisé diverses postures et saisies, notamment les signes des 26 lettres de l’alphabet de la langue des signes américaine, et ont tenu un ballon de tennis, une bouteille en plastique, une paire de ciseaux ou un crayon. Dans chaque cas, le bracelet a suivi et prédit avec précision la position de la main.
Des applications en démonstration
Dans les démonstrations, l’équipe a relié le bracelet, sans fil, à un programme informatique simple. Les gestes de pincement et de saisie permettent d’agrandir, de réduire ou de déplacer un objet à l’écran. Le bracelet a aussi servi de télécommande sans fil pour une main robotique commerciale simple : le robot reproduit en temps réel les mouvements d’un volontaire qui joue sur un clavier, et joue ainsi un air simple au piano. Le même robot a également reproduit des tapotements de doigts pour jouer à un jeu de basket de table.
Les chercheurs ont déjà collecté des données de mouvements auprès de nombreux utilisateurs, dans le but de constituer un vaste jeu de données. Selon le texte, celui-ci pourrait servir à entraîner des robots humanoïdes à des tâches de dextérité, comme certaines procédures chirurgicales. Zhao prévoit de miniaturiser davantage le matériel et d’entraîner l’algorithme sur un plus grand nombre de gestes et de morphologies. « Nous pensons qu’il s’agit de la méthode la plus avancée pour suivre les mouvements fins de la main, grâce à l’imagerie du poignet », affirme-t-il.
Ces travaux ont été soutenus en partie par le MIT, les National Institutes of Health, la National Science Foundation, le Département américain de la Défense et la Singapore National Research Foundation, par l’intermédiaire de la Singapore-MIT Alliance for Research and Technology.
