Инженеры из MIT разработали ультразвуковой браслет, способный отслеживать в реальном времени движения руки пользователя. В сочетании с алгоритмом искусственного интеллекта он преобразует изображения запястья в позиции пяти пальцев и ладони и может управлять роботом или виртуальным объектом. Работа была опубликована в журнале Nature Electronics.
Рука остается одной из самых сложных частей тела. Согласно тексту, она задействует 34 мышцы, 27 суставов и более 100 сухожилий и связок, что затрудняет ее воспроизведение роботами или в средах виртуальной реальности.
Существующие подходы имеют свои ограничения. Системы на основе камер непрактичны в развертывании и чувствительны к визуальным помехам, в то время как перчатки с датчиками могут мешать естественным движениям. Третий путь заключается в использовании электрических сигналов мышц предплечья, но эти сигналы легко искажаются фоновым шумом и не позволяют различать тонкие движения.
Команда Сюаньхэ Чжао, профессора машиностроения в MIT, решила выяснить, может ли ультразвуковая визуализация захватывать более тонкие и непрерывные движения. Устройство основано на ультразвуковых « стикерах » — миниатюрных версиях преобразователей, используемых в медицинской практике, в сочетании с гидрогелевым материалом, который может прилипать к коже. В этом исследовании эти датчики были интегрированы в браслет, который непрерывно наблюдает за мышцами и сухожилиями запястья.
Браслет имеет размер умных часов, а его встроенная электроника примерно размером с мобильный телефон. По словам исследователей, он производит четкие и непрерывные изображения запястья, когда доброволец двигает пальцами.
Связь изображений с жестами
Затем задача заключалась в том, чтобы связать эти черно-белые изображения с точными позициями руки. Пальцы и большой палец имеют 22 степени свободы, то есть 22 различных способа их разгибания или наклона. Исследователи идентифицировали на изображениях запястья зоны, соответствующие каждой из этих степеней: например, одна область информирует о разгибании большого пальца, другая — о движениях указательного пальца.
Чтобы установить эти соответствия, доброволец, носящий браслет, выполнял различные позиции, в то время как несколько камер записывали его жесты. Поскольку перевод в реальном времени невозможно выполнить вручную, команда прибегла к алгоритму искусственного интеллекта, обученному распознавать паттерны на изображениях и связывать их с метками. Изображения были тщательно аннотированы, затем алгоритм был протестирован на новом наборе изображений, и он смог правильно предсказать соответствующие жесты.
Восемь добровольцев с разным размером руки и запястья затем носили браслет. Они выполняли различные позы и захваты, включая знаки 26 букв американского языка жестов, а также держали теннисный мяч, пластиковую бутылку, ножницы или карандаш. В каждом случае браслет точно отслеживал и предсказывал положение руки.
Демонстрационные приложения
В демонстрациях команда подключила браслет по беспроводной связи к простой компьютерной программе. Жесты щипка и захвата позволяют увеличивать, уменьшать или перемещать объект на экране. Браслет также служил беспроводным пультом для простой коммерческой роботизированной руки: робот в реальном времени воспроизводит движения добровольца, играющего на клавиатуре, и таким образом исполняет простую мелодию на пианино. Тот же робот также воспроизводил постукивания пальцами для игры в настольный баскетбол.
Исследователи уже собрали данные о движениях от множества пользователей с целью создания обширного набора данных. Согласно тексту, он может быть использован для обучения гуманоидных роботов задачам, требующим ловкости, таким как некоторые хирургические процедуры. Чжао планирует еще больше миниатюризировать оборудование и обучить алгоритм на большем количестве жестов и морфологий. « Мы считаем, что это самый передовой метод отслеживания тонких движений руки благодаря визуализации запястья », — заявляет он.
Эта работа была частично поддержана MIT, Национальными институтами здравоохранения, Национальным научным фондом, Министерством обороны США и Национальным исследовательским фондом Сингапура через Сингапурско-Массачусетский альянс исследований и технологий.
