Тонкая манипуляция остается одним из главных препятствий, мешающим роботам выполнять широкий спектр повседневных задач. Чувство осязания могло бы стать ключом, но недостаток качественных данных сдерживал прогресс. Университетские лаборатории и стартапы теперь множат тактильные наборы данных и методы их использования.
В последние годы модели «зрение-язык-действие» (VLA) значительно улучшили способность роботов выполнять сложные задачи с неизвестными объектами и в незнакомой обстановке. Предварительно обученные на больших объемах изображений, видео и текстов, а затем дообученные на меньшем количестве теледемонстраций (управляемых человеком дистанционно), эти модели направляют роботов в таких задачах, как складывание белья, уборка гостиной или использование кухонной техники, на основе простого видеопотока и инструкций на естественном языке.
Однако роботы испытывают трудности с задачами, требующими высокой точности, такими как манипуляция деформируемыми материалами или мелкими предметами, подключение USB-кабеля или поворот ключа в замке. Отчасти причина в том, что модели VLA игнорируют один из основных источников информации, доступных людям в таких ситуациях: тактильную обратную связь.
Сложности интеграции осязания
«Большинство тонких манипуляций люди могут выполнять с закрытыми глазами, — утверждает Тревор Даррелл, профессор компьютерных наук Калифорнийского университета в Беркли. — Понимание силы, скольжения и точного захвата — это не то, что можно правильно сделать с помощью традиционных датчиков зрения».
Однако использование тактильных датчиков остается сложной задачей. Их данные имеют характеристики, сильно отличающиеся от изображений, на которых обычно обучаются модели VLA, а тактильные наборы данных сильно отстают по масштабу от интернет-данных, доступных многим визуальным и языковым наборам. Поэтому команда Даррелла сначала предварительно обучила модель на существующих данных, а затем наделила ее чувством осязания с помощью специализированного подмодуля, обученного на 100 часах высококачественных тактильных данных, собранных специально. Они включают демонстрации обычных действий, таких как вытирание, захват, скручивание или наливание, выполненные с более чем 200 различными бытовыми предметами.
Проблема также в скорости. Цель состоит в том, чтобы робот корректировал захват в реальном времени с помощью тактильного сигнала, а это требует времени реакции короче, чем у большинства моделей «зрение-язык». Поэтому команда разделила систему на подмодули, называемые «экспертами»: эксперт по действиям вырабатывает планы движений, в то время как тактильный эксперт, работающий в четыре раза быстрее, корректирует этот план в реальном времени. После дообучения примерно на 100 теледемонстрациях относительно сложных задач, таких как вкручивание лампочки, нанесение зубной пасты на щетку или перенос яйца с одного подноса на другой, модель демонстрирует средний уровень успеха 65% по 12 задачам, что почти вдвое выше, чем у лучшей модели VLA.
Вопрос разнообразия
Но, признает Тревор Даррелл, его данные получены с одного типа роботизированного оборудования. Роботизированные руки варьируются от полностью сочлененных пятипалых моделей до простых захватов, а тактильные датчики могут основываться на совершенно разных физических принципах — от измерения изменений сопротивления до записи изображений деформируемого гелевого подушечка. По словам Чэнбо Юаня, магистранта Пекинского университета Цинхуа, это делает большинство исследований в области тактильного ИИ зависимыми от конкретного датчика и затрудняет обмен между командами.
Юань собрал более 3000 часов тактильных роботизированных данных из общедоступных наборов, охватывающих 21 тип датчиков и различные роботизированные воплощения. Он называет источником вдохновения коллаборацию Open X-Embodiment, объединившую данные многих роботов. Его команда разработала модель, не зависящую от оборудования: она преобразует выходные данные каждого датчика в общий формат и сопоставляет их с помеченными позициями на модели человеческой руки. Эта модель значительно превзошла базовую, в том числе на оборудовании, с которым никогда не сталкивалась. Юань объясняет этот результат приобретением «своего рода здравого смысла тактильных знаний» благодаря обучению на столь разнообразных устройствах.
Масштабирование
Несмотря на эти результаты, Юань считает, что тактильных данных нужно больше. Его группа возглавляет коллаборацию 80 институтов, направленную на сбор более обширного набора теледемонстраций по стандартизированной методике сбора и обработки. Тем временем Шанхайский университет Фудань и его спин-офф NeoteAI уже создали тактильный набор данных на порядок больше предыдущих усилий. С помощью проприетарного датчика, установленного на различных роборуках, и ручного захвата, управляемого людьми, они собрали более 30 000 часов демонстраций с синхронизированными визуальными и тактильными данными.
Эти данные использовались для обучения модели, которая не просто реагирует на прикосновение: она также предсказывает, что должен чувствовать робот, чтобы направлять и оценивать свои действия, что значительно повышает производительность. Шуньлинь Лу, постдоктор Университета Фудань и технический директор (CTO) NeoteAI, видит в этом четкое доказательство того, что доступ к крупномасштабным и разнообразным тактильным данным приводит к значительному росту производительности.
Другой подход заключается в использовании уже собранных огромных объемов визуальных роботизированных данных. Исследователи из Университета Южной Калифорнии в Лос-Анджелесе опубликовали модель, способную выводить тактильную информацию из изображений, обученную на более чем 2700 демонстрациях повседневного манипулирования с помощью ручного захвата, который записывает как тактильные данные, так и изображения. Модель связывает изображения контакта между захватом и объектами с давлением, ощущаемым в этот момент, что дает даже роботам без тактильных датчиков рудиментарное чувство осязания.
Остается неясным, какой объем тактильных данных потребуется для прорыва в самых тонких задачах. До сих пор, отмечает Чэнбо Юань, основным вкладом осязания в основном было повышение эффективности роботов в уже доступных задачах, таких как захват и перемещение объектов, и он подозревает, что для решения действительно невозможных без осязания проблем потребуются новые алгоритмы. Лун Чэн из Китайской академии наук в Пекине резюмирует сложность: «Данные — это хорошо. Но то, как их правильно использовать, — это другой вопрос».
Шуньлинь Лу, со своей стороны, называет цифру около 100 000 часов данных, собранных в реальных и разнообразных условиях, а не в лаборатории, для раскрытия новых способностей. «Я думаю, что тактильный интеллект — это фактически следующий шаг для физического ИИ», — утверждает он.
