Precyzyjna manipulacja wciąż pozostaje jedną z głównych przeszkód uniemożliwiających robotom wykonywanie szerokiego zakresu codziennych zadań. Zmysł dotyku mógłby być kluczem, ale brak wysokiej jakości danych spowolnił postępy. Laboratoria uniwersyteckie i start-upy mnożą obecnie zbiory danych dotykowych oraz techniki ich wykorzystania.
W ostatnich latach modele wizja-język-działanie (VLA) znacząco poprawiły zdolność robotów do wykonywania złożonych zadań obejmujących nieznane obiekty i środowiska. Wstępnie trenowane na dużych ilościach obrazów, filmów i tekstów, a następnie dostrajane (fine-tuning) na mniejszej liczbie zdalnie sterowanych demonstracji, czyli sterowanych zdalnie przez człowieka, modele te kierują robotami w zadaniach takich jak składanie prania, sprzątanie salonu czy korzystanie z urządzeń kuchennych, na podstawie prostego strumienia wideo i instrukcji w języku naturalnym.
Roboty mają jednak trudności z zadaniami wymagającymi dużej precyzji, takimi jak manipulowanie materiałami odkształcalnymi lub małymi przedmiotami, podłączanie kabla USB czy przekręcanie klucza w zamku. Przyczyną jest częściowo fakt, że modele VLA ignorują jedno z głównych źródeł informacji, jakie mają ludzie w takich sytuacjach: sprzężenie zwrotne dotykowe.
Trudny do zintegrowania dotyk
« Większość zręcznych manipulacji może być wykonana przez ludzi z zamkniętymi oczami » – twierdzi Trevor Darrell, profesor informatyki na Uniwersytecie Kalifornijskim w Berkeley. « Zrozumienie siły, poślizgu i precyzyjnego chwytu nie jest czymś, co można poprawnie zrobić za pomocą tradycyjnych czujników wizyjnych. »
Wykorzystanie czujników dotykowych pozostaje jednak trudne. Ich dane mają bardzo różne charakterystyki od obrazów, na których zwykle szkolone są modele VLA, a zbiory danych dotykowych są daleko w tyle za skalą internetu, z której korzysta wiele zbiorów danych wizualnych i językowych. Zespół Darrella najpierw wstępnie wytrenował model na istniejących danych, a następnie wyposażył go w zmysł dotyku dzięki wyspecjalizowanemu podmodelowi, wytrenowanemu na 100 godzinach wysokiej jakości danych dotykowych, zebranych specjalnie w tym celu. Obejmują one demonstracje typowych czynności, takich jak wycieranie, chwytanie, skręcanie czy nalewanie, wykonane z użyciem ponad 200 różnych przedmiotów domowych.
Wyzwaniem jest także szybkość. Celem jest, aby robot korygował swój chwyt w czasie rzeczywistym dzięki sygnałowi dotykowemu, co wymaga krótszych czasów reakcji niż te, z jakimi działają większość modeli wizja-język. Zespół podzielił więc system na podmodele zwane « ekspertami »: ekspert od działań generuje plany ruchu, podczas gdy ekspert dotykowy, działający cztery razy szybciej, dostosowuje ten plan w czasie rzeczywistym. Po dostrojeniu na około 100 zdalnie sterowanych demonstracjach stosunkowo złożonych zadań, takich jak wkręcanie żarówki, nakładanie pasty do zębów na szczoteczkę czy przenoszenie jajka z jednej tacy na drugą, model osiąga średni wskaźnik sukcesu 65% w 12 zadaniach, czyli prawie dwukrotnie więcej niż najlepszy model VLA.
Kwestia różnorodności
Ale, przyznaje Trevor Darrell, jego dane pochodzą z jednego sprzętu robotycznego. Robotyczne dłonie obejmują modele z pięcioma w pełni przegubowymi palcami i proste chwytaki, a czujniki dotykowe mogą opierać się na bardzo różnych zasadach fizycznych, od pomiaru zmian rezystancji po rejestrowanie obrazów z poduszki z miękkiego żelu, który się odkształca. Według Chengbo Yuana, studenta studiów magisterskich na Uniwersytecie Tsinghua w Pekinie, sprawia to, że większość badań nad AI dotykową jest zależna od konkretnego czujnika i trudna do dzielenia między zespołami.
Yuan zebrał ponad 3000 godzin robotycznych danych dotykowych z publicznych zbiorów danych, obejmujących 21 typów czujników i różne robotyczne wcielenia. Jako źródło inspiracji wskazuje współpracę Open X-Embodiment, która zgromadziła dane z wielu robotów. Jego zespół zaprojektował model niezależny od sprzętu: konwertuje on dane wyjściowe z każdego czujnika do wspólnego formatu i dopasowuje je do oznaczonych pozycji na modelu ludzkiej dłoni. Model ten wyraźnie przewyższył model referencyjny, także na sprzęcie, którego nigdy wcześniej nie napotkał. Yuan przypisuje ten wynik nabyciu « swego rodzaju zdrowego rozsądku wiedzy dotykowej » dzięki treningowi na tak zróżnicowanych urządzeniach.
Zmiana skali
Pomimo tych wyników Yuan uważa, że potrzeba więcej danych dotykowych. Jego grupa prowadzi współpracę 80 instytucji, której celem jest zebranie większego zbioru zdalnie sterowanych demonstracji, zgodnie ze standardową metodą zbierania i przetwarzania. W międzyczasie Uniwersytet Fudan w Szanghaju i jego spin-off NeoteAI wyprodukowały już zbiór danych dotykowych o rząd wielkości większy niż poprzednie wysiłki. Dzięki opatentowanemu czujnikowi zamontowanemu na różnych robotycznych ramionach i ręcznemu chwytakowi obsługiwanemu przez ludzi, zebrali ponad 30 000 godzin demonstracji ze zsynchronizowanymi danymi wizualnymi i dotykowymi.
Dane te posłużyły do wytrenowania modelu, który nie tylko reaguje na dotyk: przewiduje także, co robot powinien odczuwać, aby kierować i oceniać swoje działania, co znacząco poprawia wydajność. Shunlin Lu, badacz podoktorancki na Uniwersytecie Fudan i dyrektor techniczny (CTO) NeoteAI, widzi w tym wyraźny dowód, że dostęp do danych dotykowych na dużą skalę i o dużej różnorodności prowadzi do znaczących wzrostów wydajności.
Innym podejściem jest wykorzystanie ogromnych ilości danych wizualnych z robotów już zebranych. Badacze z University of Southern California w Los Angeles opublikowali model zdolny do wnioskowania informacji dotykowych z obrazów, wytrenowany na ponad 2700 demonstracjach codziennej manipulacji wykonanych za pomocą ręcznego chwytaka, który rejestruje zarówno dane dotykowe, jak i obrazy. Model kojarzy obrazy kontaktu między chwytakiem a obiektami z naciskiem odczuwanym w danym momencie, co daje nawet robotom bez czujników dotykowych podstawowy zmysł dotyku.
Nie jest pewne, ile danych dotykowych będzie potrzebne do przełomu w najdelikatniejszych zadaniach. Jak dotąd, zauważa Chengbo Yuan, główny wkład dotyku polegał głównie na zwiększeniu efektywności robotów w zadaniach już dla nich dostępnych, takich jak chwytanie i umieszczanie przedmiotów, i podejrzewa, że potrzebne będą nowe algorytmy, aby podejść do problemów naprawdę niemożliwych bez dotyku. Long Cheng z Chińskiej Akademii Nauk w Pekinie podsumowuje trudność: « Dane są dobre. Ale sposób ich właściwego wykorzystania to inna kwestia. »
Shunlin Lu z kolei podaje liczbę bliską 100 000 godzin danych, zebranych w rzeczywistych i zróżnicowanych środowiskach, a nie w laboratorium, aby odblokować nowe możliwości. « Myślę, że inteligencja dotykowa jest w rzeczywistości kolejnym krokiem dla fizycznej AI » – twierdzi.
