Fijne manipulatie blijft een van de grootste obstakels die robots ervan weerhouden een breed scala aan dagelijkse taken uit te voeren. Het gevoel van aanraking zou de sleutel kunnen zijn, maar een gebrek aan kwaliteitsdata heeft de vooruitgang geremd. Universitaire laboratoria en start-ups vermenigvuldigen nu tactiele datasets en technieken om ze te benutten.
De afgelopen jaren hebben de vision-language-action (VLA)-modellen het vermogen van robots om complexe taken uit te voeren met onbekende objecten en omgevingen aanzienlijk verbeterd. Voorgetraind op grote hoeveelheden beelden, video’s en tekst, en vervolgens verfijnd (fine-tuning) op een kleiner aantal teleoperated demonstrations, dat wil zeggen op afstand bestuurd door een mens, leiden deze modellen robots bij taken zoals het vouwen van wasgoed, het opruimen van een woonkamer of het gebruiken van keukenapparaten, op basis van een eenvoudige videostream en instructies in natuurlijke taal.
Robots hebben echter moeite met taken die grote fijngevoeligheid vereisen, zoals het manipuleren van vervormbare materialen of kleine objecten, het aansluiten van een USB-kabel of het draaien van een sleutel in een slot. Dit komt deels doordat VLA-modellen een van de belangrijkste informatiebronnen die mensen in dergelijke situaties hebben, negeren: de tactiele feedback.
Een moeilijk te integreren aanraking
« De meeste vaardige manipulaties kunnen door mensen met gesloten ogen worden uitgevoerd », zegt Trevor Darrell, hoogleraar informatica aan de Universiteit van Californië in Berkeley. « Het begrijpen van kracht, slippen en precies grijpen is niet iets dat goed kan worden gedaan met traditionele visiesensoren. »
Het benutten van tactiele sensoren blijft echter lastig. Hun gegevens hebben zeer verschillende kenmerken dan de beelden waarop VLA-modellen gewoonlijk worden getraind, en tactiele datasets zijn ver achter op de schaal van het internet waar veel visuele en taaldatasets van profiteren. Het team van Darrell heeft daarom eerst een model voorgetraind op bestaande gegevens, voordat het het gevoel van aanraking gaf dankzij een gespecialiseerd submodel, getraind op 100 uur aan hoogwaardige tactiele gegevens, specifiek verzameld. Deze omvatten demonstraties van veelvoorkomende handelingen zoals vegen, grijpen, draaien of gieten, uitgevoerd met meer dan 200 verschillende huishoudelijke objecten.
De uitdaging is ook die van snelheid. Het doel is dat de robot zijn grip in realtime corrigeert dankzij het tactiele signaal, maar dit vereist kortere reactietijden dan waarop de meeste vision-language-modellen werken. Het team heeft daarom het systeem gesplitst in submodellen genaamd « experts »: een actie-expert produceert de bewegingsplannen, terwijl de tactiele expert, die vier keer sneller werkt, dit plan in realtime aanpast. Na verfijning op ongeveer 100 teleoperated demonstrations van relatief complexe taken, zoals het indraaien van een lamp, het aanbrengen van tandpasta op een tandenborstel of het overbrengen van een ei van het ene naar het andere plateau, behaalt het model een gemiddeld slagingspercentage van 65% op 12 taken, bijna het dubbele van het beste VLA-model.
Een kwestie van diversiteit
Maar, erkent Trevor Darrell, zijn gegevens komen van een enkele robotische hardware. Robotische handen variëren van volledig gearticuleerde vijfvingermodellen tot eenvoudige grijpers, en tactiele sensoren kunnen gebaseerd zijn op zeer verschillende fysische principes, van het meten van variaties in weerstand tot het vastleggen van beelden van een zacht gelkussen dat vervormt. Volgens Chengbo Yuan, masterstudent aan de Tsinghua Universiteit in Peking, maakt dit het meeste onderzoek naar tactiele AI afhankelijk van een specifieke sensor, en moeilijk te delen tussen teams.
Yuan heeft meer dan 3.000 uur aan robotische tactiele gegevens verzameld uit openbare datasets, die 21 sensortypes en diverse robotische incarnaties omvatten. Hij noemt als inspiratiebron de Open X-Embodiment-samenwerking, die gegevens van vele robots samenbracht. Zijn team heeft een hardware-onafhankelijk model ontworpen: het zet de output van elke sensor om in een gemeenschappelijk formaat en koppelt deze aan gelabelde posities op een model van een menselijke hand. Dit model overtrof duidelijk een benchmark-model, ook op hardware die het nog nooit had gezien. Yuan schrijft dit resultaat toe aan het verwerven van « een soort gezond verstand van tactiele kennis », dankzij training op zulke diverse apparaten.
Opschalen
Ondanks deze resultaten vindt Yuan dat er meer tactiele gegevens nodig zijn. Zijn groep leidt een samenwerking van 80 instellingen die gericht is op het verzamelen van een grotere set teleoperated demonstrations, volgens een gestandaardiseerde methode van verzamelen en verwerken. In afwachting daarvan hebben de Fudan Universiteit in Shanghai en haar spin-off NeoteAI al een tactiele dataset geproduceerd die een orde van grootte groter is dan eerdere inspanningen. Dankzij een propriëtaire sensor gemonteerd op verschillende robotarmen en een handmatige grijper bediend door mensen, hebben ze meer dan 30.000 uur aan demonstraties verzameld, met gesynchroniseerde visuele en tactiele gegevens.
Deze gegevens zijn gebruikt om een model te trainen dat niet alleen reageert op aanraking: het voorspelt ook wat de robot zou moeten voelen, om zijn acties te sturen en te evalueren, wat de prestaties aanzienlijk verbetert. Shunlin Lu, postdoctoraal onderzoeker aan de Fudan Universiteit en technisch directeur (CTO) van NeoteAI, ziet hierin duidelijk bewijs dat toegang tot grootschalige en diverse tactiele gegevens leidt tot aanzienlijke prestatieverbeteringen.
Een andere aanpak is het gebruik maken van de grote hoeveelheden robotische visuele gegevens die al zijn verzameld. Onderzoekers van de University of Southern California in Los Angeles hebben een model gepubliceerd dat tactiele informatie kan afleiden uit beelden, getraind op meer dan 2.700 demonstraties van dagelijkse manipulatie uitgevoerd met een handmatige grijper die zowel tactiele gegevens als beelden registreert. Het model koppelt beelden van het contact tussen de grijper en objecten aan de op dat moment gevoelde druk, wat zelfs robots zonder tactiele sensoren een rudimentair gevoel van aanraking geeft.
Het blijft onzeker hoeveel tactiele gegevens nodig zullen zijn voor doorbraken in de meest delicate taken. Tot nu toe, merkt Chengbo Yuan op, heeft de belangrijkste bijdrage van aanraking vooral robots efficiënter gemaakt in taken die al toegankelijk waren, zoals het grijpen en plaatsen van objecten, en hij vermoedt dat nieuwe algoritmen nodig zullen zijn om de problemen aan te pakken die echt onmogelijk zijn zonder aanraking. Long Cheng van de Chinese Academie van Wetenschappen in Peking vat de moeilijkheid samen: « Gegevens zijn goed. Maar hoe ze correct te gebruiken is een andere kwestie. »
Shunlin Lu stelt, voor zijn part, een cijfer voor van ongeveer 100.000 uur aan gegevens, verzameld in reële en gevarieerde omgevingen in plaats van in een laboratorium, om nieuwe capaciteiten te ontgrendelen. « Ik denk dat tactiele intelligentie eigenlijk de volgende stap is voor fysieke AI », zegt hij.
