La manipulation fine reste l’un des principaux obstacles qui empêchent les robots de mener à bien un large éventail de tâches du quotidien. Le sens du toucher pourrait être la clé, mais le manque de données de qualité a freiné les progrès. Laboratoires universitaires et start-up multiplient désormais les jeux de données tactiles et les techniques pour les exploiter.
- Les robots peinent sur les tâches fines, faute de sens du toucher.
- Les données tactiles manquent et diffèrent des images utilisées pour entraîner les modèles.
- Un modèle indépendant du matériel progresse, mais la diversité des capteurs freine le partage des recherches.
- L’université Fudan et NeoteAI ont recueilli plus de 30 000 heures de données tactiles synchronisées.
Ces dernières années, les modèles vision-langage-action (VLA) ont nettement amélioré la capacité des robots à accomplir des tâches complexes impliquant des objets et des environnements inconnus. Pré-entraînés sur de grandes quantités d’images, de vidéos et de textes, puis affinés (fine-tuning) sur un nombre plus réduit de démonstrations téléopérées, c’est-à-dire pilotées à distance par un humain, ces modèles guident les robots dans des tâches comme plier du linge, ranger un salon ou utiliser des appareils de cuisine, à partir d’un simple flux vidéo et d’instructions en langage naturel.
Les robots peinent toutefois sur les tâches exigeant une grande finesse, comme manipuler des matériaux déformables ou de petits objets, brancher un câble USB ou tourner une clé dans une serrure. En cause, en partie, le fait que les VLA ignorent l’une des principales sources d’information dont disposent les humains dans ces situations : le retour tactile.
Un toucher difficile à intégrer
« La plupart des manipulations habiles peuvent être réalisées par des humains les yeux fermés », affirme Trevor Darrell, professeur d’informatique à l’université de Californie à Berkeley. « Comprendre la force, le glissement et la préhension précise n’est pas quelque chose que l’on peut faire correctement avec les capteurs de vision traditionnels. »
Exploiter les capteurs tactiles reste pourtant délicat. Leurs données ont des caractéristiques très différentes de celles des images sur lesquelles les VLA sont habituellement entraînés, et les jeux de données tactiles sont loin derrière l’échelle d’internet dont bénéficient de nombreux jeux de données visuels et linguistiques. L’équipe de Darrell a donc d’abord pré-entraîné un modèle sur des données existantes, avant de lui donner le sens du toucher grâce à un sous-modèle spécialisé, entraîné sur 100 heures de données tactiles de haute qualité, collectées spécifiquement. Elles comprennent des démonstrations d’actions courantes comme essuyer, saisir, tordre ou verser, réalisées avec plus de 200 objets domestiques différents.
Le défi est aussi celui de la rapidité. L’objectif est que le robot corrige sa prise en temps réel grâce au signal tactile, or cela exige des temps de réaction plus courts que ceux auxquels fonctionnent la plupart des modèles vision-langage. L’équipe a donc séparé le système en sous-modèles appelés « experts » : un expert en actions produit les plans de mouvement, tandis que l’expert tactile, qui fonctionne quatre fois plus vite, ajuste ce plan en temps réel. Après un affinage sur environ 100 démonstrations téléopérées de tâches relativement complexes, comme visser une ampoule, appliquer du dentifrice sur une brosse à dents ou transférer un œuf d’un plateau à un autre, le modèle affiche un taux de réussite moyen de 65 % sur 12 tâches, soit presque le double du meilleur modèle VLA.
Une question de diversité
Mais, reconnaît Trevor Darrell, ses données proviennent d’un seul matériel robotique. Les mains robotiques vont des modèles à cinq doigts entièrement articulés aux simples pinces, et les capteurs tactiles peuvent reposer sur des principes physiques très différents, de la mesure de variations de résistance à l’enregistrement d’images d’un coussinet de gel souple qui se déforme. Selon Chengbo Yuan, étudiant en master à l’université Tsinghua, à Pékin, cela rend la plupart des recherches en IA tactile dépendantes d’un capteur précis, et difficiles à partager entre équipes.
Yuan a rassemblé plus de 3 000 heures de données robotiques tactiles issues de jeux de données publics, couvrant 21 types de capteurs et des incarnations robotiques variées. Il cite comme source d’inspiration la collaboration Open X-Embodiment, qui a réuni des données de nombreux robots. Son équipe a conçu un modèle indépendant du matériel : il convertit la sortie de chaque capteur dans un format commun et la fait correspondre à des positions étiquetées sur un modèle de main humaine. Ce modèle a nettement surpassé un modèle de référence, y compris sur du matériel qu’il n’avait jamais rencontré. Yuan attribue ce résultat à l’acquisition de « une sorte de bon sens des connaissances tactiles », grâce à un entraînement sur des dispositifs aussi variés.
Changer d’échelle
Malgré ces résultats, Yuan juge qu’il faut davantage de données tactiles. Son groupe pilote une collaboration de 80 institutions visant à rassembler un ensemble plus vaste de démonstrations téléopérées, selon une méthode standardisée de collecte et de traitement. En attendant, l’université Fudan, à Shanghai, et sa spin-off NeoteAI ont déjà produit un jeu de données tactiles d’un ordre de grandeur supérieur aux efforts précédents. Grâce à un capteur propriétaire fixé sur différents bras robotiques et à une pince manuelle actionnée par des humains, ils ont recueilli plus de 30 000 heures de démonstrations, avec des données visuelles et tactiles synchronisées.
Ces données ont servi à entraîner un modèle qui ne se contente pas de réagir au toucher : il prédit aussi ce que le robot devrait ressentir, afin de guider et d’évaluer ses actions, ce qui améliore nettement les performances. Shunlin Lu, chercheur postdoctoral à l’université Fudan et directeur technique (CTO) de NeoteAI, y voit la preuve claire qu’un accès à des données tactiles à grande échelle et diversifiées conduit à des gains de performance importants.
Une autre piste consiste à s’appuyer sur les vastes volumes de données visuelles robotiques déjà collectés. Des chercheurs de l’University of Southern California, à Los Angeles, ont publié un modèle capable d’inférer des informations tactiles à partir d’images, entraîné sur plus de 2 700 démonstrations de manipulation quotidienne réalisées avec une pince manuelle qui enregistre à la fois des données tactiles et des images. Le modèle associe des images du contact entre la pince et les objets à la pression ressentie à cet instant, ce qui donne même aux robots sans capteurs tactiles un sens du toucher rudimentaire.
Il reste incertain de savoir quelle quantité de données tactiles sera nécessaire pour des percées dans les tâches les plus fines. Jusqu’ici, observe Chengbo Yuan, l’apport principal du toucher a surtout permis de rendre les robots plus efficaces sur des tâches déjà accessibles, comme saisir et placer des objets, et il soupçonne que de nouveaux algorithmes seront nécessaires pour aborder les problèmes réellement impossibles sans toucher. Long Cheng, de l’Académie chinoise des sciences à Pékin, résume la difficulté : « Les données, c’est bien. Mais la manière de les utiliser correctement est une autre question. »
Shunlin Lu avance, de son côté, un chiffre proche de 100 000 heures de données, collectées dans des environnements réels et variés plutôt qu’en laboratoire, pour débloquer de nouvelles capacités. « Je pense que l’intelligence tactile est en fait la prochaine étape pour l’IA physique », affirme-t-il.
