La manipolazione fine rimane uno dei principali ostacoli che impediscono ai robot di portare a termine una vasta gamma di compiti quotidiani. Il senso del tatto potrebbe essere la chiave, ma la mancanza di dati di qualità ha frenato i progressi. I laboratori universitari e le start-up stanno ora moltiplicando i dataset tattili e le tecniche per sfruttarli.
- I robot faticano nei compiti fini perché ignorano il feedback tattile.
- I dataset tattili restano scarsi, e i sensori variano molto tra un hardware e l’altro.
- Un esperto tattile rapido e un modello indipendente dall’hardware migliorano le prestazioni.
- Gli esperti chiedono più dati e nuovi algoritmi per i compiti davvero difficili.
Negli ultimi anni, i modelli visione-linguaggio-azione (VLA) hanno notevolmente migliorato la capacità dei robot di compiere compiti complessi che coinvolgono oggetti e ambienti sconosciuti. Pre-addestrati su grandi quantità di immagini, video e testi, e poi affinati (fine-tuning) su un numero più ridotto di dimostrazioni teleoperate, cioè pilotate a distanza da un umano, questi modelli guidano i robot in compiti come piegare il bucato, riordinare un salotto o utilizzare elettrodomestici, a partire da un semplice flusso video e da istruzioni in linguaggio naturale.
I robot faticano tuttavia sui compiti che richiedono grande finezza, come manipolare materiali deformabili o piccoli oggetti, inserire un cavo USB o girare una chiave in una serratura. La causa, in parte, è che i VLA ignorano una delle principali fonti di informazione di cui dispongono gli umani in queste situazioni: il feedback tattile.
Un tatto difficile da integrare
« La maggior parte delle manipolazioni abili può essere eseguita dagli umani a occhi chiusi », afferma Trevor Darrell, professore di informatica all’università della California a Berkeley. « Comprendere la forza, lo scivolamento e la presa precisa non è qualcosa che si può fare correttamente con i sensori di visione tradizionali. »
Sfruttare i sensori tattili rimane però delicato. I loro dati hanno caratteristiche molto diverse da quelle delle immagini su cui i VLA sono solitamente addestrati, e i dataset tattili sono molto indietro rispetto alla scala di internet di cui beneficiano molti dataset visivi e linguistici. Il team di Darrell ha quindi prima pre-addestrato un modello su dati esistenti, prima di dargli il senso del tatto grazie a un sotto-modello specializzato, addestrato su 100 ore di dati tattili di alta qualità, raccolti specificamente. Comprendono dimostrazioni di azioni comuni come strofinare, afferrare, torcere o versare, realizzate con oltre 200 oggetti domestici diversi.
La sfida è anche quella della rapidità. L’obiettivo è che il robot corregga la sua presa in tempo reale grazie al segnale tattile, ma ciò richiede tempi di reazione più brevi di quelli a cui funzionano la maggior parte dei modelli visione-linguaggio. Il team ha quindi separato il sistema in sotto-modelli chiamati « esperti »: un esperto in azioni produce i piani di movimento, mentre l’esperto tattile, che funziona quattro volte più velocemente, aggiusta questo piano in tempo reale. Dopo un affinamento su circa 100 dimostrazioni teleoperate di compiti relativamente complessi, come avvitare una lampadina, applicare dentifricio su uno spazzolino o trasferire un uovo da un vassoio a un altro, il modello mostra un tasso di successo medio del 65% su 12 compiti, quasi il doppio del miglior modello VLA.
Una questione di diversità
Ma, riconosce Trevor Darrell, i suoi dati provengono da un solo hardware robotico. Le mani robotiche vanno dai modelli a cinque dita completamente articolate alle semplici pinze, e i sensori tattili possono basarsi su principi fisici molto diversi, dalla misurazione di variazioni di resistenza alla registrazione di immagini di un cuscinetto di gel morbido che si deforma. Secondo Chengbo Yuan, studente magistrale all’università Tsinghua, a Pechino, ciò rende la maggior parte delle ricerche in IA tattile dipendente da un sensore preciso, e difficile da condividere tra team.
Yuan ha raccolto oltre 3.000 ore di dati robotici tattili provenienti da dataset pubblici, coprendo 21 tipi di sensori e incarnazioni robotiche varie. Cita come fonte d’ispirazione la collaborazione Open X-Embodiment, che ha riunito dati di molti robot. Il suo team ha progettato un modello indipendente dall’hardware: converte l’output di ogni sensore in un formato comune e lo fa corrispondere a posizioni etichettate su un modello di mano umana. Questo modello ha nettamente superato un modello di riferimento, anche su hardware che non aveva mai incontrato. Yuan attribuisce questo risultato all’acquisizione di « una sorta di buon senso delle conoscenze tattili », grazie a un addestramento su dispositivi così vari.
Cambiare scala
Nonostante questi risultati, Yuan ritiene che siano necessari più dati tattili. Il suo gruppo pilota una collaborazione di 80 istituzioni mirata a raccogliere un insieme più vasto di dimostrazioni teleoperate, secondo un metodo standardizzato di raccolta e elaborazione. Nel frattempo, l’università Fudan, a Shanghai, e la sua spin-off NeoteAI hanno già prodotto un dataset tattile di un ordine di grandezza superiore agli sforzi precedenti. Grazie a un sensore proprietario fissato su diversi bracci robotici e a una pinza manuale azionata da umani, hanno raccolto oltre 30.000 ore di dimostrazioni, con dati visivi e tattili sincronizzati.
Questi dati sono serviti ad addestrare un modello che non si limita a reagire al tatto: predice anche ciò che il robot dovrebbe sentire, per guidare e valutare le sue azioni, il che migliora nettamente le prestazioni. Shunlin Lu, ricercatore post-dottorato all’università Fudan e direttore tecnico (CTO) di NeoteAI, ci vede la prova chiara che l’accesso a dati tattili su larga scala e diversificati porta a guadagni di prestazioni significativi.
Un’altra strada consiste nell’appoggiarsi ai vasti volumi di dati visivi robotici già raccolti. Ricercatori della University of Southern California, a Los Angeles, hanno pubblicato un modello capace di inferire informazioni tattili dalle immagini, addestrato su oltre 2.700 dimostrazioni di manipolazione quotidiana realizzate con una pinza manuale che registra sia dati tattili che immagini. Il modello associa immagini del contatto tra la pinza e gli oggetti alla pressione percepita in quel momento, dando persino ai robot senza sensori tattili un senso del tatto rudimentale.
Rimane incerto sapere quanti dati tattili saranno necessari per fare passi avanti nei compiti più fini. Finora, osserva Chengbo Yuan, il contributo principale del tatto ha soprattutto permesso di rendere i robot più efficienti su compiti già accessibili, come afferrare e posizionare oggetti, e sospetta che saranno necessari nuovi algoritmi per affrontare i problemi realmente impossibili senza tatto. Long Cheng, dell’Accademia cinese delle scienze a Pechino, riassume la difficoltà: « I dati vanno bene. Ma il modo di usarli correttamente è un’altra questione. »
Shunlin Lu avanza, dal canto suo, una cifra vicina a 100.000 ore di dati, raccolti in ambienti reali e vari piuttosto che in laboratorio, per sbloccare nuove capacità. « Penso che l’intelligenza tattile sia in realtà il prossimo passo per l’IA fisica », afferma.
