A manipulação delicada continua a ser um dos principais obstáculos que impede os robôs de realizar uma ampla gama de tarefas quotidianas. O sentido do tato pode ser a chave, mas a falta de dados de qualidade tem travado os progressos. Laboratórios universitários e start-ups estão agora a multiplicar os conjuntos de dados táteis e as técnicas para os explorar.
- Os robôs precisam do tato para realizar tarefas delicadas.
- Os dados táteis escasseiam, e os modelos atuais não os integram bem.
- Investigadores criam modelos independentes do hardware e recolhem mais dados.
- Os ganhos de desempenho são reais, mas o uso eficaz destes dados continua por resolver.
Nos últimos anos, os modelos visão-linguagem-ação (VLA) melhoraram significativamente a capacidade dos robôs para realizar tarefas complexas envolvendo objetos e ambientes desconhecidos. Pré-treinados com grandes quantidades de imagens, vídeos e textos, e depois afinados (fine-tuning) num número mais reduzido de demonstrações teleoperadas, ou seja, controladas remotamente por um humano, estes modelos guiam os robôs em tarefas como dobrar roupa, arrumar uma sala ou utilizar eletrodomésticos, a partir de um simples fluxo de vídeo e de instruções em linguagem natural.
Os robôs têm, no entanto, dificuldade em tarefas que exigem grande precisão, como manipular materiais deformáveis ou objetos pequenos, ligar um cabo USB ou rodar uma chave numa fechadura. Em parte, a causa é o facto de os VLA ignorarem uma das principais fontes de informação de que os humanos dispõem nestas situações: o feedback tátil.
Um tato difícil de integrar
« A maioria das manipulações hábeis pode ser realizada por humanos de olhos fechados », afirma Trevor Darrell, professor de ciência da computação na Universidade da Califórnia em Berkeley. « Compreender a força, o deslizamento e a preensão precisa não é algo que se possa fazer corretamente com os sensores de visão tradicionais. »
Explorar os sensores táteis continua, no entanto, a ser delicado. Os seus dados têm características muito diferentes das imagens com que os VLA são normalmente treinados, e os conjuntos de dados táteis estão muito atrás da escala da internet de que beneficiam muitos conjuntos de dados visuais e linguísticos. A equipa de Darrell começou por pré-treinar um modelo com dados existentes, antes de lhe dar o sentido do tato através de um submodelo especializado, treinado com 100 horas de dados táteis de alta qualidade, recolhidos especificamente. Incluem demonstrações de ações comuns como limpar, agarrar, torcer ou despejar, realizadas com mais de 200 objetos domésticos diferentes.
O desafio é também o da rapidez. O objetivo é que o robô corrija a sua preensão em tempo real graças ao sinal tátil, o que exige tempos de reação mais curtos do que aqueles em que funcionam a maioria dos modelos visão-linguagem. A equipa separou o sistema em submodelos chamados « especialistas »: um especialista em ações produz os planos de movimento, enquanto o especialista tátil, que funciona quatro vezes mais rápido, ajusta esse plano em tempo real. Após um afinamento com cerca de 100 demonstrações teleoperadas de tarefas relativamente complexas, como aparafusar uma lâmpada, aplicar pasta de dentes numa escova ou transferir um ovo de uma bandeja para outra, o modelo apresenta uma taxa de sucesso média de 65% em 12 tarefas, quase o dobro do melhor modelo VLA.
Uma questão de diversidade
Mas, reconhece Trevor Darrell, os seus dados provêm de um único hardware robótico. As mãos robóticas vão desde modelos de cinco dedos totalmente articulados a simples pinças, e os sensores táteis podem basear-se em princípios físicos muito diferentes, desde a medição de variações de resistência ao registo de imagens de uma almofada de gel macio que se deforma. Segundo Chengbo Yuan, estudante de mestrado na Universidade Tsinghua, em Pequim, isto torna a maioria das pesquisas em IA tátil dependentes de um sensor específico, e difíceis de partilhar entre equipas.
Yuan reuniu mais de 3000 horas de dados robóticos táteis provenientes de conjuntos de dados públicos, abrangendo 21 tipos de sensores e diversas incarnações robóticas. Cita como fonte de inspiração a colaboração Open X-Embodiment, que reuniu dados de muitos robôs. A sua equipa concebeu um modelo independente do hardware: converte a saída de cada sensor num formato comum e faz corresponder a posições etiquetadas num modelo de mão humana. Este modelo superou claramente um modelo de referência, incluindo em hardware que nunca tinha encontrado. Yuan atribui este resultado à aquisição de « uma espécie de senso comum do conhecimento tátil », graças a um treino em dispositivos tão variados.
Mudar de escala
Apesar destes resultados, Yuan considera que são necessários mais dados táteis. O seu grupo lidera uma colaboração de 80 instituições que visa reunir um conjunto mais vasto de demonstrações teleoperadas, segundo um método padronizado de recolha e processamento. Entretanto, a Universidade Fudan, em Xangai, e a sua spin-off NeoteAI já produziram um conjunto de dados táteis de uma ordem de magnitude superior aos esforços anteriores. Graças a um sensor proprietário fixado em diferentes braços robóticos e a uma pinça manual operada por humanos, recolheram mais de 30 000 horas de demonstrações, com dados visuais e táteis sincronizados.
Estes dados serviram para treinar um modelo que não se limita a reagir ao tato: também prevê o que o robô deveria sentir, para orientar e avaliar as suas ações, o que melhora claramente o desempenho. Shunlin Lu, investigador pós-doutoral na Universidade Fudan e diretor técnico (CTO) da NeoteAI, vê nisto uma prova clara de que o acesso a dados táteis em grande escala e diversificados leva a ganhos de desempenho significativos.
Outra via consiste em basear-se nos vastos volumes de dados visuais robóticos já recolhidos. Investigadores da University of Southern California, em Los Angeles, publicaram um modelo capaz de inferir informações táteis a partir de imagens, treinado com mais de 2700 demonstrações de manipulação quotidiana realizadas com uma pinça manual que regista simultaneamente dados táteis e imagens. O modelo associa imagens do contacto entre a pinça e os objetos à pressão sentida nesse momento, o que dá mesmo aos robôs sem sensores táteis um sentido do tato rudimentar.
Continua incerto saber que quantidade de dados táteis será necessária para avanços nas tarefas mais delicadas. Até agora, observa Chengbo Yuan, a principal contribuição do tato tem sido tornar os robôs mais eficientes em tarefas já acessíveis, como agarrar e colocar objetos, e suspeita que serão necessários novos algoritmos para abordar problemas verdadeiramente impossíveis sem tato. Long Cheng, da Academia Chinesa de Ciências em Pequim, resume a dificuldade: « Os dados são bons. Mas a forma de os utilizar corretamente é outra questão. »
Shunlin Lu avança, por seu lado, um número próximo de 100 000 horas de dados, recolhidos em ambientes reais e variados em vez de em laboratório, para desbloquear novas capacidades. « Penso que a inteligência tátil é na verdade o próximo passo para a IA física », afirma.
