La manipulación fina sigue siendo uno de los principales obstáculos que impiden a los robots llevar a cabo una amplia gama de tareas cotidianas. El sentido del tacto podría ser la clave, pero la falta de datos de calidad ha frenado los avances. Los laboratorios universitarios y las start-ups están multiplicando ahora los conjuntos de datos táctiles y las técnicas para explotarlos.
En los últimos años, los modelos visión-lenguaje-acción (VLA) han mejorado notablemente la capacidad de los robots para realizar tareas complejas que implican objetos y entornos desconocidos. Preentrenados con grandes cantidades de imágenes, vídeos y textos, y luego afinados (fine-tuning) con un número menor de demostraciones teleoperadas, es decir, controladas a distancia por un humano, estos modelos guían a los robots en tareas como doblar ropa, ordenar un salón o utilizar electrodomésticos, a partir de un simple flujo de vídeo e instrucciones en lenguaje natural.
Sin embargo, los robots tienen dificultades con las tareas que requieren una gran precisión, como manipular materiales deformables u objetos pequeños, conectar un cable USB o girar una llave en una cerradura. En parte, esto se debe a que los VLA ignoran una de las principales fuentes de información de las que disponen los humanos en estas situaciones: la retroalimentación táctil.
Un tacto difícil de integrar
« La mayoría de las manipulaciones hábiles pueden ser realizadas por humanos con los ojos cerrados », afirma Trevor Darrell, profesor de informática en la Universidad de California en Berkeley. « Comprender la fuerza, el deslizamiento y el agarre preciso no es algo que se pueda hacer correctamente con los sensores de visión tradicionales. »
Sin embargo, explotar los sensores táctiles sigue siendo complicado. Sus datos tienen características muy diferentes a las de las imágenes con las que normalmente se entrenan los VLA, y los conjuntos de datos táctiles están muy por detrás de la escala de internet de la que se benefician muchos conjuntos de datos visuales y lingüísticos. Por ello, el equipo de Darrell primero preentrenó un modelo con datos existentes, antes de darle el sentido del tacto gracias a un submódulo especializado, entrenado con 100 horas de datos táctiles de alta calidad, recogidos específicamente. Incluyen demostraciones de acciones comunes como limpiar, agarrar, torcer o verter, realizadas con más de 200 objetos domésticos diferentes.
El desafío también es la velocidad. El objetivo es que el robot corrija su agarre en tiempo real gracias a la señal táctil, pero esto exige tiempos de reacción más cortos que los que funcionan en la mayoría de los modelos visión-lenguaje. Por ello, el equipo separó el sistema en submódulos llamados « expertos »: un experto en acciones produce los planes de movimiento, mientras que el experto táctil, que funciona cuatro veces más rápido, ajusta ese plan en tiempo real. Tras un afinado con unas 100 demostraciones teleoperadas de tareas relativamente complejas, como enroscar una bombilla, aplicar pasta de dientes en un cepillo o transferir un huevo de una bandeja a otra, el modelo muestra una tasa de éxito media del 65 % en 12 tareas, casi el doble que el mejor modelo VLA.
Una cuestión de diversidad
Pero, reconoce Trevor Darrell, sus datos provienen de un único hardware robótico. Las manos robóticas van desde modelos de cinco dedos totalmente articulados hasta simples pinzas, y los sensores táctiles pueden basarse en principios físicos muy diferentes, desde la medición de variaciones de resistencia hasta el registro de imágenes de una almohadilla de gel flexible que se deforma. Según Chengbo Yuan, estudiante de máster en la Universidad Tsinghua de Pekín, esto hace que la mayoría de las investigaciones en IA táctil dependan de un sensor preciso y sean difíciles de compartir entre equipos.
Yuan ha reunido más de 3.000 horas de datos robóticos táctiles procedentes de conjuntos de datos públicos, que cubren 21 tipos de sensores y diversas encarnaciones robóticas. Cita como fuente de inspiración la colaboración Open X-Embodiment, que reunió datos de muchos robots. Su equipo diseñó un modelo independiente del hardware: convierte la salida de cada sensor a un formato común y la hace coincidir con posiciones etiquetadas en un modelo de mano humana. Este modelo superó claramente a un modelo de referencia, incluso en hardware que nunca había encontrado. Yuan atribuye este resultado a la adquisición de « una especie de sentido común del conocimiento táctil », gracias al entrenamiento en dispositivos tan variados.
Cambiar de escala
A pesar de estos resultados, Yuan considera que se necesitan más datos táctiles. Su grupo pilota una colaboración de 80 instituciones cuyo objetivo es reunir un conjunto más amplio de demostraciones teleoperadas, siguiendo un método estandarizado de recogida y procesamiento. Mientras tanto, la Universidad Fudan de Shanghái y su spin-off NeoteAI ya han producido un conjunto de datos táctiles de un orden de magnitud superior a los esfuerzos anteriores. Gracias a un sensor propietario instalado en diferentes brazos robóticos y a una pinza manual accionada por humanos, recogieron más de 30.000 horas de demostraciones, con datos visuales y táctiles sincronizados.
Estos datos se utilizaron para entrenar un modelo que no solo reacciona al tacto: también predice lo que el robot debería sentir, para guiar y evaluar sus acciones, lo que mejora notablemente el rendimiento. Shunlin Lu, investigador posdoctoral en la Universidad Fudan y director técnico (CTO) de NeoteAI, ve en esto una prueba clara de que el acceso a datos táctiles a gran escala y diversos conduce a importantes ganancias de rendimiento.
Otra vía consiste en basarse en los grandes volúmenes de datos visuales robóticos ya recogidos. Investigadores de la University of Southern California en Los Ángeles publicaron un modelo capaz de inferir información táctil a partir de imágenes, entrenado con más de 2.700 demostraciones de manipulación cotidiana realizadas con una pinza manual que registra tanto datos táctiles como imágenes. El modelo asocia imágenes del contacto entre la pinza y los objetos con la presión sentida en ese momento, lo que da incluso a los robots sin sensores táctiles un sentido del tacto rudimentario.
Sigue sin estar claro qué cantidad de datos táctiles será necesaria para lograr avances en las tareas más delicadas. Hasta ahora, observa Chengbo Yuan, la principal contribución del tacto ha sido hacer a los robots más eficientes en tareas ya accesibles, como agarrar y colocar objetos, y sospecha que se necesitarán nuevos algoritmos para abordar los problemas realmente imposibles sin el tacto. Long Cheng, de la Academia China de Ciencias en Pekín, resume la dificultad: « Los datos están bien. Pero cómo utilizarlos correctamente es otra cuestión. »
Shunlin Lu, por su parte, avanza una cifra cercana a las 100.000 horas de datos, recogidos en entornos reales y variados en lugar de en laboratorio, para desbloquear nuevas capacidades. « Creo que la inteligencia táctil es en realidad el siguiente paso para la IA física », afirma.
