Raphael Memmesheimer, investigador posdoctoral en el grupo Autonomous Intelligent Systems de la Universidad de Bonn, recibió junto a sus colegas el premio al mejor artículo de la conferencia RoboCup 2026 por un trabajo sobre anotación de imágenes destinado a los robots de competición. Ha ganado en cinco ocasiones el campeonato mundial RoboCup@Home, y aquí repasa sus investigaciones, su trayectoria y las dificultades de esta prueba.
Dos días para aprender un apartamento
El punto de partida está en el calendario de la competición: cada equipo solo dispone de dos días de preparación in situ. Los robots deben ser ensamblados, acostumbrarse a un apartamento modelo que nunca han visto y aprender a reconocer los objetos con los que van a interactuar, ya sea una cuchara o una bebida concreta. El número de estos objetos puede alcanzar 50, muchos de ellos desconocidos antes de la prueba.
Una parte de estos objetos puede anticiparse, como las bebidas, los snacks o los cubiertos, pero sus particularidades no. Los organizadores suelen comprar productos locales en un centro comercial, y una parte del conjunto proviene del conjunto de datos público « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Para este trabajo, Raphael Memmesheimer describió un enfoque en varias etapas, basado en la segmentación, es decir, la localización de las zonas de una imagen que corresponden a un objeto. Un modelo único, entrenado con los objetos encontrados en ediciones anteriores, identifica lo que puede ser un objeto; luego, imágenes de referencia permiten etiquetar semiautomáticamente los objetos presentes.
Según él, aproximadamente 60 % de los datos se anotan así automáticamente, un trabajo que representaría muchas horas si se hiciera mediante anotación humana. Los enfoques denominados « de vocabulario abierto », capaces de reconocer objetos descritos con palabras, presentaban sin embargo dificultades para distinguir objetos de una misma categoría, como las bebidas. Los métodos de detección guiada por una consulta funcionan, según él, con 5 a 10 clases, pero aún no se han escalado a las 50 clases de la competición.
Resultados en competición
El enfoque ya se utilizó en la RoboCup 2025 en Brasil y en el RoboCup German Open. Para la edición de 2026 en Corea, el equipo usó una versión evolucionada, que también aprovecha vídeos para generar más datos. El ahorro de tiempo permite, según Raphael Memmesheimer, concentrarse en las pruebas y en las tareas mismas, más que en la visión.
El equipo NimbRo terminó tercero en la competición. Una nueva prueba, « Doing Laundry » (Hacer la colada), estaba en el programa: el robot debía transportar una cesta de ropa desde una lavadora, abrir la puerta, agarrar camisetas y doblarlas. El robot no ve dentro de la máquina y por tanto debe sentir que tiene una prenda antes de sacarla. Raphael Memmesheimer indica que su equipo obtuvo los mejores resultados en esta prueba, gracias al etiquetado semiautomático.
Las otras pruebas incluyen la interacción con invitados, que implica abrir la puerta, saludar a los visitantes y presentarles a las otras personas; una tarea de recoger la mesa después del desayuno; un servicio general a partir de un pedido en lenguaje natural; y una prueba de restaurante en un lugar desconocido, donde los equipos solo conocen la carta. Antes de todas estas pruebas, los robots deben pasar un control inicial de seguridad y de capacidades de interacción.
Una competición en plena evolución
Raphael Memmesheimer, que participó en la edición de Eindhoven, recuerda que las pruebas se repartían entonces entre tres ligas, una de ellas de plataforma abierta, ganada por su equipo. Ahora se han fusionado: 24 equipos de todo el mundo participan este año en una única liga. Describe progresos sucesivos, desde la cartografía y la navegación de los inicios hasta la percepción de los humanos y el reconocimiento del habla, mientras que la planificación de tareas sigue siendo un desafío.
Para la próxima edición, el equipo trabaja en la manipulación de objetos, para que el robot los agarre más rápido, y en el uso de dos brazos, un eje que desea mejorar.
