Raphael Memmesheimer, investigador pós-doutoral no grupo Autonomous Intelligent Systems da Universidade de Bona, recebeu com os seus colegas o prémio de melhor artigo da conferência RoboCup 2026 por um trabalho sobre anotação de imagens destinado a robôs de competição. Venceu por cinco vezes o campeonato mundial RoboCup@Home, e aqui regressa às suas investigações, ao seu percurso e às dificuldades desta prova.
Dois dias para aprender um apartamento
O ponto de partida prende-se com o calendário da competição: cada equipa dispõe apenas de dois dias de preparação no local. Os robôs têm de ser montados, habituar-se a um apartamento modelo que nunca viram, e aprender a reconhecer os objetos com os quais vão interagir, seja uma colher ou uma bebida específica. O número destes objetos pode atingir 50, muitos dos quais são desconhecidos antes da prova.
Uma parte destes objetos pode ser antecipada, como as bebidas, os snacks ou os talheres, mas as suas particularidades não o são. Os organizadores compram frequentemente produtos locais num centro comercial, e uma parte do conjunto provém do conjunto de dados público « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Para este trabalho, Raphael Memmesheimer descreveu uma abordagem em várias etapas, baseada na segmentação, ou seja, na identificação das zonas de uma imagem que correspondem a um objeto. Um modelo único, treinado nos objetos encontrados em edições anteriores, identifica o que pode ser um objeto, e depois imagens de referência permitem etiquetar semi-automaticamente os objetos presentes.
Segundo ele, cerca de 60 % dos dados são assim anotados automaticamente, um trabalho que representaria muitas horas se fosse feita uma anotação humana. As abordagens ditas « de vocabulário aberto », capazes de reconhecer objetos descritos por palavras, apresentavam, em contrapartida, dificuldades em distinguir objetos da mesma categoria, como as bebidas. Os métodos de deteção guiados por uma consulta funcionam, segundo ele, com 5 a 10 classes, mas ainda não foram dimensionados para as 50 classes da competição.
Resultados em competição
A abordagem já foi utilizada na RoboCup 2025 no Brasil e no RoboCup German Open. Para a edição de 2026 na Coreia, a equipa usou uma versão evoluída, que também explora vídeos para gerar mais dados. A poupança de tempo permite, segundo Raphael Memmesheimer, concentrar-se nos testes e nas tarefas em si, em vez de na visão.
A equipa NimbRo terminou terceira na competição. Uma nova prova, « Doing Laundry », estava no programa: o robô tinha de transportar um cesto de roupa desde uma máquina de lavar, abrir a porta, agarrar t-shirts e dobrá-las. O robô não vê para dentro da máquina e tem, portanto, de sentir que está a segurar uma peça de roupa antes de a retirar. Raphael Memmesheimer indica que a sua equipa obteve os melhores resultados nesta prova, graças à etiquetagem semi-automática.
As outras provas incluem a interação com convidados, que implica abrir a porta, cumprimentar os visitantes e apresentar-lhes as outras pessoas, uma tarefa de arrumar a mesa após o pequeno-almoço, um serviço geral a partir de uma encomenda em linguagem natural, e uma prova de restaurante num local desconhecido, onde as equipas só conhecem o menu. Antes de todas estas provas, os robôs têm de passar um controlo inicial de segurança e de capacidades de interação.
Uma competição em plena evolução
Raphael Memmesheimer, que participou na edição de Eindhoven, recorda que as provas estavam então distribuídas por três ligas, incluindo uma plataforma aberta, vencida pela sua equipa. Estas fundiram-se entretanto: 24 equipas vindas de todo o mundo participam este ano numa liga única. Descreve progressos sucessivos, da cartografia e navegação dos inícios até à perceção dos humanos e ao reconhecimento de fala, enquanto o planeamento de tarefas continua a ser um desafio.
Para a próxima edição, a equipa está a trabalhar na manipulação de objetos, para que o robô os agarre mais rapidamente, e no uso de dois braços, um eixo que pretende melhorar.
