Raphael Memmesheimer, chercheur postdoctoral au sein du groupe Autonomous Intelligent Systems de l’Université de Bonn, a reçu avec ses collègues le prix du meilleur article de la conférence RoboCup 2026 pour un travail sur l’annotation d’images destiné aux robots de compétition. Il a remporté à cinq reprises le championnat du monde RoboCup@Home, et il revient ici sur ses recherches, son parcours et les difficultés de cette épreuve.
- Raphael Memmesheimer reçoit le prix du meilleur article RoboCup 2026 pour son travail sur l’annotation d’images.
- Les équipes disposent de deux jours seulement pour préparer leurs robots sur place.
- Une approche par segmentation annote automatiquement environ 60 % des données.
- L’équipe NimbRo termine troisième et réussit le mieux l’épreuve « Doing Laundry ».
Deux jours pour apprendre un appartement
Le point de départ tient au calendrier de la compétition : chaque équipe ne dispose que de deux jours de préparation sur place. Les robots doivent être assemblés, s’habituer à un appartement modèle qu’ils n’ont jamais vu, et apprendre à reconnaître les objets avec lesquels ils vont interagir, qu’il s’agisse d’une cuillère ou d’une boisson précise. Le nombre de ces objets peut atteindre 50, dont beaucoup sont inconnus avant l’épreuve.
Une partie de ces objets peut être anticipée, comme les boissons, les snacks ou les couverts, mais leurs particularités ne le sont pas. Les organisateurs achètent souvent des produits locaux dans un centre commercial, et une partie de l’ensemble provient du jeu de données public « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Pour ce travail, Raphael Memmesheimer a décrit une approche en plusieurs étapes, fondée sur la segmentation, c’est-à-dire le repérage des zones d’une image qui correspondent à un objet. Un modèle unique, entraîné sur les objets rencontrés lors des éditions précédentes, identifie ce qui peut être un objet, puis des images de référence permettent d’étiqueter semi-automatiquement les objets présents.
Selon lui, environ 60 % des données sont ainsi annotées automatiquement, un travail qui représenterait de nombreuses heures si l’on passait par une annotation humaine. Les approches dites « à vocabulaire ouvert », capables de reconnaître des objets décrits par des mots, présentaient en revanche des difficultés pour distinguer des objets d’une même catégorie, comme les boissons. Les méthodes de détection guidées par une requête fonctionnent, selon lui, avec 5 à 10 classes, mais n’ont pas encore été mises à l’échelle des 50 classes de la compétition.
Des résultats en compétition
L’approche a déjà servi lors de la RoboCup 2025 au Brésil et lors du RoboCup German Open. Pour l’édition 2026 en Corée, l’équipe a utilisé une version évoluée, qui exploite aussi des vidéos pour générer davantage de données. Le gain de temps permet, selon Raphael Memmesheimer, de se concentrer sur les tests et sur les tâches elles-mêmes plutôt que sur la vision.
L’équipe NimbRo a terminé troisième de la compétition. Une nouvelle épreuve, « Doing Laundry », était au programme : le robot devait transporter un panier de linge depuis une machine à laver, ouvrir la porte, saisir des t-shirts et les plier. Le robot ne voit pas à l’intérieur de la machine et doit donc sentir qu’il tient un vêtement avant de le sortir. Raphael Memmesheimer indique que son équipe a obtenu les meilleurs résultats sur cette épreuve, grâce à l’étiquetage semi-automatique.
Les autres épreuves comprennent l’interaction avec des invités, qui implique d’ouvrir la porte, de saluer les visiteurs et de leur présenter les autres personnes, une tâche de rangement de table après le petit-déjeuner, un service général à partir d’une commande en langage naturel, et une épreuve de restaurant dans un lieu inconnu, où les équipes ne connaissent que la carte. Avant toutes ces épreuves, les robots doivent passer un contrôle initial de sécurité et de capacités d’interaction.
Une compétition en pleine évolution
Raphael Memmesheimer, qui a participé à l’édition d’Eindhoven, rappelle que les épreuves étaient alors réparties entre trois ligues, dont une plateforme ouverte, remportée par son équipe. Elles ont désormais fusionné : 24 équipes venues du monde entier participent cette année à une ligue unique. Il décrit des progrès successifs, de la cartographie et de la navigation des débuts jusqu’à la perception des humains et la reconnaissance de la parole, tandis que la planification des tâches reste un défi.
Pour la prochaine édition, l’équipe travaille sur la manipulation d’objets, afin que le robot les saisisse plus rapidement, et sur l’usage de deux bras, un axe qu’elle souhaite améliorer.
