Raphael Memmesheimer, postdoctoraal onderzoeker in de groep Autonomous Intelligent Systems van de Universiteit van Bonn, ontving samen met zijn collega’s de prijs voor het beste artikel van de RoboCup-conferentie 2026 voor werk over beeldannotatie voor wedstrijdrobots. Hij won vijf keer het wereldkampioenschap RoboCup@Home en blikt hier terug op zijn onderzoek, zijn carrière en de uitdagingen van deze competitie.
- Raphael Memmesheimer ontving de prijs voor het beste artikel van RoboCup 2026 over beeldannotatie.
- Zijn team annoteert ongeveer 60 % van de data automatisch met semi-automatische labeling.
- Team NimbRo eindigde derde en behaalde de beste resultaten in de nieuwe proef ‘Doing Laundry’.
- Het team wil volgend jaar objectmanipulatie verbeteren en tweehandig werken toevoegen.
Twee dagen om een appartement te leren kennen
Het uitgangspunt ligt in het wedstrijdschema: elk team heeft slechts twee dagen voorbereidingstijd ter plaatse. De robots moeten worden geassembleerd, wennen aan een modelappartement dat ze nog nooit hebben gezien, en leren de objecten te herkennen waarmee ze gaan interageren, of het nu een lepel of een specifiek drankje is. Het aantal van deze objecten kan oplopen tot 50, waarvan er veel onbekend zijn voorafgaand aan de wedstrijd.
Een deel van deze objecten kan worden voorzien, zoals dranken, snacks of bestek, maar hun specifieke kenmerken niet. De organisatoren kopen vaak lokale producten in een winkelcentrum, en een deel van de set komt uit de openbare dataset « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Voor dit werk beschreef Raphael Memmesheimer een meerstapsbenadering, gebaseerd op segmentatie, dat wil zeggen het lokaliseren van de gebieden in een afbeelding die bij een object horen. Een enkel model, getraind op objecten uit eerdere edities, identificeert wat een object zou kunnen zijn, waarna referentiebeelden het mogelijk maken om de aanwezige objecten semi-automatisch te labelen.
Volgens hem wordt ongeveer 60 % van de gegevens op deze manier automatisch geannoteerd, een taak die vele uren zou kosten als dit door menselijke annotatie zou gebeuren. Zogenaamde ‘open-vocabulary’-benaderingen, die objecten kunnen herkennen die met woorden worden beschreven, hadden daarentegen moeite met het onderscheiden van objecten binnen dezelfde categorie, zoals dranken. Op een query gebaseerde detectiemethoden werken volgens hem met 5 tot 10 klassen, maar zijn nog niet opgeschaald naar de 50 klassen van de competitie.
Resultaten in competitie
De aanpak is al gebruikt tijdens de RoboCup 2025 in Brazilië en de RoboCup German Open. Voor de editie 2026 in Korea gebruikte het team een geëvolueerde versie, die ook video’s gebruikt om meer gegevens te genereren. De tijdwinst maakt het volgens Raphael Memmesheimer mogelijk om zich te concentreren op tests en op de taken zelf in plaats van op visie.
Team NimbRo eindigde als derde in de competitie. Een nieuwe proef, ‘Doing Laundry’, stond op het programma: de robot moest een wasmand met wasgoed uit een wasmachine halen, de deur openen, t-shirts pakken en ze opvouwen. De robot kan niet in de machine kijken en moet dus voelen dat hij een kledingstuk vastheeft voordat hij het eruit haalt. Raphael Memmesheimer geeft aan dat zijn team de beste resultaten behaalde in deze proef, dankzij de semi-automatische labeling.
De andere proeven omvatten interactie met gasten, wat inhoudt dat de deur wordt geopend, bezoekers worden begroet en andere personen worden voorgesteld, een taak om de tafel na het ontbijt op te ruimen, algemene service op basis van een opdracht in natuurlijke taal, en een restaurantproef op een onbekende locatie, waar de teams alleen de kaart kennen. Voor al deze proeven moeten de robots eerst een initiële veiligheids- en interactiecapaciteitstest doorstaan.
Een competitie in volle ontwikkeling
Raphael Memmesheimer, die deelnam aan de editie in Eindhoven, herinnert eraan dat de proeven toen waren verdeeld over drie liga’s, waaronder een open platform, gewonnen door zijn team. Deze zijn nu samengevoegd: 24 teams van over de hele wereld nemen dit jaar deel aan één enkele liga. Hij beschrijft opeenvolgende vooruitgang, van de mapping en navigatie van het begin tot de perceptie van mensen en spraakherkenning, terwijl taakplanning een uitdaging blijft.
Voor de volgende editie werkt het team aan objectmanipulatie, zodat de robot ze sneller kan grijpen, en aan het gebruik van twee armen, een aspect dat ze willen verbeteren.
