Raphael Memmesheimer, Postdoktorand in der Gruppe Autonomous Intelligent Systems der Universität Bonn, erhielt zusammen mit seinen Kollegen den Preis für den besten Artikel der RoboCup-Konferenz 2026 für eine Arbeit zur Bildannotation für Wettbewerbsroboter. Er gewann fünfmal die RoboCup@Home-Weltmeisterschaft und berichtet hier über seine Forschung, seinen Werdegang und die Schwierigkeiten dieses Wettbewerbs.
Zwei Tage, um eine Wohnung zu lernen
Der Ausgangspunkt liegt im Wettbewerbskalender: Jedes Team hat nur zwei Tage Vorbereitungszeit vor Ort. Die Roboter müssen zusammengebaut werden, sich an eine Modellwohnung gewöhnen, die sie nie zuvor gesehen haben, und lernen, die Objekte zu erkennen, mit denen sie interagieren sollen, sei es ein Löffel oder ein bestimmtes Getränk. Die Anzahl dieser Objekte kann 50 erreichen, von denen viele vor dem Wettbewerb unbekannt sind.
Ein Teil dieser Objekte kann vorhergesehen werden, wie Getränke, Snacks oder Besteck, aber ihre Besonderheiten nicht. Die Organisatoren kaufen oft lokale Produkte in einem Einkaufszentrum, und ein Teil des Sets stammt aus dem öffentlichen Datensatz «Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation». Für diese Arbeit beschrieb Raphael Memmesheimer einen mehrstufigen Ansatz, der auf Segmentation basiert, also der Identifizierung von Bildbereichen, die einem Objekt entsprechen. Ein einziges Modell, trainiert mit Objekten aus früheren Wettbewerben, identifiziert, was ein Objekt sein könnte, dann ermöglichen Referenzbilder eine halbautomatische Kennzeichnung der vorhandenen Objekte.
Laut ihm werden so etwa 60 % der Daten automatisch annotiert, eine Arbeit, die viele Stunden in Anspruch nehmen würde, wenn sie von Menschen durchgeführt würde. Ansätze mit « offenem Vokabular », die Objekte anhand von Beschreibungen erkennen können, hatten hingegen Schwierigkeiten, Objekte derselben Kategorie wie Getränke zu unterscheiden. Anfragegesteuerte Erkennungsmethoden funktionieren seiner Meinung nach mit 5 bis 10 Klassen, wurden aber noch nicht auf die 50 Klassen des Wettbewerbs skaliert.
Ergebnisse im Wettbewerb
Der Ansatz kam bereits beim RoboCup 2025 in Brasilien und beim RoboCup German Open zum Einsatz. Für die Ausgabe 2026 in Korea nutzte das Team eine weiterentwickelte Version, die auch Videos zur Generierung zusätzlicher Daten verwendet. Der Zeitgewinn ermöglicht es laut Raphael Memmesheimer, sich eher auf Tests und die Aufgaben selbst als auf die Bilderkennung zu konzentrieren.
Das Team NimbRo belegte den dritten Platz im Wettbewerb. Eine neue Disziplin, « Doing Laundry », stand auf dem Programm: Der Roboter musste einen Wäschekorb von einer Waschmaschine transportieren, die Tür öffnen, T-Shirts greifen und falten. Der Roboter kann nicht in die Maschine sehen und muss daher spüren, dass er ein Kleidungsstück hält, bevor er es herausnimmt. Raphael Memmesheimer gibt an, dass sein Team dank der halbautomatischen Kennzeichnung die besten Ergebnisse in dieser Disziplin erzielte.
Zu den weiteren Disziplinen gehören die Interaktion mit Gästen, die das Öffnen der Tür, das Begrüßen der Besucher und das Vorstellen anderer Personen umfasst, eine Aufgabe zum Aufräumen des Tisches nach dem Frühstück, ein allgemeiner Service basierend auf einer natürlichen Sprachaufforderung und eine Restaurantaufgabe an einem unbekannten Ort, bei der die Teams nur die Speisekarte kennen. Vor all diesen Aufgaben müssen die Roboter eine anfängliche Sicherheits- und Interaktionsfähigkeitsprüfung bestehen.
Ein sich ständig weiterentwickelnder Wettbewerb
Raphael Memmesheimer, der an der Ausgabe in Eindhoven teilnahm, erinnert daran, dass die Disziplinen damals auf drei Ligen aufgeteilt waren, darunter eine offene Plattform, die sein Team gewann. Sie sind nun fusioniert: 24 Teams aus der ganzen Welt nehmen dieses Jahr an einer einzigen Liga teil. Er beschreibt aufeinanderfolgende Fortschritte, von der Kartierung und Navigation der Anfänge bis zur Wahrnehmung von Menschen und Spracherkennung, während die Aufgabenplanung eine Herausforderung bleibt.
Für die nächste Ausgabe arbeitet das Team an der Objektmanipulation, damit der Roboter schneller zugreifen kann, und am Einsatz von zwei Armen, einen Bereich, den es verbessern möchte.
