Raphael Memmesheimer, pracownik naukowy na stanowisku postdoca w grupie Autonomous Intelligent Systems na Uniwersytecie w Bonn, wraz z kolegami otrzymał nagrodę za najlepszy artykuł konferencji RoboCup 2026 za pracę dotyczącą adnotacji obrazów przeznaczoną dla robotów konkursowych. Pięciokrotny mistrz świata RoboCup@Home opowiada tu o swoich badaniach, ścieżce kariery i trudnościach związanych z tym wyzwaniem.
- Raphael Memmesheimer otrzymał nagrodę za najlepszy artykuł o adnotacji obrazów dla robotów konkursowych.
- Drużyny mają tylko dwa dni, by poznać nieznane mieszkanie i nowe obiekty.
- Metoda segmentacji automatycznie oznacza około 60 % danych, co oszczędza wiele godzin pracy.
- Zespół NimbRo zajął trzecie miejsce i osiągnął najlepsze wyniki w konkurencji „Doing Laundry”.
Dwa dni na poznanie mieszkania
Kluczowy jest harmonizon konkursu: każda drużyna ma tylko dwa dni na przygotowanie na miejscu. Roboty muszą zostać zmontowane, przyzwyczaić się do nigdy wcześniej niewidzianego mieszkania modelowego oraz nauczyć się rozpoznawać obiekty, z którymi będą wchodzić w interakcje, czy to łyżkę, czy konkretny napój. Liczba tych obiektów może sięgać 50, z czego wiele jest nieznanych przed konkursem.
Część tych obiektów można przewidzieć, jak napoje, przekąski czy sztućce, ale ich szczegóły już nie. Organizatorzy często kupują lokalne produkty w centrum handlowym, a część zestawu pochodzi z publicznego zbioru danych « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». W tej pracy Raphael Memmesheimer opisał wieloetapowe podejście, oparte na segmentacji, czyli identyfikacji obszarów obrazu odpowiadających obiektowi. Pojedynczy model, wytrenowany na obiektach z poprzednich edycji, identyfikuje to, co może być obiektem, a następnie obrazy referencyjne umożliwiają częściowo automatyczne oznaczanie obecnych obiektów.
Według niego około 60 % danych jest w ten sposób anotowanych automatycznie, co przy ręcznej anotacji zajęłoby wiele godzin. Z kolei podejścia typu « open-vocabulary », zdolne do rozpoznawania obiektów opisanych słowami, miały trudności z rozróżnianiem obiektów z tej samej kategorii, jak napoje. Metody detekcji oparte na zapytaniu działają, jego zdaniem, dla 5 do 10 klas, ale nie zostały jeszcze przeskalowane do 50 klas wymaganych w konkursie.
Wyniki w konkursie
Podejście to zostało już wykorzystane podczas RoboCup 2025 w Brazylii oraz RoboCup German Open. Na edycję 2026 w Korei zespół użył ulepszonej wersji, która wykorzystuje także filmy wideo do generowania większej ilości danych. Oszczędność czasu pozwala, według Raphaela Memmesheimera, skupić się na testach i samych zadaniach, a nie na przetwarzaniu obrazu.
Zespół NimbRo zajął trzecie miejsce w konkursie. W programie znalazła się nowa konkurencja, « Doing Laundry »: robot musiał przenieść kosz z bielizną od pralki, otworzyć drzwi, chwycić koszulki i je złożyć. Robot nie widzi wnętrza pralki, więc musi wyczuć, że trzyma ubranie, zanim je wyjmie. Raphael Memmesheimer wskazuje, że jego zespół osiągnął najlepsze wyniki w tej konkurencji, właśnie dzięki częściowo automatycznemu oznaczaniu.
Pozostałe konkurencje obejmują interakcję z gośćmi, która wymaga otwarcia drzwi, przywitania odwiedzających i przedstawienia im innych osób, zadanie sprzątania stołu po śniadaniu, ogólną obsługę na podstawie polecenia w języku naturalnym oraz konkurencję restauracyjną w nieznanym miejscu, gdzie drużyny znają tylko menu. Przed wszystkimi tymi konkurencjami roboty muszą przejść wstępną kontrolę bezpieczeństwa i zdolności interakcji.
Konkurs w ciągłej ewolucji
Raphael Memmesheimer, który uczestniczył w edycji w Eindhoven, przypomina, że konkurencje były wtedy podzielone między trzy ligi, w tym ligę otwartej platformy, wygraną przez jego zespół. Obecnie zostały one połączone: w tym roku w jednej lidze bierze udział 24 drużyn z całego świata. Opisuje kolejne postępy, od mapowania i nawigacji na początku, przez percepcję ludzi i rozpoznawanie mowy, podczas gdy planowanie zadań pozostaje wyzwaniem.
Na kolejną edycję zespół pracuje nad manipulacją obiektami, aby robot chwytał je szybciej, oraz nad wykorzystaniem dwóch ramion, co jest obszarem, który chcą udoskonalić.
