Raphael Memmesheimer, ricercatore post-dottorato presso il gruppo Autonomous Intelligent Systems dell’Università di Bonn, ha ricevuto insieme ai suoi colleghi il premio per il miglior articolo della conferenza RoboCup 2026 per un lavoro sull’annotazione di immagini destinato ai robot da competizione. Ha vinto per cinque volte il campionato mondiale RoboCup@Home, e qui ripercorre le sue ricerche, il suo percorso e le difficoltà di questa prova.
- Raphael Memmesheimer ha ricevuto il premio per il miglior articolo alla RoboCup 2026.
- Il team NimbRo si è classificato terzo grazie all’annotazione semi-automatica degli oggetti.
- Circa il 60 % dei dati viene annotato automaticamente, riducendo molte ore di lavoro umano.
- La prossima edizione punta sulla manipolazione degli oggetti e sull’uso di due bracci.
Due giorni per imparare un appartamento
Il punto di partenza riguarda il calendario della competizione: ogni squadra dispone solo di due giorni di preparazione sul posto. I robot devono essere assemblati, abituarsi a un appartamento modello che non hanno mai visto e imparare a riconoscere gli oggetti con cui interagiranno, che si tratti di un cucchiaio o di una bevanda specifica. Il numero di questi oggetti può raggiungere 50, molti dei quali sconosciuti prima della prova.
Una parte di questi oggetti può essere anticipata, come bevande, snack o posate, ma non le loro particolarità. Gli organizzatori spesso acquistano prodotti locali in un centro commerciale, e una parte dell’insieme proviene dal dataset pubblico « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Per questo lavoro, Raphael Memmesheimer ha descritto un approccio in più fasi, fondato sulla segmentazione, cioè l’individuazione delle zone di un’immagine che corrispondono a un oggetto. Un modello unico, addestrato sugli oggetti incontrati nelle edizioni precedenti, identifica ciò che può essere un oggetto, poi immagini di riferimento permettono di etichettare semi-automaticamente gli oggetti presenti.
Secondo lui, circa 60 % dei dati vengono così annotati automaticamente, un lavoro che richiederebbe molte ore se si passasse attraverso un’annotazione umana. Gli approcci cosiddetti « a vocabolario aperto », capaci di riconoscere oggetti descritti da parole, presentavano invece difficoltà nel distinguere oggetti di una stessa categoria, come le bevande. I metodi di rilevamento guidati da una query funzionano, secondo lui, con 5-10 classi, ma non sono ancora stati scalati alle 50 classi della competizione.
Risultati in competizione
L’approccio è già stato utilizzato durante la RoboCup 2025 in Brasile e al RoboCup German Open. Per l’edizione 2026 in Corea, il team ha usato una versione evoluta, che sfrutta anche video per generare più dati. Il risparmio di tempo permette, secondo Raphael Memmesheimer, di concentrarsi sui test e sui compiti stessi piuttosto che sulla visione.
Il team NimbRo si è classificato terzo nella competizione. Una nuova prova, « Doing Laundry », era in programma: il robot doveva trasportare un cesto di bucato da una lavatrice, aprire lo sportello, afferrare delle magliette e piegarle. Il robot non vede all’interno della macchina e quindi deve percepire di avere in mano un indumento prima di estrarlo. Raphael Memmesheimer indica che la sua squadra ha ottenuto i migliori risultati in questa prova, grazie all’etichettatura semi-automatica.
Le altre prove comprendono l’interazione con ospiti, che implica aprire la porta, salutare i visitatori e presentare loro le altre persone, un compito di riordino della tavola dopo la colazione, un servizio generale a partire da un comando in linguaggio naturale e una prova di ristorante in un luogo sconosciuto, dove le squadre conoscono solo il menù. Prima di tutte queste prove, i robot devono superare un controllo iniziale di sicurezza e di capacità di interazione.
Una competizione in piena evoluzione
Raphael Memmesheimer, che ha partecipato all’edizione di Eindhoven, ricorda che le prove erano allora distribuite tra tre leghe, di cui una a piattaforma aperta, vinta dalla sua squadra. Ora sono fuse: 24 squadre provenienti da tutto il mondo partecipano quest’anno a un’unica lega. Descrive progressi successivi, dalla mappatura e navigazione degli inizi fino alla percezione degli umani e al riconoscimento vocale, mentre la pianificazione dei compiti rimane una sfida.
Per la prossima edizione, il team lavora sulla manipolazione degli oggetti, affinché il robot li afferri più rapidamente, e sull’uso di due bracci, un asse che desidera migliorare.
