Рафаэль Меммесхаймер, постдокторант-исследователь в группе Autonomous Intelligent Systems Боннского университета, вместе с коллегами получил премию за лучшую статью конференции RoboCup 2026 за работу по аннотированию изображений для соревновательных роботов. Он пять раз становился чемпионом мира RoboCup@Home и здесь рассказывает о своих исследованиях, карьере и трудностях этого испытания.
Два дня на изучение квартиры
Исходная точка связана с графиком соревнования: у каждой команды есть всего два дня на подготовку на месте. Роботов нужно собрать, дать им привыкнуть к модельной квартире, которую они никогда не видели, и научить распознавать объекты, с которыми им предстоит взаимодействовать, будь то ложка или конкретный напиток. Количество таких объектов может достигать 50, причём многие из них неизвестны до начала испытания.
Часть этих объектов можно предугадать, например, напитки, снеки или столовые приборы, но их конкретные особенности — нет. Организаторы часто покупают местные продукты в торговом центре, а часть набора взята из публичного набора данных «Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation». В этой работе Рафаэль Меммесхаймер описал многоэтапный подход, основанный на сегментации, то есть на выделении областей изображения, соответствующих объекту. Единая модель, обученная на объектах с предыдущих соревнований, идентифицирует то, что может быть объектом, затем эталонные изображения позволяют полуавтоматически разметить присутствующие объекты.
По его словам, примерно 60 % данных аннотируются таким образом автоматически — работа, которая заняла бы много часов при ручной разметке. Подходы с так называемым «открытым словарём», способные распознавать объекты, описанные словами, в свою очередь, испытывали трудности с различением объектов одной категории, например, напитков. Методы обнаружения по запросу, по его мнению, работают с 5–10 классами, но ещё не масштабированы до 50 классов, используемых на соревновании.
Результаты на соревнованиях
Этот подход уже использовался на RoboCup 2025 в Бразилии и на RoboCup German Open. Для соревнований 2026 года в Корее команда применила усовершенствованную версию, которая также использует видео для генерации большего объёма данных. Экономия времени позволяет, по словам Рафаэля Меммесхаймера, сосредоточиться на тестировании и самих задачах, а не на компьютерном зрении.
Команда NimbRo заняла третье место на соревнованиях. В программу была добавлена новая дисциплина «Doing Laundry»: роботу нужно было перенести корзину с бельём от стиральной машины, открыть дверцу, взять футболки и сложить их. Робот не видит, что внутри машины, поэтому должен почувствовать, что держит одежду, прежде чем вытащить её. Рафаэль Меммесхаймер отмечает, что его команда показала лучшие результаты в этой дисциплине благодаря полуавтоматической разметке.
Другие дисциплины включают взаимодействие с гостями (открыть дверь, поприветствовать посетителей и представить их другим людям), уборку стола после завтрака, общее обслуживание по команде на естественном языке и ресторанное испытание в незнакомом месте, где командам известна только карта заведения. Перед всеми этими испытаниями роботы должны пройти первоначальную проверку безопасности и способностей к взаимодействию.
Соревнование в постоянном развитии
Рафаэль Меммесхаймер, участвовавший в соревнованиях в Эйндховене, напоминает, что тогда дисциплины были распределены между тремя лигами, включая лигу открытой платформы, которую выиграла его команда. Теперь они объединены: в этом году в единой лиге участвуют 24 команды со всего мира. Он описывает последовательный прогресс — от картографирования и навигации на ранних этапах до восприятия людей и распознавания речи, в то время как планирование задач остаётся сложной проблемой.
К следующему соревнованию команда работает над манипулированием объектами, чтобы робот захватывал их быстрее, и над использованием двух манипуляторов — направлением, которое они хотят улучшить.
