ラファエル・メメスハイマーは、ボン大学Autonomous Intelligent Systemsグループのポスドク研究員であり、競技用ロボット向けの画像アノテーションに関する研究で、同僚と共にRoboCup 2026カンファレンスの最優秀論文賞を受賞した。彼はRoboCup@Home世界大会で5度の優勝を経験しており、ここでは自身の研究、経歴、そしてこの競技の難しさについて振り返る。
アパートを学習するための2日間
出発点は競技のスケジュールにある：各チームは現地での準備期間をわずか2日しか与えられていない。ロボットは組み立てられ、見たことのないモデルアパートに慣れ、スプーンから特定の飲料まで、相互作用する物体を認識することを学ばなければならない。これらの物体の数は50に達することもあり、その多くは競技前には未知である。
これらの物体の一部（飲料、スナック、食器類など）は予想できるが、その詳細まではわからない。主催者はよく地元のショッピングセンターで製品を購入し、一部のデータセットは公開データセット「Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation」に由来する。この研究で、ラファエル・メメスハイマーは、セグメンテーション、つまり画像内の物体に対応する領域の特定に基づく多段階アプローチを説明した。過去の大会で遭遇した物体で訓練された単一モデルが物体の可能性があるものを識別し、その後、参照画像を用いて半自動的に存在する物体にラベルを付与する。
彼によると、約60％のデータがこのように自動的にアノテーションされ、人間によるアノテーションを行った場合には何時間もかかる作業を省いている。一方、「オープン語彙」アプローチは、言葉で記述された物体を認識できるが、飲料のような同じカテゴリ内の物体を区別するのに困難があった。クエリ誘導型検出手法は、彼によれば5〜10クラスでは機能するが、競技の50クラス規模にはまだ拡張されていない。
競技での成果
このアプローチは、2025年ブラジルでのRoboCupおよびRoboCup German Openですでに使用された。2026年韓国大会では、チームは進化版を使用し、より多くのデータを生成するためにビデオも活用した。ラファエル・メメスハイマーによると、時間の節約により、ビジョンそのものよりもテストとタスク自体に集中できるという。
チームNimbRoは競技で3位となった。新しい競技「Doing Laundry」がプログラムに含まれていた：ロボットは洗濯機から洗濯かごを運び、ドアを開け、Tシャツをつかんで折りたたむ必要があった。ロボットは洗濯機内部を見ることができないため、衣服を取り出す前にそれを保持していることを感知しなければならない。ラファエル・メメスハイマーは、半自動ラベリングのおかげで、自チームがこの競技で最高の結果を得たと述べている。
他の競技には、ドアを開け、訪問者を迎え、他の人々を紹介するといったゲストとの相互作用、朝食後のテーブル片付け、自然言語による命令からの一般的なサービス、そして未知の場所でのレストラン競技（チームはメニューのみを知っている）が含まれる。これらすべての競技に先立ち、ロボットは安全性と相互作用能力の初期チェックを通過しなければならない。
進化を続ける競技
アイントホーフェン大会に参加したラファエル・メメスハイマーは、当時は競技が3リーグ（うち1つはオープンプラットフォーム）に分かれており、彼のチームが優勝したことを思い起こす。現在ではそれらは統合され、今年は世界中から24チームが単一リーグに参加している。彼は、初期のマッピングとナビゲーションから人間の知覚や音声認識への連続的な進歩を説明する一方で、タスク計画は依然として課題であると述べている。
次回大会に向けて、チームは物体操作（ロボットがより速く把持できるように）と両腕の使用に取り組んでおり、この軸を改善したいと考えている。
