ロボットが「感じる」ことを学ぶ

近年、視覚-言語-行動モデル（VLA）は、未知の物体や環境を含む複雑なタスクを遂行するロボットの能力を著しく向上させた。大量の画像、動画、テキストで事前学習し、その後、人間が遠隔操作する（テレオペレーション）少数の実演データでファインチューニングされたこれらのモデルは、単純なビデオストリームと自然言語の指示から、洗濯物を畳んだり、リビングを片付けたり、台所用品を使ったりするようなタスクをロボットに導く。

しかし、ロボットは、変形する素材や小さな物体の操作、USBケーブルの接続、鍵を鍵穴で回すなど、高度な繊細さを要求するタスクに苦戦している。その原因の一部は、VLAが、人間がこうした状況で頼る主要な情報源の一つである触覚フィードバックを無視していることにある。

統合が難しい触覚

「ほとんどの器用な操作は、人間が目を閉じた状態でも実行できる」と、カリフォルニア大学バークレー校のコンピュータサイエンス教授、トレバー・ダレルは言う。「力、滑り、精密な把持を理解することは、従来の視覚センサーでは適切に行えないことだ」。

とはいえ、触覚センサーを活用することは依然として難しい。そのデータは、VLAが通常学習する画像データとは大きく異なる特性を持ち、触覚データセットは、多くの視覚・言語データセットが恩恵を受けているインターネット規模のデータには遠く及ばない。ダレルのチームはまず、既存のデータでモデルを事前学習し、その後、特別に収集された100時間の高品質な触覚データで学習した専用のサブモデルを通じて、モデルに触覚を与えた。このデータには、200種類以上の異なる家庭用品を使って、拭く、掴む、捻る、注ぐなどの一般的な動作の実演が含まれている。

課題はスピードでもある。目標は、ロボットが触覚信号によって把持をリアルタイムで修正することだが、これは、ほとんどの視覚-言語モデルが動作する反応時間よりも短い時間を必要とする。そこでチームは、システムを「エキスパート」と呼ばれるサブモデルに分割した。行動エキスパートが動作計画を生成し、4倍高速に動作する触覚エキスパートがその計画をリアルタイムで調整する。電球をねじ込む、歯ブラシに歯磨き粉をつける、卵をトレイから別のトレイに移すなど、比較的複雑なタスクの約100件のテレオペレーション実演でファインチューニング後、このモデルは12のタスクで平均65%の成功率を示し、最高性能のVLAモデルのほぼ2倍となった。

多様性の問題

しかし、トレバー・ダレルも認めるように、彼のデータは単一のロボットハードウェアから得られたものである。ロボットハンドは、5本指の完全関節型モデルから単純なグリッパーまで様々で、触覚センサーも、抵抗値の変動測定から、変形する柔軟なゲルパッドの画像記録まで、非常に異なる物理原理に基づく場合がある。北京の清華大学の大学院生、チェンボ・ユアンによれば、このため、ほとんどの触覚AI研究は特定のセンサーに依存し、チーム間での共有が難しくなっているという。

ユアンは、公開データセットから21種類のセンサーと様々なロボット実体をカバーする、3,000時間以上のロボット触覚データを集めた。彼は、多くのロボットのデータを集めたOpen X-Embodimentコラボレーションをインスピレーション源として挙げている。彼のチームは、ハードウェアに依存しないモデルを設計した。各センサーの出力を共通フォーマットに変換し、人間の手のモデル上にラベル付けされた位置に対応付ける。このモデルは、遭遇したことのないハードウェアを含め、ベンチマークモデルを明確に上回った。ユアンはこの結果を、多様なデバイスでの学習により「一種の触覚知識の常識」を獲得したためと説明している。

スケールの転換

これらの成果にもかかわらず、ユアンは、より多くの触覚データが必要だと判断している。彼のグループは、標準化された収集・処理方法に従って、より大規模なテレオペレーション実演データセットを構築することを目指す80機関の共同プロジェクトを主導している。一方、上海の復旦大学とそのスピンオフ企業NeoteAIは、既に従来の取り組みより一桁大きい規模の触覚データセットを生成した。専有センサーを様々なロボットアームに取り付け、人間が操作する手動グリッパーを用いて、視覚データと触覚データが同期した3万時間以上の実演データを収集した。

このデータは、単に触覚に反応するだけでなく、ロボットが感じるべきことを予測して行動を導き評価するモデルの学習に用いられ、性能を大幅に向上させた。復旦大学のポスドク研究者でNeoteAIのCTOを務めるシュンリン・ルーは、これが、大規模で多様な触覚データへのアクセスが大きな性能向上につながることを明確に示す証拠だと見ている。

別のアプローチとして、既に収集された膨大な量のロボット視覚データに依存する方法もある。ロサンゼルスの南カリフォルニア大学の研究者らは、触覚データと画像の両方を記録する手動グリッパーを用いた2,700以上の日常的操作実演で学習し、画像から触覚情報を推論できるモデルを発表した。このモデルは、グリッパーと物体の接触画像を、その瞬間に感じられる圧力と関連付け、触覚センサーを持たないロボットにも初歩的な触覚を与える。

最も繊細なタスクでの飛躍的進歩に、どれだけの触覚データが必要になるかはまだ不透明だ。これまでのところ、チェンボ・ユアンの観察では、触覚の主な貢献は、物体の把持や配置など、既に達成可能なタスクでロボットをより効率化することにほぼ限られており、触覚なしでは本当に不可能な問題に取り組むには新しいアルゴリズムが必要になるだろうと彼は推測している。中国科学院のロン・チェンは、難しさを次のように要約する。「データは良い。しかし、それを正しく使う方法は別問題だ」。

一方、シュンリン・ルーは、新しい能力を開放するには、実験室ではなく、現実の多様な環境で収集された約10万時間のデータに近い量が必要だと見積もっている。「私は、触覚知能は実際、物理的AIの次のステップだと考えている」と彼は述べている。