インタラクティブな世界シミュレーターがロボットのポリシーを訓練・評価する

インタラクティブな世界シミュレーターがロボットのポリシーを訓練・評価する
1 分の読書

研究者らは「Interactive World Simulator」を発表した。これは物理エンジンを用いず、ロボットの行動に応じて映像を予測するシミュレーターである。著者らによれば、このツールはロボット学習における2つのボトルネック、すなわち訓練データの収集と、ロボットを制御するプログラムであるポリシーの評価を軽減する可能性がある。

現在、一般的な方法は、実際のロボットで専門家が行った数百のデモンストレーションを収集し、そのデータで模倣学習ポリシーを訓練した後、同じロボットで何度もテストすることである。これらのステップは時間がかかり、費用がかさみ、再現も難しい。なぜなら、ハードウェアが故障したり、照明が変化したり、物体が移動したりする可能性があるからだ。物理ベースの従来型シミュレーターは代替手段を提供するが、形状、接触、摩擦、変形などを手動でモデリングする必要があり、しばしば現実との乖離が大きく、シミュレーションで訓練されたポリシーが実際のロボットで機能しないことが多い。

行動から学習するモデル

著者らは別のアプローチを選択した。彼らのシミュレーターは、ロボットの行動を条件とする映像予測モデルである。現在の画像と一連の行動から、物理エンジンを使わずに直接ピクセル単位で次の画像を生成する。このモデルは、T字型の物体を押す(剛体間の接触)、ロープをクリップに通す(変形可能な物体と剛体の相互作用)、カップをつかむ(グリッパーの微細なダイナミクス)、物体の山を掃く、という4つの操作タスクで訓練された。

著者らによれば、オペレーターはこのモデルを通じてロボットを、単一のRTX 4090カード上で15 FPS(1秒あたり15フレーム)、10分以上にわたって制御でき、安定した物理的に妥当な映像を得られるという。これを実現するため、システムは2段階で動作する。まず、オートエンコーダがRGB画像をコンパクトな潜在表現に圧縮し、その後画像に復元する。次に、このオートエンコーダを固定した別のモデルが、過去の潜在表現と行動から次の潜在状態を予測し、その後画像にデコードする。この予測は自己回帰的に繰り返され、生成された各画像が次の画像の文脈として使用される。著者らは、シミュレーションがインタラクティブで長時間安定するように、一貫性モデルを使用していると述べている。

2つの用途:データ生成と評価

最初の実験では、著者らはシミュレーター内で完全にデモンストレーションを収集し、その後、実データ0%、生成データ100%で模倣学習ポリシーを訓練した。これらのポリシーを実際のロボットに直接デプロイしたところ、タスクを達成し、持続的な人間による摂動に対しても頑健であった。著者らによれば、これは生成データの品質が実データと同等であることを示している。

2番目の実験では、4つのポリシー(DP、ACT、π0、π0.5)が、同じ初期設定で、シミュレーター内と実際のロボット上で評価された。評価の各ポイントはポリシーのチェックポイントに対応し、両環境でスコア付けされた。著者らは、タスクとポリシーに応じて、2つのスコア系列の間に強い相関関係を観察した。質的には、シミュレーションで成功するポリシーは実際のロボットでも成功し、シミュレーションで失敗するポリシーは実際でも失敗した。

著者らは、この枠組みをより多様な環境やより複雑な操作タスクに拡張したいと述べている。また、これらのモデルの性能が、インタラクションデータの量や計算資源に応じてどのように変化するかの研究も挙げており、これはロボット工学のためのより大規模な世界モデルを設計する上で有用な問いであるとしている。

Yixuan Wangは、コロンビア大学コンピュータサイエンスの最終学年博士課程学生であり、NVIDIA Seattle Robotics Labのリサーチサイエンティストである。プロジェクトは専用ページで紹介されており、ブラウザ上でキーボード操作によりシミュレーターを試すことができる。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x