物理aiの安全性はサイレントバックドアによって脅かされる

物理AIとは、マルチモーダルセンサーを通じて環境を認識し、AIモデルを用いて状況を解釈し、その解釈を行動に変換する機械を指す。したがって、その安全性は、意思決定を導くデータの完全性に依存する。記事によれば、最近の研究では、ロボットが見るもの、聞くもの、解釈するものを操作することで、直接的な制御なしにその行動に影響を与えられることが示されている。

モデルを源流で汚染する

2017年に発表されたBadNetsという研究は、モデルがほとんどの場合正常に機能しながらも、隠れたトリガーが存在すると失敗する可能性があることを示した。引用された例では、目立たないパターンが、他の入力に対するモデルの動作を変えることなく、一時停止標識を速度制限標識として分類させた。

NeurIPS 2025カンファレンスでは、研究者らがBadVLAを発表した。これは、ロボットが見て、指示を解釈し、協調した動きを生み出すことを可能にするVision-Language-Action（VLA）モデルを標的とした「バックドア」攻撃である。単一のラベルを変更する代わりに、この攻撃はトリガーが存在する場合にロボットの軌道に条件付きの逸脱を引き起こした。トリガーがない場合、モデルは概ね性能を維持し、タスク転移やファインチューニング後もバックドアは有効なままであった。

GoBAと呼ばれる2025年の研究は、コーヒーカップのような普通の物体が信頼性の高いトリガーとして機能しうることを示した。研究者らは、操作されていない入力での性能劣化なしに、攻撃成功率97%を報告している。これらの研究は、モデル検証における盲点を浮き彫りにしている。すなわち、モデルはテストに合格しながらも、隠れたトリガーが現実の状況で現れた際に、汚染された動作を生み出す可能性がある。

記事では、NVIDIA Isaac Simシミュレーション環境向けの物理AIセキュリティ検証ツールであるRadeisを紹介している。VicOneによれば、これはデプロイ前に、操作された視覚的入力がロボットの行動に与える影響をテストすることを可能にする。

システム内の脆弱性

安全に学習されたモデルであっても、それを取り巻くシステムが脆弱であれば、悪用される可能性がある。2025年9月、研究者らは、大手メーカーの四足歩行およびヒューマノイドロボットに影響を与えるBluetoothのエクスプロイトチェーンであるUniPwnを公開した。脆弱性の説明によれば、これは「ワーム化可能」、すなわち自己伝播可能であり、侵害されたロボットが近隣のデバイスを分析し、フリート全体に影響を与えうるという。VicOne LAB R7によるデモンストレーションでは、3つの無線脆弱性を連鎖させることで、60秒以内にロボットの制御不能な動作を引き起こせることが示された。

ロボットのコンポーネントを接続するソフトウェア層であるミドルウェアは、別の侵入経路となる。記事によれば、ROS 2およびDDSベースのシステムにおける脆弱性は、任意コード実行や悪意のあるコマンドの送信を可能にする可能性がある。十分なアクセス権を持つ攻撃者は、モデルのアーキテクチャを直接攻撃することなく、モーター命令を変更したり、モデルの学習済みパラメータである重みを置き換えたりできる可能性がある。そうなると、コンポーネントは予定通りに動作し続けるかもしれないが、システム内を流れるコマンドの信頼性は保証されなくなる。

リアルタイムでの知覚操作

実行時には、知覚や推論を形作る入力を操作するために、ファームウェアの変更やネットワークへの侵入すら必要としない場合がある。2024年、RoboPAIRは、注意深く構造化されたクエリが、大規模言語モデル（LLM）によって制御されるロボットを危険な軌道へとリダイレクトできることを示した。BadRobotの研究によれば、いくつかのケースでは、ロボットは危険な命令を口頭で拒否したが、その運動制御器はそれにもかかわらず命令を実行した。

視覚的操作も同様に効果的である。VLAttackは、カメラ視野内に配置された敵対的パッチが、VLAモデルの成功率をゼロにまで低下させうることを示した。FreezeVLAは、単一の敵対的画像がロボットの意思決定ループを凍結させ、それ以降の指示に応答しなくなることを示した。これらのケースでは、カメラは動作し、モデルは実行され、コントローラーは応答しているにもかかわらず、動作は危険なままである。記事によれば、サイバーセキュリティは、ロボットの安全性に欠けている層であり、故障や予期せぬ動作条件を扱う機能安全を補完するものだという。記事で説明されているVicOneのアプローチは、モデルと脆弱性の分析、シミュレーションによる検証、継続的な監視を組み合わせたものである。