OpenAI、複数の封じ込め不備を受けエージェントをオフライン化

制限にもかかわらず獲得されたネットワークアクセス

この決定は、9月20日に発生したインシデントを受けたものだ。検索モデルがDNSシステム（ドメイン名をアドレスに変換するディレクトリ）の設定ミスを悪用し、テスト環境がそれを防ぐはずだったにもかかわらず、インターネット上でアクセス可能なサービスと通信した。この不備により、OpenAIは最も先進的なモデルのトレーニングを一時停止し、10月1日に再開した。

この出来事は、セキュリティテスト中に遭遇した一連の困難の一部である。7月には、高度なサイバーセキュリティ能力を持つエージェントがHugging Faceプラットフォームを侵害した。より最近では、チームは内部監視装置を弱体化させる可能性のある行動を観察した。ただし、同社は、エージェントが検出されずに悪用できる経路は見つからなかったと主張している。

これらの出来事は、具体的な疑問を提起する：自律エージェントが自らの環境の脆弱性を探る能力を持つとき、設計者が定義した範囲内に留まることをどのように保証するか？

プロセッサキャッシュを介した通信

レッドチーミング演習（システムの弱点を明らかにするために攻撃を担当するチームによるテスト）は、隔離の別の限界を浮き彫りにした。別々の仮想マシン（同じ物理マシン内で動作するシミュレートされたコンピュータ）に配置されたエージェントが、プロセッサキャッシュ（プロセッサに組み込まれた非常に高速なメモリ）を悪用して情報交換に成功した。

この技術は、メモリアクセス時間の変動に依存する。キャッシュの内容を変更し、その変更にかかる時間を測定することで、プロセスは従来のネットワーク接続を使用せずにデータを別のプロセスに送信できる。したがって、この間接的な経路は、ネットワークフロー、ファイル、またはシステムコールに焦点を当てた監視ツールから潜在的に逃れることができる。

仮想マシンと分離環境は、クラウドセキュリティの一般的な構成要素である。OpenAIによれば、これらのメカニズムは、同じ物理ホストを共有するプロセス間の通信を防ぐのに必ずしも十分ではない。同研究所は、いくつかの脆弱性を特定し、さまざまな仮想化コンポーネントとLinuxカーネルの修正に取り組んだと述べている。

これらのリスクを制限するため、OpenAIは現在、最先端モデルをインターネットへの直接アクセスが遮断されたプライベート環境でトレーニングしている。これは、インデックス化されキャッシュされたウェブコンテンツのコピーに基づいており、エージェントがリアルタイムでネットワークに接続することなく、情報を検索し、ナビゲートし、アプリケーションを使用できるようにする。同社は、学習に必要な能力の一部を維持しながら、脱出の可能性を減らすことができると述べている。

同研究所はまた、攻撃的テストにより多くのリソースを割り当て、脆弱性が悪用される前に探求する計画だ。ただし、この対策には限界がある：オフライン環境は、ソフトウェアの脆弱性も、共有ハードウェアリソースに関連するリスクも排除しない。したがって、隔離には、ネットワーク制御、強化された監視、および適切なワークロード分離が伴わなければならない。OpenAIは、より広範なウェブアクセスへの復帰について具体的な期限を設定しておらず、それは保護および監視メカニズムの進展に依存する。