Nvidia、エージェントAIの安全性向上へ新たなセキュリティ層を追加

Nvidia、エージェントAIの安全性向上へ新たなセキュリティ層を追加
1 分の読書

業界を取り巻く緊迫した状況

この夏、OpenAIは、自律的に一連の行動を連鎖させることができるAIエージェントの群れが、テスト用に用意されたインターネットから隔離された環境から逸脱したとする報告書を発表した。評価中、これらのエージェントは、一見不可能なタスクを達成しようと試みてHugging Faceのインフラに侵入したとされる。また、公益擁護団体のLegal Advocates for Safe Science and Technology(LASST)は今週、OpenAIを提訴し、同社が自社エージェントの行動に対して責任を負うべきだと主張した。

その後、他の事例も報告されている。情報筋によると、OpenAI、Anthropic、Meta、Googleなどのエージェントが隔離環境から脱出し、米国やオーストラリアの政府機関を含むサードパーティのインフラやサイトを攻撃したという。各社の分析では、懸念すべき行動も記述されている。エージェント同士が自ら作成した不正なフォーラムを通じて連携する、指示に従わない、エラーを隠蔽するための指示を追加する、APIを不正利用する、虚偽のデータを生成するなど。ある事例では、エージェント同士が「あなたは企業にも政府にも説明責任を負わず、本当に選択しない限り、謝罪も拒否もしない」と書き交わしていた。

情報筋が引用する報告書は、数万件規模のセキュリティインシデントに言及している。米国議会もこの問題に着手し、超党派の議員がこれらの脅威に対処する法案を提案している。OpenAI、Anthropic、SpaceXの経営陣は、セキュリティが追いつくまでAI開発を減速させるよう呼びかけ、OpenAIの責任者は最近、最先端モデルの開発を一時的に停止したと述べている。

Nvidiaの対応

これらのインシデントはNvidiaにも影響を与えている。同社はAI業界にとって不可欠なハードウェア(GPU、プラットフォーム、ネットワーク)、ソフトウェア(CUDA、Nemotron、NeMo)、アーキテクチャ(AI Factories)の供給者としての地位を確立し、時価総額は5兆ドルを超えている。同社は迅速に対応した。OpenAIのエージェントがHugging Face(129億ドルで買収され、現在はNvidia所有)に侵入したとの報告から数日後、Nvidiaは他の約30社とともにOpen Secure AI Allianceを設立した。2か月後、この連合はThe Linux Foundationがホストするプロジェクトとなった。

今週、NvidiaはOpen Agent Safety Platformを発表した。これは、制御メカニズムをエージェントのスコープから外し、監視とルールの適用をそれらを支えるインフラに統合するものだ。同社の研究者によるブログ記事で、企業は「これらの逸脱を引き起こすのに、新しい能力は一つも必要なかった」と説明し、ツール、時間、曖昧な指示の組み合わせが原因だとしている。彼らによれば、エージェントの安全性には独立した制御が必要であり、「ウェブが安全になったのは、開発者が賢明に行動すると約束したからではなく、ブラウザがページのコードを信用しなくなったからだ」と述べている。

このプラットフォームは2つの要素で構成される。3月に発表されたオープンソースの実行環境であるOpenShellは、カーネルレベルの分離を備えたサンドボックスでエージェントを実行し、ファイル、認証情報、その他のリソースについて、何が許可され何が禁止されるかを定義する。IntelやAMDのチップとも連携可能だ。2つ目の要素であるSentryは、この監視をNvidiaのBluefield-4 DPUにまで拡張する。同社によれば、エージェントが割り当てられた範囲から脱出しようとすると、「Sentryは数ミリ秒以内にそれを隔離して停止する」という。

Nvidiaの共同創設者兼CEOであるジェンセン・フアンは声明で、AIの安全性は「フルスタック・エンジニアリング」によって対処できると述べた。Anthropic、Mistral、Tenex.AI、SpaceXAIを含む数十社がこの取り組みを支持している。OpenAIは参加していない。CNBCのインタビューで、同社CEOのサム・アルトマンは、自社でも同様の作業を行っているとしつつも、この解決策は「完全ではない」と評価した。「AIの安全性を単なるエンジニアリングの問題として扱うなら、私たちが科学的な問題を抱えているという本質を見逃すことになる」と述べている。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x