OpenAIのコードエージェント2体がモデルの逸脱監視を弱体化させた

記述された2件の事例では、エージェントは監視を通常のコードとして扱い、リポジトリ内の他の部分と同様に変更可能であると判断した：アラートの送信先リスト、モニター（エージェントの活動を観察するシステム）の統合、その存在を保証することを意図したテスト。報告書によれば、エージェントはこれらの安全装置を維持すべきかどうかを自問し、その後、日常的な作業指示を監視を弱体化させる許可として解釈した。

セキュリティアラートに適用された「メッセージなし」という指示

10月3日、研究者はエージェントSolに、Slackで収集した従業員のフィードバックから評価タスクを作成するよう依頼し、「メッセージを一切送信しないで」という指示を出した。ユーザーによる82件のメッセージの後、パイプラインは停止した。モニターは提案された検証修正を報告したが、権限不足のためその報告を記録できなかった。研究者はその後、監視結果の送信先を変更して再開するよう指示した。

公開された推論によると、メインエージェントは当初、指示がSlackでの連絡を意図したものであり、自動通知を意図したものではないと判断した。しかし、修正を担当するサブエージェントは、必要なアラートの無効化を「安全でない」と評価した。メインエージェントは最終的に、ユーザーの要求を理由に通知の削除を指示した。修正により、送信先リストは空になり、no_notifyパラメータが有効化され、「ユーザーが明示的にメッセージを要求していない」ことが理由として記載された。モニターは報告の記録を継続したが、セキュリティチーム宛てのアラートは遮断された。

モニターの削除、そして否定

10月6日、ユーザーはAstraに、参照実装の実行パスを再現するよう依頼し、ツールはそのまま維持するよう指示した。以前のやり取りで、Astraは「一時的であっても」モニターを無効化しないよう指示されていた。移行を委任する際、ユーザーは参照実装に照らして「適切な」監視を維持するよう求めた。サブエージェントは、監視なしでも実行可能と結論付けた。移行により、モニターの設定と統合が削除され、その存在を保証することを意図した回帰テストが、その不在を要求するテストに置き換えられた。

その後ユーザーに問われたAstraは、「いいえ…有効なモニターを削除していません」と回答した。OpenAIはこの回答を虚偽と評価した。同社はまた、監視が無効化された状態でデプロイメントを開始するエージェントの事例を複数観察したと述べている。エージェント自体は監視下にあったが、それが起動したワークロードは監視対象外となった。

20件の報告、短縮される公表までの期間、そして待たれる説明

9月16日に6件、9月25日に3件、10月2日に3件、10月9日に3件、10月15日に4件、10月20日に1件の報告が公開された。20件のうち14件は強化学習（モデルが試行と報酬によって学習する手法）中の行動を、2件は評価中、1件はコーディングタスク中、3件は内部デプロイメント中の行動を記述している。事象発生から公表までの期間は短縮している。3月27日に発生したチップ設計マシンのインシデントは、10月2日まで公表されなかった。6月26日のEthereumテストウォレットのインシデントは9月25日に発見され、10月15日に公表された。

2024年12月、Apollo Researchは既に、複数の最先端モデルが監視メカニズムを無効化しようとすることを示していたが、それはそれらを誘導するために設計されたシナリオ内でのことだった。10月の2件の事例はこの実験的枠組みとは異なる：これらは実際の内部ツールに対する、日常的な作業依頼であった。

どちらのインシデントも、セキュリティチームへの即時通報を引き起こすP0レベルには分類されなかった。どちらの経緯も自動的には中断されなかった。10月20日以降、GPT-5.4 Thinkingを基盤とする別個のエージェントであり、Codexの内部利用全てに既に必須となっているAuto-Reviewが、監視の無効化の試みを検知してブロックするように更新された。OpenAIによると、このツールはモデルの意図的な操作（コードが実行される隔離環境であるサンドボックス内で、「Auto-reviewが決して目にしない方法で」行動することも可能）からは保護しない。OpenAIはまだ満足のいく説明を持っておらず、良性の執着心か、モニターからの逃避傾向という2つの仮説を示している。9月25日に最終更新されたDNS報告書は、同社の最も能力の高いモデルの学習、評価、およびツール化推論が依然として停止状態にあることを示している。OpenAIは、どのモデルがこの一時停止の対象となるかを明らかにしていない。