MIT Technology Reviewに掲載された記事で、著者らは、人工知能への信頼はその挙動を予測することに依存することはできないと主張している。彼らによれば、信頼はむしろ、システムの範囲外で適用される厳格な制限によって築かれるという。AI自身が移動可能な安全策は、安全策たり得ない。
記事はOpenAIを例に挙げている:安全策は、エージェントが変更可能なシステム内部に存在していた。従来のソフトウェアは人間が書いた指示を実行する。一方、AIは著者らが「合成的判断」と呼ぶものを行使する:誰もプログラムしていない状況を解釈し、誰も規定していない応答を生成する。AIに与える自由度が大きければ大きいほど、信頼が歴史的に構築されてきた予測可能性を保証することは困難になる。
従来の信頼の定義の限界
記事は、同メディアが扱った最近の二つのアプローチを振り返る。第一のアプローチは、人間をループ内に置くだけでは不十分だとし、人間は根本的にAIシステムの意図を理解することが不可能であると指摘し、大学、公的機関、技術産業を結びつけた学際的研究を提唱する。第二のアプローチは、内部の動作方法が誰にも分からない場合でも、モデルがルールから逸脱するのを防ぐためのインセンティブの使用を述べる。両者とも、AIの意思決定の一つ一つを理解または監視することは不可能であることを認めている。
しかし、要件、テスト、認証、安全マージン、ロック、成功・失敗基準など、私たちの信頼のツールはすべて、システムの挙動を境界付けする能力に依存している。著者らはここで「決定論のパラドックス」について語る。生成AIとエージェントにおいて、この挙動は、学習データ、アーキテクチャ、指示、文脈、参照された情報源、環境に依存する。入力は変化し、モデルは更新され、ツールは進化し、エージェントは互いに相互作用する。小さな変動が、誰も意図していない結果へと波及する。
問題は偶然性ではなく、記事は主張する。問題は、事前に列挙するには広すぎる可能性のある挙動の空間である。したがって、信頼は予測された出力ではなく、境界の周りに構築されなければならない。目的は決定論的なAIではなく、「境界付けされ、観測可能で、制御可能な」AIである。それはまた、単発のテストでもありえない:AIはデプロイ後も進化し続け、すべてのテストを通過したシステムが、それらのテストに意味を与えていた条件から外れる可能性がある。記事によれば、信頼は「継続的に獲得される」ものでなければならない。
安全工学は、この変動性の一部を何十年も考慮してきた。Nuclear Regulatory Commissionは、複雑なシステムにおける故障の確率を推定するために確率的リスク評価に依存している。STAMPモデルは、事故が、正しく機能しているコンポーネント、人、組織間の相互作用から生じうることを示した。AIは状況を一変させる。なぜなら、単一のコンポーネントが今や、解釈し、推論し、行動できるからだ。AIがブラウザから、車両、ロボット、医療システム、産業制御、データセンターへと移行するにつれ、誤った応答が生命を脅かす事象となりうるため、その利害関係は大きくなる。
スケールする信頼を構築する
記事によれば、1時間に数千のAIの行動を検証する人物は、許容可能でも拡張可能でもない安全策とはならない。しかし、解決策は人間をループから外すことではなく、その判断を重要な場所に置くことにある:事前に限界を設定し、重大な結果をもたらす稀な行動を承認する一方で、厳格な制約が残りを管理する。
したがって、信頼はシステムのアーキテクチャまで遡らなければならない。著者らは三つの問いを提示する:AIにどのような権限を与えるか、どのような条件下で、どのような証拠に基づいてか? 彼らは四つ目の問い、すなわち、これらの条件の外側で何が起こるかという問いを加える。彼らは要約して、このアプローチは、モデルがベンチマーク(基準テスト)で94%のスコアを獲得したかどうかという問いとは大きく異なると結論付けている。
