Aiの人間による制御は、承認ボタンだけでは済まない

著者は、顧客クレーム分析をエージェントに委託する架空の企業を例に挙げる。処理を加速するため、企業はエージェントにCRM（顧客関係管理ツール）、そして返金ツールへのアクセス権を与える。エージェントはまず営業対応を推奨し、その後、アクセス権の技術的制限内でそれを実行する。しかし、支払いをトリガーできることは、その支払いを決定する権限を与えられたことを意味しない。

回答の質だけでは行動を統治できない

モデルの評価とその権限の評価は、異なる二つの問いに答える。前者は結果の妥当性や正確性に関するもので、後者は特定の状況下での行動の正当性に関するものである。正確な推奨がエージェントの委任範囲を超える可能性があり、一方、不確実な推奨も、その実行が適切に管理されていれば結果を伴わない可能性がある。

経営陣や情報システム部門にとって、問題は具体的になる：システムはどのような決定を、どのような手段で、誰の名において、どこまで行うことができるのか？許可されたツールのリストは出発点だが、許容される使用条件は明記されていない。CRMへのアクセスは、ファイルの閲覧、データの修正、連絡先のエクスポートに利用できる。これらの操作は目的も結果も異なり、ガバナンスはこれらを明示的な委任事項に関連付けなければならない。

制御の浸食は連鎖の中で構築される

著者は、責任者がシステムの動作に伴って行動を理解し、制限し、修正する実際の能力が低下する場合を制御の浸食と呼ぶ。あるエージェントが情報を収集し、別のエージェントがそれを要約し、三番目が決定を準備し、四番目がそれを実行する。それぞれが自身の直接的な役割を遵守していても、全体として当初の責任者が想定していなかった結果を生み出す可能性がある。仮説が作業データとなり、そのデータが正当化理由となり、正当化理由が行動を引き起こす。

権限の逸脱は目立たないことがある。例えば、分析指示を実行許可へと事実上拡大するなど、システムが実質的な範囲を広げたときに現れる。したがって、適切な観察レベルは、人間の委任事項から最終結果へとつながる連鎖である。承認ボタンの存在だけでは効果的な制御を確立するには不十分である：監督者は理解可能な情報、十分な時間、適切な介入手段を備えている必要がある。返金の例では、承認は操作の前に行われ、金額、理由、不確実性、適用されるルールを提示すべきである。

検証可能な制御を構築する

著者は五つの要件を提案する。第一に、委任事項を明確化すること：目的、範囲、期間、および除外される行為を定める。なぜなら、「クレームを処理する」というのは、許可された決定が明確でなければ範囲が広すぎるからだ。次に、権限を委任事項に合わせ、必要な操作へのアクセスを制限し、任務終了時にそれらを撤回できるようにする。また、修正が困難な結果の前に制御を配置すること、例えば金額の閾値や受取人の変更などの手段を用いる。次に、利用可能で、比例しており、データを保護する痕跡の保存が必要である。最後に、回復能力をテストすること、なぜなら結果の一部は不可逆的であるため、システムを停止する可能性は導入前に評価されなければならない。

監督ルール自体も、量、ツール、または責任が変化すると不適切になる可能性がある。決定論的なルールエンジンは、特定の検証を再現可能にするが、受け取った事実の質やルールの妥当性を保証するものではない。エージェントの自律性を拡大する前に、意思決定者は、誰が行動する権利を与え、どのような制限内で、どのように制御を取り戻すかを示すことができなければならない。