AIエージェントによって、リスクの性質が変化する。 誤りは、単なる誤った回答や不正確な情報に留まらず、意思決定となり、情報システム内での行動へと発展する可能性がある。キャップジェミニ リサーチ インスティテュートによれば、これらのエージェントは2028年までに最大4500億ドルの価値を生み出す可能性があり、ビジネスプロセスの15％が今後12ヶ月以内に部分的または完全な自律性のレベルに達する可能性がある。
エージェントが価値創造の連鎖に深く関与するほど、その行動力を制御することは、サイバーセキュリティと同様にガバナンスの課題となる。したがって、長らくモデルやそのデータ、バイアス、幻覚に焦点が当てられてきた議論は、今後は情報システム内の権力構造について行われるべきだと、このテキストは強調している。
委譲と権限の移譲を混同しないこと
反射的に、エージェントがユーザーに「代わって」行動し、ユーザーの権利を引き継ぐことを許可しがちである。このような仕組みは既に観察されているが、ここでは誤りとされている。財務責任者は正当に資金管理、報酬、報告、あるいは特定の戦略的業務にアクセスするが、請求書を照合するエージェントには、その権限の一部しか必要ない。財務責任者のIDをエージェントに渡すことは、任務を与える者の権力とそれを実行する者の権力を混同することになる。
ソフトウェアにはパーミッションがあるが、エージェントには委任状が必要である。このテキストによれば、この委任状は、独自のアイデンティティ、明確な任務、アクセス可能なリソース、期間、許可された行動、および取り消し能力に基づくべきである。エージェントの実効的な権限は、自身の権利、ユーザーの権利、および任務に必要なものの交差点に限定されるべきであり、「決してそれらの合計ではない」。このルールは、複数のエージェントが協力する場合に決定的となる：タスクを委任することが、さらなる権限の委譲を可能にしてはならない。
この課題は、特に銀行セクターなど、一部の企業ですでに具体的なものとなっている。そこでは、安全でガバナンスされた生成AI環境が従業員に展開されている。これらの環境がビジネスプロセスに介入できるエージェントへと進化するとき、データを保護するだけでは不十分であり、機械に委ねられた権限を管理する必要がある。
自律性を与えるためにエージェントにアイデンティティを付与する
クラウド・セキュリティ・アライアンスによると、非人間のアイデンティティ、サービスアカウント、APIキー、証明書、トークン、またはエージェントが使用するIDは、企業内の人間のアイデンティティに比べて平均で45倍も多い。したがって、誰が行動しているかを正確に把握する必要がある。この点に関して、テキストは、エージェントの運用とライフサイクルに責任を持つ「Agent Owner」、独自の権限を持つエージェント自体、そしてエージェントが介入するユーザーを区別している。
このガバナンスには、エンドツーエンドの追跡可能性が求められる。企業は、エージェントの行動、情報システムとの相互作用、およびエージェントが利用するデータソースを再構築できる必要がある。この可視性により、不適切な行動を検出し、アラートや安全策を発動し、重要なまたは機密性の高い機能については、エージェントの動作が十分に検証されるまで、人間による検証を維持できるようにする必要がある。
この分析によれば、目標はエージェントの自律性を制限することではなく、信頼の条件を創り出すことである。企業が自社のエージェントを特定し、その委任範囲を限定し、その行動を追跡し、人間による介入能力を維持する方法をよりよく理解するほど、重要な責任をエージェントに委ねることができるようになる。テキストは結論として、問題はもはや企業がどのAIを使用しているかだけでなく、誰に、どのようなアイデンティティで、どのような管理下で、情報システムの鍵を渡したか、ということになるだろうと述べている。
