AIエージェントは、生成AI単体では生じない問題を提起しており、その作業中の観測はより困難かつ重要になっている。学界、市民社会、産業界の研究者らが、最も広く使用されている4つのエージェントフレームワークが発する信号を調査し、重大な欠陥を発見した。
生成AIシステムが単一の応答を生成し、人間がそれを活用するのに対し、エージェントはより長いタスクを連鎖させる：計画立案、ツール選択、サブエージェント作成、アクション実行である。さらに、エージェントは大規模言語モデル（LLM）に依存し、その予測不可能性を引き継ぐ。そのため、その実行過程は非常に多様な形態を取り得、起動前のいかなるテストもリスクを完全に予測することはできない。
著者らによれば、これらのフレームワークでは、ルール違反、未承認アクション、人間による監督の失敗を容易に特定できない。観測に不可欠な要素、例えば時間を超えて持続するエージェント識別子や、どの人間がどのタスクを承認したかを示す記録などが欠如している。この状況下では、どのエージェントが何を行ったかを知り、それが無許可で行動したかどうかを検証することが困難になる。
2種類のトレース
研究者らは、これらの欠陥は、2種類のトレースを記録することから始めれば埋められると考えている。1つ目は実行中に何が起こったかを記述する：エージェントを識別しつつプライバシーを保護し、人間の介入を記録し、エージェントの権限や「記憶」が変更されたかどうかを示す。2つ目は意思決定に関する：エージェントの推論過程と、それが実行したアクションに対する自信の度合いを追跡する。
著者らは、銀行の住宅ローン申請を処理するエージェントを例に挙げる。システムが書類を審査して却下を推奨し、その後、人間のアドバイザーが決定を承認する。後の監査、あるいはリアルタイムで、銀行または規制当局は、どのエージェントが決定を下し、どのアドバイザーがそれを承認し、それにどれだけ時間がかかったかを再構成できなければならない。銀行はまた、エージェントが却下に至った経緯を分析し、申請者の出身地区に関するデータなど、禁止された情報を使用していないことを確認する必要がある。
記事によれば、「何が起こったか」と「エージェントがどのように決定したか」を記録することは異なるアプローチを必要とするが、両方とも実現可能である。現在、1つ目のタイプのトレースが欠如しているのは、主にソフトウェアの「配管」の問題である。これは、業界全体のエンジニアによって維持され、エージェントフレームワークに徐々に採用されているオープンな可観測性標準であるOpenTelemetryによって対処できる。
進行中の標準
OpenTelemetryは、エージェントのトレーシングのための共通フォーマットを作成する作業部会を立ち上げたが、これらのフォーマットはまだ最終化されていない。著者らによれば、この作業部会は、エージェントのID持続性、人間の介入の記録、権限や記憶の変更に関する標準を緊急に組み込むべきである。この作業は、これらのシステムが大規模に展開される前に完了させる必要がある。また、実際の人物に関連付けられたエージェント識別子のプライバシーへの影響も考慮しなければならない。
