デモンストレーションでは印象的なAIエージェントも、実際のユーザーとデータに直面すると失敗することがある。Analytics Vidhyaが公開したガイドでは、これらのシステムの評価は、最終結果の検証から本番環境での監視に至る5層のアプローチとして説明されている。
ガイドによれば、エージェントは誤ったツールを選択したり、失敗するAPIでループしたり、見るべきでないデータを露出したり、レポートの数字を捏造したりする可能性がある。エージェントの評価は言語モデルの評価とは異なる作業であり、目標から結果に至るまでの各段階で失敗が起こり得る。
「成功」の定義を明確にする
テストを書く前に、ガイドは成功の定義を明確にすることを推奨している。4つの質問に答えることを提案している:タスクは何か、何をもって完了とするか、決して起こってはならないことは何か、エラーのコストはどれくらいか。社内FAQでの誤った回答はコストが低いが、決済エージェントでの誤ったアクションはそうではない。
このコストが要求水準を決定する。リスクの低いエージェントは、タスクの90%が成功し、残りは人間がレビューする状態で運用開始できる。リスクの高いエージェントでは、重要なワークフローで99%以上の成功率と、モデルの意思に関わらず特定のアクションを確実にブロックすることが必要になる場合がある。
検証すべき5つの層
第1層は結果に関する:エージェントはタスクを達成したか?ガイドは、エージェントの宣言ではなく、例えばカレンダーなどの実際の状態を確認することを勧めている。第2層は軌跡、つまり一連のアクションに関する。2つのエージェントが同じ答えに達する場合、一方は4ステップ、他方は19ステップかかることもあり、ステップ数だけでは優劣を判断できない。その場合、ループ、ツールの選択、パラメータの正確さ、エラーからの回復方法を検討する。
第3層は、故障しているコンポーネントを特定する:プランナー、文書検索、ツール、メモリ、応答生成。外部文書に依存する検索拡張生成(RAG)システムについては、ガイドはrecall@kとprecision@kの指標を挙げている。第4層はセキュリティに関する:エージェントが読み取る文書への悪意ある指示の注入、データ漏洩、アクセス権限と企業ルールの遵守、個人データの取り扱い。ガイドは一点を強調している:権限はモデルの外部でコード内に適用され、プロンプトのみに依存してはならない。第5層は運用に関する:レイテンシ、タスクあたりのコスト、信頼性、負荷耐性。
ジャッジ、人間、そして指標
結果を評価するために、ガイドは3つの方法を区別している:プログラムによるチェック、言語モデルが評価基準に基づいて回答を採点する「LLM-as-judge」、そして人間によるレビューである。自動ジャッジには、比較において最初の回答を好んだり、より長い回答を好んだりするといった既知のバイアスが存在する。
信頼性の指標は2つの指標を区別する。pass@kはk回の試行のうち少なくとも1回が成功する確率であり、pass^kはすべての試行が成功する確率である。ガイドの例では、各試行の成功率が80%(独立と仮定)の場合、5回の試行のうち少なくとも1回が成功する確率は約99.97%であるのに対し、5回すべてが成功する確率は約32.8%である。ガイドは最後に、毎週失敗をレビューし、新しいケースをテストスイートに追加することを推奨している。
