研究者らがmcpエージェント向け「ソース認識型」検証を提案、事実確認だけでなく

研究者らがmcpエージェント向け「ソース認識型」検証を提案、事実確認だけでなく
1 分の読書

Multiverse Computingの研究者らは、ProvenanceGuardを発表した。これは、AIエージェントの発言が利用可能なデータによって裏付けられているかどうかだけでなく、その回答が参照する情報源によって裏付けられているかどうかも検証する手法である。この研究は、ある特定のケースを対象としている:正確な情報が参照した証拠の中のどこかに存在するが、誤った情報源に帰属させられている場合だ。

Model Context Protocol (MCP)を利用するエージェントは、検索ツールを呼び出したり、患者や顧客の構造化されたファイルを参照したり、データベースを照会したりして、それらの要素を1つの回答にまとめることができる。RAGAS faithfulness、MiniCheck、AlignScore、SummaCなどの最も一般的な検証システムは、証拠が集められた後、発言が裏付けられているかどうかを確認する。それらは、どのツール出力がそれを支持しているか、またそれが引用された情報源であるかどうかを示さない。

著者らは、カスタマーサポートエージェントが「顧客ファイルによると、このプランには30日間の返金期間が含まれています」と回答する例を挙げている。この期間は正確かもしれないが、引用されたファイルではなく、ビジネスポリシー文書に記載されている可能性がある。臨床エージェントでは、医療履歴ツールから得られた患者の治療に関する情報は、回答がそれを医学文献からの知見として提示する場合、誤解を招くものとなる。

発言ごとの検証

ProvenanceGuardは、回答生成後に適用され、再学習なしでブラックボックスとして扱われるエージェントに対して機能する。このシステムは、ツールの出力とその情報源識別子を含むMCPトレースを読み取り、回答を個別の明確な発言に分割する。それぞれの発言について、最も関連性の高い情報源を特定し、それがその発言を支持しているかどうかを検証し、その情報源を回答が明示または示唆する情報源と比較する。最後に、発言ごとの判定と、回答を許可するかブロックするかの全体的な決定を出力する。

実験では、著者らはローカルモデルを使用した:関連する情報源を見つけるためのMiniLM、発言を支持するかどうかを判断するためのDeBERTaベースの自然言語推論検証器、そして回答を分割するためのローカル言語モデルである。著者らは、これらのモデルは必須ではなく、クラウドでホストされるモデルへの適応も、追加のテストとキャリブレーションを条件に可能であると述べている。ブロックされた回答は、RARRタイプの修復ステップによって書き直され、再度検証される可能性がある。

結果

主要なテストは、患者ファイルと研究論文を参照した医療エージェントの281件のトレースを対象としている。人間の専門家が、40件の回答から得られた361件の発言を検証した。これらの専門家によると、139件の発言は通過すべきではなかったが、ProvenanceGuardはそのうち138件をブロックした。また、支持されていると判断された67件の発言を、審査または修復のために保留とした。これは、この慎重な枠組みの中で著者らが受け入れた選択である。識別可能な情報源を持つ発言については、約86%のケースで正しい情報源が選択された。

同じ発言セットにおいて、ブロックのF1スコアは、ProvenanceGuardが0.802に達したのに対し、MiniCheckは0.783、RAGAS Faithfulnessは0.758、AlignScoreは0.662、SummaC-ZSは0.436であった。各発言をその情報源の識別子に関連付けるのはProvenanceGuardだけである。より難しいテストでは、複数の類似した情報源がある場合、ブロックのF1スコアは0.846であったが、正確な情報源が正しく識別されたのは50.3%のケースのみであった。別のテストでは、50件の誤った帰属が導入され、そのすべてが検出された。

修復ステップにより、完全トレース試験でブロックされた173件の回答はすべて解決されたが、そのうち144件は実質的な書き直しではなく、代替テキストで終了した。再構成されたマルチソーストレースでは、最初にブロックされた59件の回答はすべて解決され、最終的な代替はわずか2件であった。オフライン使用では、テストされたローカル構成では、回答ごとに約0.5秒の追加コストがかかる。

ProvenanceGuardはまた、2026年のAgentic AI Summit(カリフォルニア大学バークレー校)でポスター発表された。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x