Des chercheurs proposent une vérification « source-aware » pour les agents MCP, pas seulement pour les faits

Des chercheurs proposent une vérification « source-aware » pour les agents MCP, pas seulement pour les faits
4 min de lecture

Des chercheurs de Multiverse Computing ont présenté ProvenanceGuard, une méthode qui vérifie non seulement si une affirmation d’un agent IA est étayée par les données disponibles, mais aussi si elle l’est par la source que la réponse désigne. Le travail vise un cas précis : une information exacte, présente quelque part dans les preuves consultées, mais attribuée à la mauvaise source.

Les agents qui utilisent le Model Context Protocol (MCP) peuvent appeler un outil de recherche, consulter un dossier structuré de patient ou de client, interroger une base de données, puis rassembler ces éléments en une seule réponse. Les systèmes de contrôle les plus courants, comme RAGAS faithfulness, MiniCheck, AlignScore ou SummaC, vérifient si une affirmation est soutenue une fois les preuves regroupées. Ils n’indiquent pas quelle sortie d’outil la soutient, ni si c’est bien la source citée.

Les auteurs prennent l’exemple d’un agent de support client qui répond : « Selon le dossier client, ce forfait inclut une fenêtre de remboursement de 30 jours. » Cette durée peut être exacte, mais figurer dans un document de politique commerciale et non dans le dossier cité. Dans un agent clinique, une information sur le traitement d’un patient, tirée d’un outil d’historique médical, devient trompeuse si la réponse la présente comme une constatation issue de la littérature médicale.

Un contrôle affirmation par affirmation

ProvenanceGuard s’applique après la génération de la réponse, sur un agent traité comme une boîte noire, sans réentraînement. Le système lit la trace MCP, y compris les sorties des outils et leurs identifiants de source, puis découpe la réponse en affirmations précises. Pour chacune, il identifie la source la plus pertinente, vérifie si elle la soutient, et compare cette source à celle que la réponse nomme ou suggère. Il produit enfin un verdict par affirmation et une décision globale, autoriser ou bloquer la réponse.

Pour les expériences, les auteurs ont utilisé des modèles locaux : MiniLM pour trouver la source pertinente, un vérificateur d’inférence en langage naturel fondé sur DeBERTa pour juger si la source soutient l’affirmation, et un modèle de langage local pour découper la réponse. Les auteurs précisent que ces modèles ne sont pas imposés et qu’une adaptation à des modèles hébergés dans le cloud reste possible, sous réserve de nouveaux tests et calibrages. Une réponse bloquée peut être réécrite par une étape de réparation de type RARR, puis vérifiée à nouveau.

Résultats

Le test principal porte sur 281 traces d’un agent médical ayant consulté des dossiers de patients et des articles de recherche. Des experts humains ont examiné 361 affirmations issues de 40 réponses. Selon ces experts, 139 affirmations ne devaient pas passer, et ProvenanceGuard en a bloqué 138. Il a aussi mis de côté pour examen ou réparation 67 affirmations jugées soutenues, un choix assumé par les auteurs dans ce cadre prudent. Pour les affirmations dotées d’une source identifiable, la bonne source a été retenue dans environ 86 % des cas.

Sur le même jeu d’affirmations, le score F1 de blocage atteint 0,802 pour ProvenanceGuard, contre 0,783 pour MiniCheck, 0,758 pour RAGAS Faithfulness, 0,662 pour AlignScore et 0,436 pour SummaC-ZS. Seul ProvenanceGuard associe chaque affirmation à l’identifiant de sa source. Dans un test plus difficile, avec plusieurs sources similaires, le score F1 de blocage est de 0,846, mais la source exacte n’est identifiée correctement que dans 50,3 % des cas. Dans un autre test, 50 attributions erronées ont été introduites, et les 50 ont été détectées.

La réparation a résolu les 173 réponses bloquées dans l’essai sur traces complètes, mais 144 d’entre elles se sont terminées par un texte de repli plutôt que par une réécriture substantielle. Sur des traces multi-sources reconstituées, les 59 réponses initialement bloquées ont été résolues, avec seulement deux replis finaux. En usage hors ligne, le surcoût est d’environ une demi-seconde par réponse dans la configuration locale testée.

ProvenanceGuard a également été présenté sous forme de poster à l’Agentic AI Summit 2026, à l’université de Berkeley.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x