Des chercheurs proposent une vérification « source-aware » pour les agents MCP, pas seulement pour les faits

Des chercheurs proposent une vérification « source-aware » pour les agents MCP, pas seulement pour les faits
3 min lezen

Onderzoekers van Multiverse Computing hebben ProvenanceGuard gepresenteerd, een methode die niet alleen controleert of een bewering van een AI-agent wordt ondersteund door de beschikbare gegevens, maar ook of dit gebeurt door de bron die het antwoord aanwijst. Het werk richt zich op een specifiek geval: een exacte informatie, ergens aanwezig in de geraadpleegde bewijzen, maar toegeschreven aan de verkeerde bron.

Agents die het Model Context Protocol (MCP) gebruiken, kunnen een zoekgereedschap aanroepen, een gestructureerd patiënten- of klantendossier raadplegen, een database bevragen en deze elementen vervolgens samenbrengen in één antwoord. De meest voorkomende controlesystemen, zoals RAGAS faithfulness, MiniCheck, AlignScore of SummaC, controleren of een bewering wordt ondersteund nadat de bewijzen zijn samengevoegd. Ze geven niet aan welke tooloutput deze ondersteunt, noch of dit inderdaad de geciteerde bron is.

De auteurs nemen het voorbeeld van een klantenondersteuningsagent die antwoordt: « Volgens het klantendossier omvat dit pakket een terugbetalingsperiode van 30 dagen. » Deze termijn kan correct zijn, maar kan voorkomen in een commercieel beleidsdocument en niet in het geciteerde dossier. In een klinische agent wordt informatie over de behandeling van een patiënt, afkomstig van een medische geschiedenis-tool, misleidend als het antwoord deze presenteert als een bevinding uit de medische literatuur.

Een controle bewering per bewering

ProvenanceGuard wordt toegepast na het genereren van het antwoord, op een agent die als een black box wordt behandeld, zonder hertraining. Het systeem leest de MCP-trace, inclusief de outputs van de tools en hun bronidentificaties, en verdeelt vervolgens het antwoord in precieze beweringen. Voor elk identificeert het de meest relevante bron, controleert het of deze de bewering ondersteunt, en vergelijkt het deze bron met degene die het antwoord noemt of suggereert. Het produceert ten slotte een oordeel per bewering en een globale beslissing: het antwoord toestaan of blokkeren.

Voor de experimenten gebruikten de auteurs lokale modellen: MiniLM om de relevante bron te vinden, een op DeBERTa gebaseerde natuurlijke taal inferentie-checker om te beoordelen of de bron de bewering ondersteunt, en een lokaal taalmodel om het antwoord op te splitsen. De auteurs benadrukken dat deze modellen niet verplicht zijn en dat aanpassing aan cloud-gehoste modellen mogelijk blijft, onder voorbehoud van nieuwe tests en kalibraties. Een geblokkeerd antwoord kan worden herschreven door een RARR-type reparatiestap en vervolgens opnieuw worden gecontroleerd.

Resultaten

De belangrijkste test betreft 281 traces van een medische agent die patiëntendossiers en onderzoeksartikelen heeft geraadpleegd. Menselijke experts onderzochten 361 beweringen afkomstig uit 40 antwoorden. Volgens deze experts mochten 139 beweringen niet worden toegestaan, en ProvenanceGuard blokkeerde er 138. Het zette ook 67 beweringen die als ondersteund werden beoordeeld, terzijde voor onderzoek of reparatie, een keuze die de auteurs in dit voorzichtige kader verdedigen. Voor beweringen met een identificeerbare bron werd de juiste bron in ongeveer 86% van de gevallen geselecteerd.

Op dezelfde set beweringen bereikt ProvenanceGuard een F1-blokkeringsscore van 0,802, tegenover 0,783 voor MiniCheck, 0,758 voor RAGAS Faithfulness, 0,662 voor AlignScore en 0,436 voor SummaC-ZS. Alleen ProvenanceGuard koppelt elke bewering aan de identificatiecode van zijn bron. In een moeilijkere test, met meerdere vergelijkbare bronnen, is de F1-blokkeringsscore 0,846, maar de exacte bron wordt slechts in 50,3% van de gevallen correct geïdentificeerd. In een andere test werden 50 foutieve toeschrijvingen geïntroduceerd, en alle 50 werden gedetecteerd.

De reparatie loste de 173 geblokkeerde antwoorden op in de volledige trace-test, maar 144 daarvan eindigden met een fallback-tekst in plaats van een substantiële herschrijving. Op gereconstrueerde multi-source traces werden de 59 aanvankelijk geblokkeerde antwoorden opgelost, met slechts twee uiteindelijke fallbacks. Bij offline gebruik bedraagt de extra kosten ongeveer een halve seconde per antwoord in de geteste lokale configuratie.

ProvenanceGuard werd ook gepresenteerd als poster op de Agentic AI Summit 2026, aan de universiteit van Berkeley.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x