I ricercatori di Multiverse Computing hanno presentato ProvenanceGuard, un metodo che verifica non solo se un’affermazione di un agente IA è supportata dai dati disponibili, ma anche se lo è dalla fonte che la risposta indica. Il lavoro mira a un caso specifico: un’informazione esatta, presente da qualche parte nelle prove consultate, ma attribuita alla fonte sbagliata.
Gli agenti che utilizzano il Model Context Protocol (MCP) possono chiamare uno strumento di ricerca, consultare una cartella strutturata di paziente o cliente, interrogare un database, per poi riunire questi elementi in una singola risposta. I sistemi di controllo più comuni, come RAGAS faithfulness, MiniCheck, AlignScore o SummaC, verificano se un’affermazione è supportata una volta che le prove sono state aggregate. Non indicano quale output dello strumento la supporti, né se sia proprio la fonte citata.
Gli autori prendono l’esempio di un agente di supporto clienti che risponde: «Secondo la cartella cliente, questo pacchetto include una finestra di rimborso di 30 giorni». Questa durata può essere esatta, ma figurare in un documento di politica commerciale e non nella cartella citata. In un agente clinico, un’informazione sul trattamento di un paziente, tratta da uno strumento di anamnesi medica, diventa fuorviante se la risposta la presenta come un dato proveniente dalla letteratura medica.
Un controllo affermazione per affermazione
ProvenanceGuard si applica dopo la generazione della risposta, su un agente trattato come una scatola nera, senza ri-addestramento. Il sistema legge la traccia MCP, inclusi gli output degli strumenti e i loro identificatori di fonte, poi suddivide la risposta in affermazioni precise. Per ciascuna, identifica la fonte più pertinente, verifica se la supporta, e confronta questa fonte con quella che la risposta nomina o suggerisce. Produce infine un verdetto per affermazione e una decisione globale, autorizzare o bloccare la risposta.
Per gli esperimenti, gli autori hanno utilizzato modelli locali: MiniLM per trovare la fonte pertinente, un verificatore di inferenza in linguaggio naturale basato su DeBERTa per giudicare se la fonte supporti l’affermazione, e un modello di linguaggio locale per suddividere la risposta. Gli autori precisano che questi modelli non sono imposti e che un adattamento a modelli ospitati nel cloud rimane possibile, previa nuovi test e calibrazioni. Una risposta bloccata può essere riscritta da una fase di riparazione di tipo RARR, per poi essere verificata nuovamente.
Risultati
Il test principale riguarda 281 tracce di un agente medico che ha consultato cartelle di pazienti e articoli di ricerca. Esperti umani hanno esaminato 361 affermazioni provenienti da 40 risposte. Secondo questi esperti, 139 affermazioni non avrebbero dovuto passare, e ProvenanceGuard ne ha bloccate 138. Ha anche messo da parte per esame o riparazione 67 affermazioni giudicate supportate, una scelta assunta dagli autori in questo quadro prudente. Per le affermazioni dotate di una fonte identificabile, la fonte corretta è stata individuata in circa l’86% dei casi.
Sullo stesso set di affermazioni, il punteggio F1 di blocco raggiunge 0,802 per ProvenanceGuard, contro 0,783 per MiniCheck, 0,758 per RAGAS Faithfulness, 0,662 per AlignScore e 0,436 per SummaC-ZS. Solo ProvenanceGuard associa ogni affermazione all’identificatore della sua fonte. In un test più difficile, con più fonti simili, il punteggio F1 di blocco è di 0,846, ma la fonte esatta è identificata correttamente solo nel 50,3% dei casi. In un altro test, 50 attribuzioni errate sono state introdotte, e tutte le 50 sono state rilevate.
La riparazione ha risolto le 173 risposte bloccate nella prova su tracce complete, ma 144 di esse si sono concluse con un testo di ripiego piuttosto che con una riscrittura sostanziale. Su tracce multi-fonte ricostruite, le 59 risposte inizialmente bloccate sono state risolte, con solo due ripieghi finali. In uso offline, il sovraccarico è di circa mezzo secondo per risposta nella configurazione locale testata.
ProvenanceGuard è stato anche presentato sotto forma di poster all’Agentic AI Summit 2026, all’università di Berkeley.
