Investigadores propõem verificação « consciente da fonte » para agentes MCP, não apenas para factos

Investigadores propõem verificação « consciente da fonte » para agentes MCP, não apenas para factos
3 min de leitura

Investigadores da Multiverse Computing apresentaram o ProvenanceGuard, um método que verifica não apenas se uma afirmação de um agente de IA é sustentada pelos dados disponíveis, mas também se o é pela fonte que a resposta indica. O trabalho visa um caso específico: uma informação exata, presente algures nas provas consultadas, mas atribuída à fonte errada.

Os agentes que utilizam o Model Context Protocol (MCP) podem invocar uma ferramenta de pesquisa, consultar um dossier estruturado de paciente ou cliente, interrogar uma base de dados e, em seguida, reunir estes elementos numa única resposta. Os sistemas de controlo mais comuns, como o RAGAS faithfulness, MiniCheck, AlignScore ou SummaC, verificam se uma afirmação é sustentada após as provas serem agrupadas. Eles não indicam qual saída de ferramenta a sustenta, nem se é realmente a fonte citada.

Os autores dão o exemplo de um agente de apoio ao cliente que responde: «De acordo com o dossier do cliente, este pacote inclui um período de reembolso de 30 dias.» Este prazo pode ser exato, mas constar de um documento de política comercial e não do dossier citado. Num agente clínico, uma informação sobre o tratamento de um paciente, extraída de uma ferramenta de histórico médico, torna-se enganadora se a resposta a apresentar como uma constatação proveniente da literatura médica.

Um controlo afirmação por afirmação

O ProvenanceGuard aplica-se após a geração da resposta, num agente tratado como uma caixa negra, sem retreino. O sistema lê o rasto MCP, incluindo as saídas das ferramentas e os seus identificadores de fonte, depois divide a resposta em afirmações precisas. Para cada uma, identifica a fonte mais relevante, verifica se esta a sustenta e compara essa fonte com a que a resposta nomeia ou sugere. Produz, finalmente, um veredito por afirmação e uma decisão global, autorizar ou bloquear a resposta.

Para as experiências, os autores utilizaram modelos locais: MiniLM para encontrar a fonte relevante, um verificador de inferência em linguagem natural baseado em DeBERTa para julgar se a fonte sustenta a afirmação, e um modelo de linguagem local para dividir a resposta. Os autores especificam que estes modelos não são impostos e que uma adaptação a modelos alojados na cloud continua a ser possível, sujeita a novos testes e calibrações. Uma resposta bloqueada pode ser reescrita através de uma etapa de reparação do tipo RARR e, em seguida, verificada novamente.

Resultados

O teste principal incide sobre 281 rastos de um agente médico que consultou dossiers de pacientes e artigos de investigação. Peritos humanos examinaram 361 afirmações provenientes de 40 respostas. De acordo com estes peritos, 139 afirmações não deviam passar, e o ProvenanceGuard bloqueou 138. Também pôs de lado para exame ou reparação 67 afirmações consideradas sustentadas, uma opção assumida pelos autores neste enquadramento prudente. Para as afirmações dotadas de uma fonte identificável, a fonte correta foi retida em aproximadamente 86% dos casos.

No mesmo conjunto de afirmações, o score F1 de bloqueio atinge 0,802 para o ProvenanceGuard, contra 0,783 para o MiniCheck, 0,758 para o RAGAS Faithfulness, 0,662 para o AlignScore e 0,436 para o SummaC-ZS. Apenas o ProvenanceGuard associa cada afirmação ao identificador da sua fonte. Num teste mais difícil, com várias fontes similares, o score F1 de bloqueio é de 0,846, mas a fonte exata só é identificada corretamente em 50,3% dos casos. Noutro teste, foram introduzidas 50 atribuições erróneas, e as 50 foram detetadas.

A reparação resolveu as 173 respostas bloqueadas no ensaio sobre rastos completos, mas 144 delas terminaram com um texto de recurso em vez de uma reescrita substancial. Em rastos multi-fonte reconstituídos, as 59 respostas inicialmente bloqueadas foram resolvidas, com apenas dois recursos finais. Em uso offline, o custo adicional é de cerca de meio segundo por resposta na configuração local testada.

O ProvenanceGuard foi também apresentado sob a forma de poster no Agentic AI Summit 2026, na Universidade de Berkeley.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x