Investigadores de Multiverse Computing han presentado ProvenanceGuard, un método que verifica no solo si una afirmación de un agente de IA está respaldada por los datos disponibles, sino también si lo está por la fuente que la respuesta designa. El trabajo aborda un caso específico: una información exacta, presente en alguna parte de las pruebas consultadas, pero atribuida a la fuente equivocada.
Los agentes que utilizan el Model Context Protocol (MCP) pueden llamar a una herramienta de búsqueda, consultar un archivo estructurado de paciente o cliente, interrogar una base de datos y luego reunir estos elementos en una sola respuesta. Los sistemas de verificación más comunes, como RAGAS faithfulness, MiniCheck, AlignScore o SummaC, comprueban si una afirmación está respaldada una vez agrupadas las pruebas. No indican qué salida de herramienta la respalda, ni si es precisamente la fuente citada.
Los autores ponen el ejemplo de un agente de atención al cliente que responde: «Según el expediente del cliente, este paquete incluye un periodo de reembolso de 30 días». Este plazo puede ser exacto, pero figurar en un documento de política comercial y no en el expediente citado. En un agente clínico, una información sobre el tratamiento de un paciente, extraída de una herramienta de historial médico, se vuelve engañosa si la respuesta la presenta como un hallazgo procedente de la literatura médica.
Una verificación afirmación por afirmación
ProvenanceGuard se aplica después de la generación de la respuesta, sobre un agente tratado como una caja negra, sin reentrenamiento. El sistema lee la traza MCP, incluidas las salidas de las herramientas y sus identificadores de fuente, luego divide la respuesta en afirmaciones precisas. Para cada una, identifica la fuente más relevante, verifica si la respalda y compara esta fuente con la que la respuesta nombra o sugiere. Finalmente, produce un veredicto por afirmación y una decisión global, autorizar o bloquear la respuesta.
Para los experimentos, los autores utilizaron modelos locales: MiniLM para encontrar la fuente relevante, un verificador de inferencia en lenguaje natural basado en DeBERTa para juzgar si la fuente respalda la afirmación, y un modelo de lenguaje local para dividir la respuesta. Los autores precisan que estos modelos no son obligatorios y que una adaptación a modelos alojados en la nube sigue siendo posible, sujeto a nuevas pruebas y calibraciones. Una respuesta bloqueada puede ser reescrita mediante una etapa de reparación tipo RARR y luego verificada de nuevo.
Resultados
La prueba principal se realiza sobre 281 trazas de un agente médico que consultó expedientes de pacientes y artículos de investigación. Expertos humanos examinaron 361 afirmaciones procedentes de 40 respuestas. Según estos expertos, 139 afirmaciones no debían pasar, y ProvenanceGuard bloqueó 138. También puso aparte para examen o reparación 67 afirmaciones consideradas respaldadas, una elección asumida por los autores en este marco prudente. Para las afirmaciones con una fuente identificable, la fuente correcta se retuvo en aproximadamente el 86 % de los casos.
Sobre el mismo conjunto de afirmaciones, la puntuación F1 de bloqueo alcanza 0,802 para ProvenanceGuard, frente a 0,783 para MiniCheck, 0,758 para RAGAS Faithfulness, 0,662 para AlignScore y 0,436 para SummaC-ZS. Solo ProvenanceGuard asocia cada afirmación al identificador de su fuente. En una prueba más difícil, con varias fuentes similares, la puntuación F1 de bloqueo es de 0,846, pero la fuente exacta solo se identifica correctamente en el 50,3 % de los casos. En otra prueba, se introdujeron 50 atribuciones erróneas, y las 50 fueron detectadas.
La reparación resolvió las 173 respuestas bloqueadas en la prueba sobre trazas completas, pero 144 de ellas terminaron con un texto de reserva en lugar de una reescritura sustancial. En trazas multi-fuente reconstituidas, las 59 respuestas inicialmente bloqueadas se resolvieron, con solo dos reservas finales. En uso fuera de línea, el coste adicional es de aproximadamente medio segundo por respuesta en la configuración local probada.
ProvenanceGuard también se presentó como póster en el Agentic AI Summit 2026, en la Universidad de Berkeley.
