قدم باحثون من Multiverse Computing طريقة ProvenanceGuard التي تتحقق ليس فقط مما إذا كانت تأكيدات وكيل الذكاء الاصطناعي مدعومة بالبيانات المتاحة، بل أيضًا مما إذا كانت مدعومة بالمصدر الذي تشير إليه الإجابة. يهدف العمل إلى حالة محددة: معلومة صحيحة موجودة في مكان ما ضمن الأدلة المستعرضة، لكنها منسوبة إلى المصدر الخطأ.
يمكن للوكلاء الذين يستخدمون Model Context Protocol (MCP) استدعاء أداة بحث، استعراض ملف منظم لمريض أو عميل، استجواب قاعدة بيانات، ثم تجميع هذه العناصر في إجابة واحدة. أنظمة التحكم الأكثر شيوعًا، مثل RAGAS faithfulness وMiniCheck وAlignScore وSummaC، تتحقق مما إذا كانت التأكيدات مدعومة بعد تجميع الأدلة. لكنها لا تشير إلى أداة الإخراج التي تدعمها، ولا إذا كان المصدر المذكور هو المصدر الفعلي.
يأخذ المؤلفون مثال وكيل دعم العملاء الذي يجيب: «وفقًا لملف العميل، يشمل هذا الباقة نافذة استرداد لمدة 30 يومًا.» قد تكون هذه المدة صحيحة، لكنها موجودة في وثيقة سياسة تجارية وليس في الملف المشار إليه. في وكيل سريري، تصبح معلومة عن علاج مريض، مأخوذة من أداة تاريخ طبي، مضللة إذا قدمت الإجابة هذه المعلومة كاستنتاج من الأدبيات الطبية.
تحقق تأكيد بتأكيد
يُطبق ProvenanceGuard بعد توليد الإجابة، على وكيل يُعامل كصندوق أسود، دون إعادة تدريب. يقرأ النظام أثر MCP، بما في ذلك مخرجات الأدوات ومعرفات مصادرها، ثم يقسم الإجابة إلى تأكيدات دقيقة. لكل منها، يحدد المصدر الأكثر صلة، يتحقق مما إذا كان يدعم التأكيد، ويقارن هذا المصدر بالمصدر الذي تسميه أو توحي به الإجابة. ثم يصدر حكمًا لكل تأكيد وقرارًا عامًا بالسماح أو حظر الإجابة.
في التجارب، استخدم المؤلفون نماذج محلية: MiniLM للعثور على المصدر المناسب، مدقق استدلال بلغة طبيعية قائم على DeBERTa للحكم على دعم المصدر للتأكيد، ونموذج لغة محلي لتقسيم الإجابة. يوضح المؤلفون أن هذه النماذج ليست مفروضة وأن التكيف مع نماذج مستضافة في السحابة ممكن مع اختبارات ومعايرات جديدة. يمكن إعادة كتابة الإجابة المحظورة عبر خطوة إصلاح من نوع RARR ثم التحقق منها مجددًا.
النتائج
الاختبار الرئيسي شمل 281 أثرًا لوكيل طبي استعرض ملفات مرضى ومقالات بحثية. فحص خبراء بشريون 361 تأكيدًا من 40 إجابة. وفقًا لهؤلاء الخبراء، 139 تأكيدًا لم يكن يجب السماح بها، وProvenanceGuard حظر 138 منها. كما وضع جانبًا 67 تأكيدًا مدعومًا للفحص أو الإصلاح، وهو خيار تبناه المؤلفون في هذا الإطار الحذر. بالنسبة للتأكيدات التي لها مصدر محدد، تم اختيار المصدر الصحيح في حوالي 86% من الحالات.
على نفس مجموعة التأكيدات، بلغ معدل F1 للحظر 0.802 لـ ProvenanceGuard، مقابل 0.783 لـ MiniCheck، 0.758 لـ RAGAS Faithfulness، 0.662 لـ AlignScore و0.436 لـ SummaC-ZS. ProvenanceGuard هو الوحيد الذي يربط كل تأكيد بمعرف مصدره. في اختبار أصعب مع مصادر متشابهة متعددة، بلغ معدل F1 للحظر 0.846، لكن المصدر الدقيق تم تحديده بشكل صحيح في 50.3% فقط من الحالات. في اختبار آخر، تم إدخال 50 نسبة خاطئة وتم اكتشافها جميعًا.
الإصلاح حل 173 إجابة محظورة في التجربة على الأثر الكامل، لكن 144 منها انتهت بنص بديل بدلاً من إعادة كتابة جوهرية. على آثار متعددة المصادر المعاد تكوينها، تم حل 59 إجابة محظورة مبدئيًا مع وجود حالتين فقط من النصوص البديلة النهائية. في الاستخدام دون اتصال، التكلفة الإضافية حوالي نصف ثانية لكل إجابة في التكوين المحلي المختبر.
تم أيضًا تقديم ProvenanceGuard في شكل ملصق في قمة Agentic AI 2026 بجامعة بيركلي.
