Naukowcy proponują weryfikację „source-aware » dla agentów MCP, nie tylko faktów

Naukowcy proponują weryfikację „source-aware » dla agentów MCP, nie tylko faktów
3 min czytania

Naukowcy z Multiverse Computing zaprezentowali ProvenanceGuard, metodę, która sprawdza nie tylko, czy twierdzenie agenta AI jest poparte dostępnymi danymi, ale także czy jest poparte przez źródło wskazane w odpowiedzi. Praca dotyczy konkretnego przypadku: dokładnej informacji, obecnej gdzieś w przeglądanych dowodach, ale przypisanej niewłaściwemu źródłu.

Agenci korzystający z Model Context Protocol (MCP) mogą wywoływać narzędzie wyszukiwania, przeglądać ustrukturyzowany dossier pacjenta lub klienta, zapytywać bazę danych, a następnie łączyć te elementy w jedną odpowiedź. Najczęściej stosowane systemy kontroli, takie jak RAGAS faithfulness, MiniCheck, AlignScore czy SummaC, sprawdzają, czy twierdzenie jest poparte po zebraniu dowodów. Nie wskazują jednak, które wyjście narzędzia je wspiera ani czy jest to faktycznie cytowane źródło.

Autorzy podają przykład agenta obsługi klienta, który odpowiada: „Według dossier klienta ten pakiet zawiera 30-dniowy okres zwrotu. » Ten okres może być dokładny, ale pochodzić z dokumentu polityki handlowej, a nie z cytowanego dossier. W agencie klinicznym informacja o leczeniu pacjenta, zaczerpnięta z narzędzia historii medycznej, staje się myląca, jeśli odpowiedź przedstawia ją jako ustalenie pochodzące z literatury medycznej.

Kontrola twierdzenie po twierdzeniu

ProvenanceGuard stosuje się po wygenerowaniu odpowiedzi, traktując agenta jako czarną skrzynkę, bez ponownego treningu. System odczytuje ślad MCP, w tym wyjścia narzędzi i ich identyfikatory źródła, następnie dzieli odpowiedź na precyzyjne twierdzenia. Dla każdego identyfikuje najbardziej odpowiednie źródło, sprawdza, czy je wspiera, i porównuje to źródło z tym, które odpowiedź wymienia lub sugeruje. Na końcu wydaje werdykt dla każdego twierdzenia oraz decyzję ogólną, czy zezwolić na odpowiedź, czy ją zablokować.

Do eksperymentów autorzy użyli modeli lokalnych: MiniLM do znalezienia odpowiedniego źródła, weryfikatora inferencji w języku naturalnym opartego na DeBERTa do oceny, czy źródło wspiera twierdzenie, oraz lokalnego modelu językowego do dzielenia odpowiedzi. Autorzy zaznaczają, że modele te nie są narzucone i możliwe jest dostosowanie do modeli hostowanych w chmurze, pod warunkiem nowych testów i kalibracji. Zablokowana odpowiedź może zostać przepisana w kroku naprawczym typu RARR, a następnie ponownie zweryfikowana.

Wyniki

Główny test obejmował 281 śladów agenta medycznego, który przeglądał dossier pacjentów i artykuły naukowe. Eksperci ludzie ocenili 361 twierdzeń z 40 odpowiedzi. Według ekspertów 139 twierdzeń nie powinno przejść, a ProvenanceGuard zablokował 138 z nich. Ponadto odłożył do przeglądu lub naprawy 67 twierdzeń uznanych za poparte, co autorzy uznają za świadomy wybór w tym ostrożnym podejściu. Dla twierdzeń z identyfikowalnym źródłem prawidłowe źródło zostało wybrane w około 86% przypadków.

Na tym samym zestawie twierdzeń wynik F1 blokowania wyniósł 0,802 dla ProvenanceGuard, w porównaniu do 0,783 dla MiniCheck, 0,758 dla RAGAS Faithfulness, 0,662 dla AlignScore i 0,436 dla SummaC-ZS. Tylko ProvenanceGuard łączy każde twierdzenie z identyfikatorem jego źródła. W trudniejszym teście, z wieloma podobnymi źródłami, wynik F1 blokowania wyniósł 0,846, ale dokładne źródło zostało poprawnie zidentyfikowane tylko w 50,3% przypadków. W innym teście wprowadzono 50 błędnych przypisań i wszystkie zostały wykryte.

Naprawa rozwiązała 173 zablokowane odpowiedzi w próbie na pełnych śladach, ale 144 z nich zakończyły się tekstem zastępczym, a nie istotnym przepisaniem. Na zrekonstruowanych śladach wieloźródłowych 59 początkowo zablokowanych odpowiedzi zostało rozwiązanych, zaledwie dwa zakończyły się tekstem zastępczym. W trybie offline koszt dodatkowy to około pół sekundy na odpowiedź w testowanej konfiguracji lokalnej.

ProvenanceGuard został również zaprezentowany w formie posteru na Agentic AI Summit 2026 na Uniwersytecie w Berkeley.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x