The AI / news

Исследователи предлагают проверку «с учетом источника» для агентов MCP, а не только фактов

Исследователи предлагают проверку «с учетом источника» для агентов MCP, а не только фактов
3 мин чтения

Исследователи из Multiverse Computing представили ProvenanceGuard — метод, который проверяет не только подтверждается ли утверждение агента ИИ доступными данными, но и подтверждается ли оно именно тем источником, на который ссылается ответ. Работа направлена на конкретный случай: информация точна и присутствует где-то в просмотренных доказательствах, но приписана не тому источнику.

Агенты, использующие Model Context Protocol (MCP), могут вызывать инструмент поиска, просматривать структурированное досье пациента или клиента, запрашивать базу данных, а затем объединять эти элементы в один ответ. Наиболее распространенные системы контроля, такие как RAGAS faithfulness, MiniCheck, AlignScore или SummaC, проверяют, подтверждается ли утверждение после объединения доказательств. Они не указывают, какой именно выход инструмента его поддерживает, и является ли это именно тем источником, на который дана ссылка.

Авторы приводят пример агента поддержки клиентов, который отвечает: «Согласно досье клиента, этот тариф включает 30-дневный период возврата средств». Этот срок может быть точным, но содержаться в документе коммерческой политики, а не в указанном досье. В клиническом агенте информация о лечении пациента, взятая из инструмента истории болезни, становится вводящей в заблуждение, если ответ представляет ее как вывод из медицинской литературы.

Проверка утверждение за утверждением

ProvenanceGuard применяется после генерации ответа к агенту, рассматриваемому как «черный ящик», без переобучения. Система читает трассу MCP, включая выходы инструментов и их идентификаторы источников, затем разбивает ответ на точные утверждения. Для каждого она определяет наиболее релевантный источник, проверяет, подтверждает ли он утверждение, и сравнивает этот источник с тем, который назван или подразумевается в ответе. В итоге выносится вердикт по каждому утверждению и общее решение — разрешить или заблокировать ответ.

Для экспериментов авторы использовали локальные модели: MiniLM для поиска релевантного источника, верификатор естественно-языкового вывода на основе DeBERTa для оценки, подтверждает ли источник утверждение, и локальную языковую модель для разбивки ответа. Авторы уточняют, что эти модели не являются обязательными и возможна адаптация к облачным моделям, при условии новых тестов и калибровок. Заблокированный ответ может быть переписан на этапе исправления типа RARR, а затем проверен снова.

Результаты

Основной тест проводится на 281 трассе медицинского агента, который консультировался с досье пациентов и исследовательскими статьями. Эксперты-люди изучили 361 утверждение из 40 ответов. По мнению этих экспертов, 139 утверждений не должны были проходить, и ProvenanceGuard заблокировал 138. Он также отложил на проверку или исправление 67 утверждений, признанных подтвержденными — выбор, который авторы сознательно сделали в рамках осторожного подхода. Для утверждений с идентифицируемым источником правильный источник был выбран примерно в 86% случаев.

На том же наборе утверждений показатель F1 для блокировки достиг 0,802 для ProvenanceGuard, против 0,783 для MiniCheck, 0,758 для RAGAS Faithfulness, 0,662 для AlignScore и 0,436 для SummaC-ZS. Только ProvenanceGuard связывает каждое утверждение с идентификатором его источника. В более сложном тесте с несколькими похожими источниками показатель F1 блокировки составил 0,846, но точный источник был правильно идентифицирован только в 50,3% случаев. В другом тесте было внесено 50 ошибочных атрибуций, и все 50 были обнаружены.

Исправление разрешило все 173 заблокированных ответа в испытании на полных трассах, но 144 из них завершились запасным текстом, а не существенной перезаписью. На восстановленных мульти-источниковых трассах все 59 изначально заблокированных ответов были разрешены, с лишь двумя конечными запасными вариантами. При автономном использовании накладные расходы составляют около половины секунды на ответ в протестированной локальной конфигурации.

ProvenanceGuard также был представлен в виде постера на Agentic AI Summit 2026 в университете Беркли.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x