ProvenanceGuard：Multiverse Computing 提出为 MCP 代理检查“来源是否正确”的验证方法

发生了什么

Multiverse Computing 团队（作者为 Antonio Tiene、Ander Alvarez Sanz 与 Oliver Wirjadi）于 2026 年 9 月 29 日在 Hugging Face 博客发表文章，介绍论文《ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents》。该团队表示，这套方法专为通过 Model Context Protocol（MCP）使用多种工具的 AI 代理而设计。这里的“AI 代理”指能自行调用各种工具来完成任务的大语言模型系统；MCP 则是让这类代理连接外部工具和数据的一种协议。

据该团队描述，通过 MCP，代理可以调用搜索工具、查看结构化的病人或账户记录、查询数据库及获取元数据，再把这些内容整合成一个答案。问题在于，RAGAS faithfulness、MiniCheck、AlignScore、SummaC 等常见检查方法，通常把所有证据合并后才判断主张是否有依据，一般不会指出究竟是哪一个工具输出支持了该主张。

阅读完整文字说明

消息会先收集来源、独立核查，再交由 Jev 判断。

什么是“跨来源混淆”

该团队把要处理的问题称为“跨来源混淆”（cross-source conflation）：一个主张在证据中某处确实成立，却被归属到错误的来源。该团队举例，客服代理回答“根据账户记录，此方案包含 30 天退款期”，退款期本身可能是真的，但其实写在政策文件而非账户记录中。如果把证据合并来看，这句话似乎有依据；分开来看，归属就错了。

该团队还以临床代理为例：一项取自病人病历工具的个人用药细节，若被答案说成是医学文献的发现，就会造成误导。该团队认为，在数据敏感的场景中，错误的归属可能与错误的事实同样有害。

ProvenanceGuard 如何运作

根据该团队说明，ProvenanceGuard 是架在黑箱 MCP 代理之上的“生成后验证层”：在代理生成答案后才运行，读取捕获的 MCP 记录（包括工具输出及其来源 ID），无需重新训练代理，并全程保留来源身份，不把证据合并成单一匿名内容。该团队表示，它依次执行以下五个步骤：

1. 把答案拆分成具体的主张。
2. 为每个主张找出最相关的来源。
3. 检查该来源是否真的支持该主张。
4. 比对该来源与答案所声称或暗示的来源是否一致。
5. 输出每个主张的来源判定，以及整个答案层面的放行或拦截决定。

该团队表示，实验采用本地模型：MiniLM 协助找出相关来源，DeBERTa NLI 验证模型（用来判断某段来源文字能否支持某个说法）检查支持程度，本地语言模型协助拆分主张。验证器会严格检查数字、日期或标识符等字面值，来源中没有的值不会因为句子听起来合理而通过。被拦截的答案可经 RARR 式修补步骤（依据来源尝试改写答案的方法）尝试改写或改用安全兜底文字，再重新验证。该团队强调，这些模型只是评估时的配置而非必要条件，改用云端模型需要重新测试与校准。

该团队公布的测试结果

据该团队表示，测试对象是一个使用病历、研究文章等工具的医疗代理，共获得 281 份真实记录。主要测试由人类专家检查 40 个答案中的 361 项主张，这 40 个答案事先预留，没有用于开发该系统。结果显示，专家认为不应通过的 139 项主张中，ProvenanceGuard 拦下 138 项、放行 1 项；同时有 67 项专家认为有依据的主张被送去审查或修补。对于来源可识别的主张，该团队称约 86% 选对了来源。

该团队还用同一组主张比较了另外四种检查工具。下表中的 F1 是论文采用的指标，衡量系统能否拦下应拦截的主张、同时避免不必要的拦截，数值越高越好。

该团队另外报告：在 50 个更换了所称来源、但保留支持证据的受控案例中，ProvenanceGuard 全部检测到。修补方面，全记录测试中 173 个被拦截答案全部得到处理，其中 144 个以兜底文字结束而非实质改写；在重建的多来源测试记录中，59 个被拦截答案全部得到处理，只有 2 个以兜底文字结束。性能方面，该团队称在其本地配置下每个答案约需半秒。

局限与待改进之处

该团队自己也指出了弱点。在多个相似来源的较难测试中，ProvenanceGuard 的拦截判断 F1 为 0.846，但只有 50.3% 的主张正确识别出确切来源；该团队表示，区分相似来源仍是重要的改进方向。此外，它在测试中属于保守设置，宁可把部分有依据的主张送去复查，也不放行没有依据的主张，这意味着实际使用时可能增加人工审查的工作量。

对普通读者有什么意义

越来越多 AI 助手会同时查阅多个系统再回答问题。对普通用户而言，这项研究提醒了一点：AI 说“根据某某资料”时，那个事实即使是真的，也未必真的出自它所说的地方。在医疗、客服或金融等场景，这种错误归属可能影响人们对信息的判断。

该团队表示，NVIDIA NVFlow 已合并一个可选的依据验证阶段，用于其金融代理，对照代理获取的 SEC 摘录检查完成的答案，并采用 ProvenanceGuard 的来源感知验证方法。该团队还表示，ProvenanceGuard 曾在 UC Berkeley 举办的 Agentic AI Summit 2026 上以海报形式发表。对普通用户来说，目前较实际的做法仍是：遇到重要信息时，自行查看 AI 所引用的原始来源。

常见问题

查看同分类最新消息

• AI 新闻与趋势