Hi LLMllm.hi.cn

大模型给出的事实,怎样追溯到可核查的原始来源?

追溯大模型给出的事实,关键不是找到一个看起来像出处的链接,而是把回答拆成可以分别核对的主张,再找到最初发布这些主张的原始材料,逐句对照。OpenAI 提醒,ChatGPT 有时会生成错误或误导性内容,也可能编造引文、研究、引用或指向不存在的来源,因此回答中的出处只能先当作检索线索。

第一步:把回答拆成可单独核对的主张

一段回答可能同时包含对象、时间、范围、条件和结论。不要整段接受,也不要只核对其中最容易验证的部分。

可以把问题拆开:

回答中的主张 需要分别确认什么 适合寻找的材料
某项规定已经实施 发布文件、生效时间、适用对象 发布机关的原文
某项研究得出了某个结论 研究本身、结论原句、适用范围 论文或研究报告
某项产品功能已经上线 功能描述、适用版本、使用条件 官方文档或发布说明

拆分后,每个主张都应能用一句话复述。复述不出来,说明这项主张还不够清楚,不宜直接作为事实采用。

第二步:确认给出的引文是否真实存在

先核对来源名称、发布者或作者、发布日期或更新时间,再确认页面或材料能否实际找到。不要因为标题看起来合理、链接格式正确,就认定引用真实。

找到材料后,还要继续问:

  • 原文是否真的提到了这件事?
  • 原文讨论的对象与回答中的对象是否相同?
  • 原文有没有限定地区、版本、时间和适用条件?
  • 回答是否把“可能”写成了“必然”,或把局部结论扩大成了整体结论?

页面存在,不等于它支持模型给出的结论;引文真实存在,也不等于模型没有曲解其含义。

第三步:区分原始来源和后续转述

原始来源是最初发布该主张、并对内容负责的材料。新闻报道、搜索摘要、聚合页面和模型回答,即使多次重复同一句话,也不应自动替代原始材料。

如果新闻转述了一份文件,应继续寻找文件本身;如果论文中的某个结论来自另一篇研究,而你要核对的正是这个结果,也应查看被引用的研究。此时要对照原文的研究对象、方法和结论,而不是只看引用它的段落。

第四步:记录核验结果,不要只记一个链接

每次核验至少记录:

  • 正在核对的主张;
  • 原始材料的名称和发布者;
  • 原始链接;
  • 支撑该主张的原文或具体位置;
  • 发布或更新时间;
  • 原文中的适用条件和限制;
  • 核验结果。

可以把结果分成三类:

核验结果 含义
已追溯到 找到原始材料,且其中的内容直接支持该主张
部分支持 原始材料只支持主张的一部分,或适用范围与回答不同
未追溯到 没有找到足以支持该主张的原始材料

“部分支持”不能写成确认,“未追溯到”也不能用推测补齐。

找不到原始来源时,明确写“未查到”

可以先根据主张中的专有名词、文件名称和原句搜索,再进入发布者或机构的正式渠道查找。但不要让另一个模型生成的回答代替原始证据;模型可以帮助整理关键词,不能证明关键词对应的材料存在。

如果仍找不到可靠材料,应明确写“未查到”或“现有来源不足以确认”。对于日期、资格、费用、办理条件等关键信息,尤其不能用常识、经验或相似案例补足材料没有写明的内容。

找到来源后,还要自己确认什么

追溯到原文,只能证明“这份材料写了什么”,不能自动证明它适用于你的具体情况。还要判断材料是否仍然有效、是否为最新版本,以及其中的条件是否与你的对象和场景一致。

如果回答涉及法律、医疗、财务或其他重要决定,原始来源也只能作为核查起点。最终是否适用、如何行动,仍需结合有效材料和专业意见判断。

资料来源