Hi LLMllm.hi.cn

要求模型准确复述原文时,输出应怎样验收?

验收准确复述,不能只看内容“读起来像”,而要看每个输出单元能否对应到指定原文。若要求逐字复述,应核对文字、顺序、标点、数字及表格结构;凡是擅自改写、补充、删减或猜测补齐的内容,都不应判为通过。OpenAI也提醒,扫描文件、图像表格或视觉布局复杂的文件中,准确值可能无法可靠提取,因此不能仅凭输出流畅就验收。

先明确复述口径

“准确复述”可能包含两种标准:

  • 逐字复述:不改正原文中的措辞、错字、标点和排列,只处理识别与转录。
  • 忠实转述:可以调整句式,但不能改变事实、限定语、对象、来源归属和确定程度。

如果任务要求准确呈现原文,应在指令中写明:复述范围、是否允许改写、是否保留段落和表格结构,以及无法辨认时如何标记。否则,模型即使改变了原意,也可能把结果描述成“忠实复述”。

用四项检查替代“意思差不多”

验收项 通过标准 应退回的情况
内容对应 每段、每句都能定位到原文 出现无法回指来源的新内容
文字与结构 逐字复述时,文字、顺序、标点及层级与原文一致 同义改写、调整顺序或静默纠错
关键值 日期、金额、编号、名称等均已回查 凭上下文补出疑似正确的值
不确定性 看不清或无法确认的内容被明确标记 将猜测写成确定事实

对于忠实转述,不必追求每个字相同,但仍要逐项检查有没有扩大、缩小或改变原文含义。原文中的“可能”“尚未确认”等限定语,也不能在转述时被删掉。

扫描件和复杂表格要单独验收

视觉材料不能只检查句子是否通顺,还要回到原图核对:

  • 数值是否出现在正确的行列或段落;
  • 小数点、负号、单位及标点是否正确;
  • 表头与单元格是否发生错配;
  • 脚注、图注和正文中的同名信息是否被混用;
  • 模糊、遮挡或缺失处是否被模型擅自补全。

OpenAI明确提示,基于图像的表格、扫描文件或复杂视觉布局中的准确值可能无法可靠提取。因此,模型给出的值即使看起来合理,也只能作为待核对结果,不能因表达自信而直接通过。

用正反两遍查找差异

第一遍从原文出发,逐段核对输出;第二遍从输出出发,查回原文对应位置。第二遍有助于发现第一遍容易漏掉的新增信息、错误归属和错位内容。

模型可以提供段落编号、页码或位置说明,但这些定位信息本身也需要回查,不能充当准确性证据。如果复述过程中使用了生成的代码或其他工具,OpenAI提醒,在依赖结果前审查相关代码、输出和假设;工具运行成功也不等于内容已经准确。

验收结论应明确

严格验收可以采用以下结论:

  • 通过:指定范围内的内容均能逐项对应,没有未解决的差异。
  • 待修正:已列明遗漏、改写或不确定位置,但尚未完成修正。
  • 不通过:包含猜测、来源不明的新增内容,或关键内容无法回查。

一份实用的复述指令可以写成:

按指定范围复述原文,不增删、不概括、不静默纠错;保持原有段落、标题和表格标签。无法辨认的内容标记为“无法辨认”,并注明所在位置。推测和补充说明不得混入复述正文。

资料来源