背景介绍
用户问“这个服务怎么收费?包含维护吗?开通后还能退吗?”,希望一眼找到答案。机器人即使答全了,回复太长也会让重点难找。
回答短了,用户问到的每一项仍要答全,事实和适用条件也要保留。比如,留下“可以退款”,删掉“仅限未开通订单”,句子仍然通顺,却把退款范围扩大到了已开通订单。字数可以直接计算,哪些内容必须留下,要结合用户的问题和事实依据来判断。
准备依据时,可以留下答题所需的事实和条件,初次生成时也可以要求模型简短、答全。本文聚焦发送前的处理。模型对照问题和依据检查已有回答,程序单独检查字数。需要修订时,模型按反馈保留或补回必要信息,删减无关铺垫,再复查内容和字数。
方案对比
从收到问题到交付答案,可以在生成前筛选依据、在首次生成时约束表达,也可以在生成后裁剪或改写。两表都以常规检索加一次回答生成为基线。免训练方案分别记录额外的模型 API 请求和本地处理开销。选句、裁剪等本地规则耗费处理时间,额外 API 请求为 0。专用模型方案记录额外推理及串行等待,本地部署也有推理开销,远程 API 请求数按实际部署和请求方式计。见 表1 和 表2。
表1 简短回答与信息保留的免训练方案
| 名称 | 处理方式 | 额外 API 请求与本地处理 |
|---|---|---|
检索结果抽取(LangChain LLMChainExtractor)[1] |
生成前,用现有模型按问题逐篇抽取相关原文片段,跳过无相关片段的文档。接入时需检查所问事实及其适用条件是否一并保留 | 使用模型 API 时,每篇增加 1 次请求,重复传入问题。同步逐篇执行,异步可批量提交任务,回答生成仍须等抽取完成。直接减少的是生成阶段的输入,答案长度和完整性仍需评估 |
| 直接生成(Direct Generation)[2] | 沿用一次生成的基线。本文在首次生成时提供问题和检索依据,要求简短、答全并保留适用条件 | 额外 API 请求 0 次。仅在初次生成的请求中增加指令,完整性取决于实际输出 |
| 本地选句与规则裁剪(本文基线) | 生成后,按关键词、句子位置和长度等预设规则保留或删去原句,可能误删用户所问信息或退款条件 | 额外 API 请求 0 次,生成后仅在本地处理文本 |
| 自反馈修订(Self-Refine)[2] | 生成后,同一模型先指出具体问题,再按反馈改写。用于短答时,结合问题和依据检查冗余、漏答及事实或条件变化 | 反馈、改写各增加 1 次 API 请求,两步串行。仅反馈后停止则增加 1 次。每轮需处理候选文本,改写还需读入反馈 |
表2 已训练模型的短答处理方案
| 名称 | 在线数据链路 | 信息保留与业务接入 | 额外模型推理与串行等待 |
|---|---|---|---|
| 可控摘要(CTRLsum)[3] | 将原回答和控制关键词送入已训练的摘要模型,生成突出指定内容的短摘要。论文用关键词数量调节摘要长度 | 接入方可按问题和依据提供收费、维护和退款条件等关键词。生成后仍需核对“未开通”是否限定了可退款的范围 | 初次生成后串行增加 1 次摘要推理。关键词可预先提供;若使用论文的自动标注器,摘要生成还须等待 1 次标注推理 |
| 忠实摘要(CLIFF)[4] | 将原回答作为源文本送入已训练的摘要模型,直接生成短摘要。原方法的输入只有源文本 | 模型通过训练学会减少实体或关系错配。接入时需另用问题和检索依据核对是否漏答,以及原回答或摘要是否写错了事实和条件 | 初次生成后串行增加 1 次摘要推理。对比学习发生在训练阶段,在线核验另计 |
| 分组抽取后摘要(PerAnsSumm 的 LMU 方案)[5] | 用于本文场景时,可结合用户问题、检索依据和原回答,先按收费、维护、退款三组抽取必要事实,再由已微调的摘要模型将三组事实组织成一条短答 | 对照依据核对月费金额、维护范围和退款条件。退款结论须与开通状态一起保留,写清“开通后不退,未开通可退”,避免缩成无条件的“订单可退” | 初次生成后增加 2 次串行推理。摘要须等抽取完成;抽取结果既是第一步的输出,也是第二步的输入,需计入两步的 token 用量 |
CTRLsum 的实验检验了指定实体能否保留、摘要长度能否按档调节。控制词可按问题从检索依据中提取。CLIFF 的事实一致性评估以新闻摘要为对象。若要适配问答场景,可用答全的短答作正例,用漏答、颠倒事实或丢失适用条件的短答作负例。
“订单可退”已经很短,却把仅适用于未开通订单的退款规则扩大到了所有订单。本文因此选择在发送前先对照问题和依据审查实际回答,发现条件遗漏或字数超标时再按需修订。即使初稿合格,也要多等一次串行的模型审查。
关键数据处理
修订数据结构
发送前的修订流程接收用户问题、事实依据和原回答,维护当前候选及其审查结果,最后向调用方返回处理状态和相应的回答文本。处理顺序见 图1。
class RefinementInput:
question: str
evidence: str
original: str
limit: int
max_rewrites: int
class ReviewResult:
acceptable: bool
issues: list[str]
class RefinementState:
candidate: str
review: ReviewResult | None
- 输入
RefinementInput。question决定要回答哪些问题,original保存初次生成的回答,供回退使用。limit是长度软目标,本例为 36 字,标点计入。max_rewrites限制改写次数,本例最多两次。 - 依据
evidence。接入方筛去无关历史与重复信息,保留核对回答所需的事实和适用条件。必答要求由业务约定或安全规范确定,随依据一起传入。现有实现直接使用传入的依据,由模型判断候选是否保留了必要信息。审查和改写都调用现有模型 API,无需额外训练。筛去无关内容可以减少每次请求的输入 token。 - 候选状态
RefinementState。candidate初始取original,每次改写只更新候选。review在检查前为空,审查后记录当前候选的内容审查结果。 - 审查结果
ReviewResult。acceptable表示候选是否通过内容审查,issues记录发现的具体问题。程序另行检查长度,将超长说明与内容问题合并为改写反馈。 - 流程输出。
accepted返回通过内容审查和长度检查的候选。达到改写上限仍无合格候选时,若原回答首次内容审查通过但超长,则返回原回答并标记为original_over_budget,由调用方按渠道限制决定是否发送。若原回答首次内容审查未通过,则返回needs_review,交由调用方进一步处理,此时无可发送文本。
回答检查与修订
每轮内容审查把 question、evidence 和当前 candidate 发给模型,返回 acceptable 和 issues。模型检查候选是否漏答、加入无依据的说法,或改变数值、否定关系、范围与适用条件。程序校验返回字段,再用 Python 的 len(candidate) 计算长度,标点也计入。若候选超过 limit,程序将超长说明与 issues 合并,作为下一次改写的反馈。字段校验和长度检查都在本地完成,无需额外调用模型。
需要改写时,模型读取问题、依据、原回答、当前候选、合并后的反馈和长度目标,按反馈补足或纠正内容,删去无关铺垫。改写结果替换当前候选,再做一轮内容审查和长度检查。两项都通过就停止,最多改写两次。
以原回答已经生成为起点,首次检查即通过时,额外调用 1 次。改写一次并复审共增加 3 次,改写两次且每次都复审共增加 5 次。改写要等审查反馈,复审要等新候选,达到接受条件就停,可以省去后续串行等待。计入一次初次生成后,这三条路径分别调用 2、4、6 次。检索阶段若另有模型请求,以及异常重试和后续审查产生的模型请求,均按实际发生次数另计。
flowchart TD
I["输入 question、evidence、original<br/>保留 original,candidate 设为原回答"] --> R["结合问题与依据审查 candidate<br/>首次保存原回答的内容审查结论"]
R --> C["程序检查长度<br/>合并内容问题与超长反馈"]
C --> P{"内容与长度是否均通过?"}
P -- 是 --> A["接受当前候选并停止"]
P -- 否 --> N{"改写是否少于两次?"}
N -- 是 --> W["结合问题、依据、原回答<br/>候选与反馈改写,更新 candidate"]
W --> R
N -- 否 --> O{"原回答首次内容审查是否通过?"}
O -- 是 --> F["回退原回答<br/>标记超过长度软目标"]
O -- 否 --> H["转进一步审查<br/>不提供可发送答案"]
图1 内容检查与有限修订流程
接入方筛去无关历史和重复信息,保留答题所需的事实、适用条件和业务约定。候选通过内容与长度检查即停止,最多改写两次。
退款条件修订示例
以退款条件为例,用人工构造的候选与审查意见说明修订过程。问题是“这个服务怎么收费?包含维护吗?开通后还能退吗?”,依据是“月费100元,包含基础维护;开通后不退款,未开通订单可退款”。原回答为:
这个服务按月收费,每月100元,价格中包含基础维护。订单开通后不退款,未开通订单可以退款。如果还有疑问,可以继续告诉我。
原回答共 60 字,人工内容审查通过,但超过 36 字目标。第一次缩短得到 18 字候选:
月费100元,含基础维护,订单可退。
候选虽短,却删掉了“未开通”的退款前提,将“订单可退”的适用范围扩大到不区分开通状态,与依据中的“开通后不退款”冲突。人工反馈具体指出这一条件遗漏,要求补回开通状态限制。第二次修订得到 25 字候选:
月费100元,含基础维护;开通后不退,未开通可退。
补回条件后,人工内容审查与长度检查均通过,接受该候选,状态为 accepted。其他分支见 表3。
| 回放场景 | 发生的处理 | 输出状态 |
|---|---|---|
| 超长原文,第一次改写遗漏,第二次修复 | 检查 3 次、改写 2 次 | accepted,接受 25 字候选 |
| 原文已经简短且内容通过 | 检查 1 次,不改写 | accepted,保留原文 |
| 原文内容通过,两次改写都遗漏 | 达到修订上限后保留 60 字原文 | original_over_budget |
| 原文已有遗漏,两次改写也未修复 | 达到上限,不提供可发送文本 | needs_review |
表3 人工候选与审查反馈驱动的离线回放
调用方收到 needs_review 后,可将回答转交后续审查、向用户追问,或说明暂时无法作答。
人工回放使用预先给定的候选和审查反馈,模型 API 请求数为 0。3.2 节的调用次数按真实模型分支的代码路径推算。
案例讲解
在一个群聊服务中,机器人有时答全了用户的问题,但铺垫太多,用户得多读几句才能找到答案。早期用本地规则删减句子,有时会把用户问到的信息一并删掉。本文的修订流程可以接在模型生成回复之后、消息发到群里之前。程序检查字数,模型对照用户问题和业务依据核对回复,发现漏答、条件变化或超长时再按需修订。
把第 3.3 节的收费问题代入发送前的修订流程,用户问了怎么收费,依据给出了每月 100 元,因此审查时应检查候选是否保留了金额和计费周期。如果候选漏掉价格,就反馈补回“月费100元”。“可以先看看”没有回答这次提问中的任何一项,缩短时可以删去。
配套代码见 reply-refinement.py。运行方法和原项目仓库链接见代码注释。
[1] LangChain. LLMChainExtractor 与 ContextualCompressionRetriever,0.3.27 版源码。抽取器、默认提示、检索封装。
[2] Aman Madaan, Niket Tandon, Prakhar Gupta, et al. Self-Refine: Iterative Refinement with Self-Feedback. NeurIPS, 2023. https://papers.nips.cc/paper_files/paper/2023/file/91edff07232fb1b55a505a9e9f6c0ff3-Paper-Conference.pdf
[3] Junxian He, Wojciech Kryściński, Bryan McCann, Nazneen Rajani, Caiming Xiong. CTRLsum: Towards Generic Controllable Text Summarization. arXiv:2012.04281v1, 2020. https://arxiv.org/pdf/2012.04281
[4] CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization. EMNLP, 2021. https://aclanthology.org/2021.emnlp-main.532/ 。配套代码、训练说明与模型权重入口:https://github.com/ShuyangCao/cliff_summ
[5] Tanalp Agustoslu. LMU at PerAnsSumm 2025: LlaMA-in-the-loop at Perspective-Aware Healthcare Answer Summarization Task Factuality. Proceedings of the Second Workshop on Patient-Oriented Language Processing (CL4Health), 2025, 380–388. https://aclanthology.org/2025.cl4health-1.34/
文章评论