缩短大模型回答时保留必要信息

2026年11月19日 21点热度

背景介绍

用户问“这个服务怎么收费?包含维护吗?开通后还能退吗?”,希望一眼找到答案。机器人即使答全了,回复太长也会让重点难找。

回答短了,用户问到的每一项仍要答全,事实和适用条件也要保留。比如,留下“可以退款”,删掉“仅限未开通订单”,句子仍然通顺,却把退款范围扩大到了已开通订单。字数可以直接计算,哪些内容必须留下,要结合用户的问题和事实依据来判断。

准备依据时,可以留下答题所需的事实和条件,初次生成时也可以要求模型简短、答全。本文聚焦发送前的处理。模型对照问题和依据检查已有回答,程序单独检查字数。需要修订时,模型按反馈保留或补回必要信息,删减无关铺垫,再复查内容和字数。

方案对比

从收到问题到交付答案,可以在生成前筛选依据、在首次生成时约束表达,也可以在生成后裁剪或改写。两表都以常规检索加一次回答生成为基线。免训练方案分别记录额外的模型 API 请求和本地处理开销。选句、裁剪等本地规则耗费处理时间,额外 API 请求为 0。专用模型方案记录额外推理及串行等待,本地部署也有推理开销,远程 API 请求数按实际部署和请求方式计。见 表1 和 表2。

表1 简短回答与信息保留的免训练方案

名称 处理方式 额外 API 请求与本地处理
检索结果抽取(LangChain LLMChainExtractor)[1] 生成前,用现有模型按问题逐篇抽取相关原文片段,跳过无相关片段的文档。接入时需检查所问事实及其适用条件是否一并保留 使用模型 API 时,每篇增加 1 次请求,重复传入问题。同步逐篇执行,异步可批量提交任务,回答生成仍须等抽取完成。直接减少的是生成阶段的输入,答案长度和完整性仍需评估
直接生成(Direct Generation)[2] 沿用一次生成的基线。本文在首次生成时提供问题和检索依据,要求简短、答全并保留适用条件 额外 API 请求 0 次。仅在初次生成的请求中增加指令,完整性取决于实际输出
本地选句与规则裁剪(本文基线) 生成后,按关键词、句子位置和长度等预设规则保留或删去原句,可能误删用户所问信息或退款条件 额外 API 请求 0 次,生成后仅在本地处理文本
自反馈修订(Self-Refine)[2] 生成后,同一模型先指出具体问题,再按反馈改写。用于短答时,结合问题和依据检查冗余、漏答及事实或条件变化 反馈、改写各增加 1 次 API 请求,两步串行。仅反馈后停止则增加 1 次。每轮需处理候选文本,改写还需读入反馈

表2 已训练模型的短答处理方案

名称 在线数据链路 信息保留与业务接入 额外模型推理与串行等待
可控摘要(CTRLsum)[3] 将原回答和控制关键词送入已训练的摘要模型,生成突出指定内容的短摘要。论文用关键词数量调节摘要长度 接入方可按问题和依据提供收费、维护和退款条件等关键词。生成后仍需核对“未开通”是否限定了可退款的范围 初次生成后串行增加 1 次摘要推理。关键词可预先提供;若使用论文的自动标注器,摘要生成还须等待 1 次标注推理
忠实摘要(CLIFF)[4] 将原回答作为源文本送入已训练的摘要模型,直接生成短摘要。原方法的输入只有源文本 模型通过训练学会减少实体或关系错配。接入时需另用问题和检索依据核对是否漏答,以及原回答或摘要是否写错了事实和条件 初次生成后串行增加 1 次摘要推理。对比学习发生在训练阶段,在线核验另计
分组抽取后摘要(PerAnsSumm 的 LMU 方案)[5] 用于本文场景时,可结合用户问题、检索依据和原回答,先按收费、维护、退款三组抽取必要事实,再由已微调的摘要模型将三组事实组织成一条短答 对照依据核对月费金额、维护范围和退款条件。退款结论须与开通状态一起保留,写清“开通后不退,未开通可退”,避免缩成无条件的“订单可退” 初次生成后增加 2 次串行推理。摘要须等抽取完成;抽取结果既是第一步的输出,也是第二步的输入,需计入两步的 token 用量

CTRLsum 的实验检验了指定实体能否保留、摘要长度能否按档调节。控制词可按问题从检索依据中提取。CLIFF 的事实一致性评估以新闻摘要为对象。若要适配问答场景,可用答全的短答作正例,用漏答、颠倒事实或丢失适用条件的短答作负例。

“订单可退”已经很短,却把仅适用于未开通订单的退款规则扩大到了所有订单。本文因此选择在发送前先对照问题和依据审查实际回答,发现条件遗漏或字数超标时再按需修订。即使初稿合格,也要多等一次串行的模型审查。

关键数据处理

修订数据结构

发送前的修订流程接收用户问题、事实依据和原回答,维护当前候选及其审查结果,最后向调用方返回处理状态和相应的回答文本。处理顺序见 图1。

class RefinementInput:
    question: str
    evidence: str
    original: str
    limit: int
    max_rewrites: int

class ReviewResult:
    acceptable: bool
    issues: list[str]

class RefinementState:
    candidate: str
    review: ReviewResult | None
  • 输入 RefinementInput。question 决定要回答哪些问题,original 保存初次生成的回答,供回退使用。limit 是长度软目标,本例为 36 字,标点计入。max_rewrites 限制改写次数,本例最多两次。
  • 依据 evidence。接入方筛去无关历史与重复信息,保留核对回答所需的事实和适用条件。必答要求由业务约定或安全规范确定,随依据一起传入。现有实现直接使用传入的依据,由模型判断候选是否保留了必要信息。审查和改写都调用现有模型 API,无需额外训练。筛去无关内容可以减少每次请求的输入 token。
  • 候选状态 RefinementState。candidate 初始取 original,每次改写只更新候选。review 在检查前为空,审查后记录当前候选的内容审查结果。
  • 审查结果 ReviewResult。acceptable 表示候选是否通过内容审查,issues 记录发现的具体问题。程序另行检查长度,将超长说明与内容问题合并为改写反馈。
  • 流程输出。accepted 返回通过内容审查和长度检查的候选。达到改写上限仍无合格候选时,若原回答首次内容审查通过但超长,则返回原回答并标记为 original_over_budget,由调用方按渠道限制决定是否发送。若原回答首次内容审查未通过,则返回 needs_review,交由调用方进一步处理,此时无可发送文本。

回答检查与修订

每轮内容审查把 question、evidence 和当前 candidate 发给模型,返回 acceptable 和 issues。模型检查候选是否漏答、加入无依据的说法,或改变数值、否定关系、范围与适用条件。程序校验返回字段,再用 Python 的 len(candidate) 计算长度,标点也计入。若候选超过 limit,程序将超长说明与 issues 合并,作为下一次改写的反馈。字段校验和长度检查都在本地完成,无需额外调用模型。

需要改写时,模型读取问题、依据、原回答、当前候选、合并后的反馈和长度目标,按反馈补足或纠正内容,删去无关铺垫。改写结果替换当前候选,再做一轮内容审查和长度检查。两项都通过就停止,最多改写两次。

以原回答已经生成为起点,首次检查即通过时,额外调用 1 次。改写一次并复审共增加 3 次,改写两次且每次都复审共增加 5 次。改写要等审查反馈,复审要等新候选,达到接受条件就停,可以省去后续串行等待。计入一次初次生成后,这三条路径分别调用 2、4、6 次。检索阶段若另有模型请求,以及异常重试和后续审查产生的模型请求,均按实际发生次数另计。

flowchart TD
    I["输入 question、evidence、original<br/>保留 original,candidate 设为原回答"] --> R["结合问题与依据审查 candidate<br/>首次保存原回答的内容审查结论"]
    R --> C["程序检查长度<br/>合并内容问题与超长反馈"]
    C --> P{"内容与长度是否均通过?"}
    P -- 是 --> A["接受当前候选并停止"]
    P -- 否 --> N{"改写是否少于两次?"}
    N -- 是 --> W["结合问题、依据、原回答<br/>候选与反馈改写,更新 candidate"]
    W --> R
    N -- 否 --> O{"原回答首次内容审查是否通过?"}
    O -- 是 --> F["回退原回答<br/>标记超过长度软目标"]
    O -- 否 --> H["转进一步审查<br/>不提供可发送答案"]

图1 内容检查与有限修订流程

接入方筛去无关历史和重复信息,保留答题所需的事实、适用条件和业务约定。候选通过内容与长度检查即停止,最多改写两次。

退款条件修订示例

以退款条件为例,用人工构造的候选与审查意见说明修订过程。问题是“这个服务怎么收费?包含维护吗?开通后还能退吗?”,依据是“月费100元,包含基础维护;开通后不退款,未开通订单可退款”。原回答为:

这个服务按月收费,每月100元,价格中包含基础维护。订单开通后不退款,未开通订单可以退款。如果还有疑问,可以继续告诉我。

原回答共 60 字,人工内容审查通过,但超过 36 字目标。第一次缩短得到 18 字候选:

月费100元,含基础维护,订单可退。

候选虽短,却删掉了“未开通”的退款前提,将“订单可退”的适用范围扩大到不区分开通状态,与依据中的“开通后不退款”冲突。人工反馈具体指出这一条件遗漏,要求补回开通状态限制。第二次修订得到 25 字候选:

月费100元,含基础维护;开通后不退,未开通可退。

补回条件后,人工内容审查与长度检查均通过,接受该候选,状态为 accepted。其他分支见 表3。

回放场景 发生的处理 输出状态
超长原文,第一次改写遗漏,第二次修复 检查 3 次、改写 2 次 accepted,接受 25 字候选
原文已经简短且内容通过 检查 1 次,不改写 accepted,保留原文
原文内容通过,两次改写都遗漏 达到修订上限后保留 60 字原文 original_over_budget
原文已有遗漏,两次改写也未修复 达到上限,不提供可发送文本 needs_review

表3 人工候选与审查反馈驱动的离线回放

调用方收到 needs_review 后,可将回答转交后续审查、向用户追问,或说明暂时无法作答。

人工回放使用预先给定的候选和审查反馈,模型 API 请求数为 0。3.2 节的调用次数按真实模型分支的代码路径推算。

案例讲解

在一个群聊服务中,机器人有时答全了用户的问题,但铺垫太多,用户得多读几句才能找到答案。早期用本地规则删减句子,有时会把用户问到的信息一并删掉。本文的修订流程可以接在模型生成回复之后、消息发到群里之前。程序检查字数,模型对照用户问题和业务依据核对回复,发现漏答、条件变化或超长时再按需修订。

把第 3.3 节的收费问题代入发送前的修订流程,用户问了怎么收费,依据给出了每月 100 元,因此审查时应检查候选是否保留了金额和计费周期。如果候选漏掉价格,就反馈补回“月费100元”。“可以先看看”没有回答这次提问中的任何一项,缩短时可以删去。

配套代码见 reply-refinement.py。运行方法和原项目仓库链接见代码注释。

[1] LangChain. LLMChainExtractor 与 ContextualCompressionRetriever,0.3.27 版源码。抽取器、默认提示、检索封装。

[2] Aman Madaan, Niket Tandon, Prakhar Gupta, et al. Self-Refine: Iterative Refinement with Self-Feedback. NeurIPS, 2023. https://papers.nips.cc/paper_files/paper/2023/file/91edff07232fb1b55a505a9e9f6c0ff3-Paper-Conference.pdf

[3] Junxian He, Wojciech Kryściński, Bryan McCann, Nazneen Rajani, Caiming Xiong. CTRLsum: Towards Generic Controllable Text Summarization. arXiv:2012.04281v1, 2020. https://arxiv.org/pdf/2012.04281

[4] CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization. EMNLP, 2021. https://aclanthology.org/2021.emnlp-main.532/ 。配套代码、训练说明与模型权重入口:https://github.com/ShuyangCao/cliff_summ

[5] Tanalp Agustoslu. LMU at PerAnsSumm 2025: LlaMA-in-the-loop at Perspective-Aware Healthcare Answer Summarization Task Factuality. Proceedings of the Second Workshop on Patient-Oriented Language Processing (CL4Health), 2025, 380–388. https://aclanthology.org/2025.cl4health-1.34/

xxs9331

这个人很懒,什么都没留下

文章评论