背景介绍
在接入业务知识库的多轮问答里,系统先检索说明书等业务资料,再把检索结果和近期对话交给模型生成回答。如果相关说明书没被检索到,模型即使读懂了用户的问题,也可能缺少回答所需的依据。对话历史帮助系统理解用户在问什么,产品规则则以业务资料为依据。
比如,用户先问「A 有哪些配件?」,接着问「那怎么用?」。只拿第二句去查,A 和 B 的用法文档都可能匹配。上一轮提到的 A 为判断「那」指什么提供了线索。如果用户接着问的是「B 怎么用?」,把上一轮原样拼进去,A 的产品名和配件词反而可能让 A 的文档排到前面。群聊里,其他成员的消息也可能进入上下文。比如中间有人在聊 B,如果只按消息的新旧来找指代对象,就可能把原本在追问 A 的「那怎么用?」当成 B 的问题,检索到 B 的说明书。
可以按需使用历史。本轮已点名 B,就按 B 查。本轮省略对象时,才回看与当前问题相关的消息。在群聊里,可以根据发言人和消息之间的回复关系筛选线索,仍有歧义就先请用户澄清。下一章沿用追问和换题的例子,比较不同做法交给检索器的查询,以及这些查询如何影响排序。
方案对比
测试标准
「那怎么用?」看的是正确产品的资料能不能排到前面。「B 怎么用?」还要看上一轮的 A 会不会混进候选。资料的相关性按本轮问题和理解它所需的对话语境标注。追问和换题分别计分、报告题数。换题还统计前 k 条候选中混入至少一份仅属于旧产品的资料的问题比例。
nDCG@3 看前三条排得好不好。同一份相关资料排在第一位,比排在第三位得分更高。对问题 q,第 i 位结果的相关性增益记为 g_{q,i}。增益可以采用二元标注或分级标注,空位的增益为 0。
\mathrm{DCG@3}(q)=\sum_{i=1}^{3}\frac{g_{q,i}}{\log_2(i+1)},\qquad
\mathrm{nDCG@3}(q)=\frac{\mathrm{DCG@3}(q)}{\mathrm{IDCG@3}(q)}
\mathrm{IDCG@3}(q) 是该题按标注增益从高到低排列时,前三条用同一公式得到的理想得分。nDCG@3 先逐题计算,再对同组问题等权平均。
Top-20 命中率 看前 20 条里能不能找到至少一条相关资料。Q 是该组纳入计算的问题集合,|Q| 是题数。问题 q 的前 20 条中有至少一条达到标注的相关标准时,h_q=1,否则 h_q=0。同一题命中多条也只计一次。
\mathrm{HitRate@20}=\frac{\sum_{q\in Q}h_q}{|Q|}\times 100\%
两项指标只计算至少有一份资料被标注为相关的题目,其余题目单独计数。纳入计算的题目若没有返回结果,两项都记 0。下一节的公开实验按各论文的口径引用。
开销以只查本轮为基线,比较实际送入检索器的查询长度、读取的历史条数和文本量,以及新增的模型推理次数和远程请求数。延迟看从收到问题到发起检索的总耗时,各串行步骤也分别计时。复用已有推理可以省去一次独立请求,新增输入和输出仍有处理开销。下表用合成例子展示查询怎么变,实际检索效果和线上延迟还要实测。
对比方案
仍用上一轮「A 有哪些配件?」来对照。追问时要补上省略的对象,明确换题时要保住本轮给出的 B。表1 对比各方案如何处理这两类请求,以及是否使用模型、检索前需要哪些处理。
表1 追问与换题时的检索方案和开销
| 方案 | 追问「那怎么用?」 | 换题「B 怎么用?」 | 模型推理与检索前开销 |
|---|---|---|---|
| 只查本轮:直接检索本轮原话。[1] | 缺少产品名,A、B 的用法资料都可能匹配。 | 保留本轮明确的 B,其他产品仍可能因用法相关词命中。 | 不使用模型处理查询,无额外模型请求。输入只有本轮原话,可直接检索。 |
| 直接拼接历史:把历史与本轮一起检索。QuReTeC 拼接用户问题,TopiOCQA 也纳入历史回答。[1] [3] | 带回 A,也带入「配件」等旧信息。 | A、B 都参与匹配,旧主题可能干扰排序。 | 不使用模型处理查询,无额外模型请求。检索前读取并拼接历史,输入随纳入的历史变长。 |
| 从历史挑词(QuReTeC):用 BERT 分类器选择历史词,追加到本轮问题。[1] | 选中 A 就补足对象,漏选则仍缺少对象。 | 未选中历史词时保留原问题,误选 A 会带回旧主题。 | 使用分类模型。模型读取本轮与历史,检索输入只增加选中的词。检索须等分类完成;本地部署无远程模型请求,远程部署增加请求。 |
| 改写成独立查询:模型结合历史生成完整问题,再检索。[2] [3] [4] | 可补成「A 怎么用?」;历史有多个对象时可能选错。 | 改写应保留 B,带回 A 或漏掉 B 都可能查偏。 | 使用生成模型。检索输入为改写结果,模型仍需读取本轮与历史。独立改写增加一次串行生成推理,调用远程模型时增加一次请求;LangChain 的该实现有历史即触发,空历史直接检索。 |
表1 中,只查本轮能保留明确的 B,却无法补足「那怎么用?」省略的对象;直接拼接历史能带回 A,也会让旧主题参与换题后的匹配。从历史挑词(QuReTeC)与改写成独立查询都尝试补足追问,同时减少无关历史,但选词或改写出错仍会查偏。QuReTeC 研究在 TREC CAsT 2019 测试集上,用同一查询似然初检器比较只查本轮、直接拼接历史和从历史挑词,全测试集的 nDCG@3 分别为 0.155、0.256 和 0.341,挑词在这组实验中改善了前三条排序。[1] TopiOCQA 研究则比较直接拼接历史问答与本轮问题、使用在 QReCC 上微调的 T5 改写成独立查询。拼接受编码长度限制时,保留首轮、本轮问题和尽量多的最近完整轮次。全测试集的 Top-20 命中率,BM25 下两者分别为 22.5% 和 33.0%;在 TopiOCQA 上训练的 DPR 下,分别为 67.0% 和 49.3%。BM25 下改写更好,DPR 下拼接更好,说明选择查询处理方案时,也要考虑检索器如何利用历史信息。[3]
表中「模型推理与检索前开销」列的区别,在于检索要等什么。只查本轮可以直接检索,直接拼接历史要先读取、拼接文本,输入也随历史变长;两者都不增加查询处理的模型推理。从历史挑词要等分类结果,改写成独立查询要等生成结果,检索输入虽可缩短,模型仍需处理本轮和历史。本地部署承担推理耗时,调用远程模型还会增加请求与网络等待。LangChain 0.3.27 的 create_history_aware_retriever 按 chat_history 是否为空分支:空历史直接检索,有历史则先生成查询再检索。因此,本轮即使已点名 B,只要传入非空历史,也会触发这次生成。[4] 若检索前已有推理能一并产出查询,可以省去独立调用,新增输入、输出和校验仍有开销。第三章用合成样例说明处理分支,实际业务效果和线上延迟仍需实测。
关键数据处理
从本轮问题得到检索范围
输入包括本轮问题 question、按时间排列的 history 和业务文档索引。每份文档保留自己的 document_id 和 product_id。对商品用法、保修等指向具体对象的问题,查询关键词可以负责找对应主题,产品 ID 负责限制可进入结果的文档。例如「B 怎么用?」产生用法查询,并把范围限定到 B。用户明确要求比较 A 和 B 时,范围包含两者。
关键判断是本轮问题有没有给出对象。已经点名 B,就在本地识别产品、限定检索范围,再按原意查,不必为补全对象而回读历史。问「那怎么用?」时,如果检索需要具体对象,才读取可见历史、筛选候选;只剩一个合理对象,就补全查询并记录它来自哪条消息。这两条路径都可以用本地规则实现,不增加模型 API 调用,但历史读取和候选筛选仍有开销。不需要具体对象的问题,则按原问题搜索。
如果本地规则不能确定对象,且确实需要语义判断,可以让模型提出候选。若为此单独调用远程模型,每次触发多一次模型 API 请求,检索要等模型返回并通过校验后才能开始;若复用已有推理,则不另发请求,但增加的输入和输出仍可能拉长推理时间。仍有多个合理候选时,先请用户澄清,不按猜测发起这一路检索;这可能多等一轮用户回复。已发起的检索如果无命中,则返回无匹配资料。见 图1。
flowchart TD
A["读取本轮问题和可见历史"] --> B{"本轮是否明确检索对象?"}
B -->|是| E["保留本轮问题和明确对象"]
B -->|否| C{"是否需要具体对象才能检索?"}
C -->|否| G["按原问题搜索"]
C -->|是| D{"从历史能否确定唯一对象?"}
D -->|能| F["补全查询并记录对象来源"]
D -->|不能| H["请用户澄清"]
E --> I["在已确定的对象范围内搜索"]
F --> I
G --> J{"是否命中资料?"}
I --> J
J -->|是| K["返回排序后的资料"]
J -->|否| L["返回无匹配资料"]
图1 按本轮问题与历史确定检索范围
只用分数阈值很难拦住串题。把「B 怎么用?」误改成「A 怎么用?」后,A 的手册会很好地匹配错误查询。因此要在两个位置校验:发出改写查询前,核对本轮已经给出的产品、时间和限制条件;检索之后,在候选进入回答上下文前,再按产品 ID 核对文档归属。产品和文档归属可以按 ID 在本地比对,不必再调一次模型,但仍要花时间检查查询和候选。
用同一份索引推演
用四份等长的合成文档表示 A、B 的用法和保修,四种做法共用同一个简化 BM25 索引。见 表2。改写一列直接使用人工拟好的查询,其中一条故意带回 A,用来观察改错对象会怎样影响排序。按需补全在对象明确时按产品范围筛选文档,仍有两个合理对象时先澄清。推演只涉及本地筛选和检索打分,人工改写回放无需模型调用。线上若由模型生成查询,还会增加推理和校验开销;澄清分支则要等待用户回复。
表2 同一索引上的首位结果与澄清出口
| 场景 | 只查本轮 | 拼接历史 | 改写回放 | 按需补全 |
|---|---|---|---|---|
| 历史只聊 B,本轮问「那怎么用」 | A 的用法 | B 的用法 | B 的用法 | B 的用法 |
| 历史反复提及 A 的配件,本轮问「B 怎么用」 | B 的用法 | A 的用法 | B 的用法 | B 的用法 |
| 本轮问 B,改写候选误带回 A | B 的用法 | A 的用法 | A 的用法 | B 的用法 |
| 历史同时提到 A 和 B,本轮问「那怎么用」 | A 的用法 | A 的用法 | A 的用法 | 待澄清 |
第一行只查「用法」时,A 和 B 的用法文档同分,程序按文档 ID 打破平局,A 排在前面。查询补上 B 后,排序才有依据。第四行则说明,检索器能找到用法文档,不代表系统知道用户问的是哪一款。离线运行记录显示,四组场景及无命中、空历史自检均通过;整个脚本执行了本地词项匹配、过滤和打分,模型推理和外部 API 调用均为 0 次。这里的零调用不包含线上模型改写、完整校验或实际澄清交互的开销。
案例讲解
沿用前文的 A、B 两款产品,表2 把追问和换题放在同一份合成索引上比较。历史只聊 B,用户接着问「那怎么用?」,这句话本身没有产品名。表格第一行里,只查本轮时 A 和 B 的用法文档都会匹配,得分相同,程序按文档 ID 打破平局,A 的用法排在第一位;把历史里的 B 补进查询,B 的用法才排到首位。
如果历史反复提到 A 的配件,用户改问「B 怎么用?」,本轮已经点名 B。表格第二行里,只查本轮能把 B 的用法排在首位;把 A 的配件历史一并拼进查询,A 的产品名和「配件」等词也参与匹配,A 的用法反而排到前面。表格第三行补上改写写错对象的情况:本轮问 B,改写候选却带回 A,只查本轮和按需补全仍把 B 的用法留在首位,拼接历史和改写回放则落到 A。第四行里历史同时提到 A 和 B,「那怎么用?」在只查本轮、拼接历史和改写回放下都排到 A,按需补全则先请用户澄清。
配套代码见 conversation-query.py。在项目文件夹运行 python3 附件/conversation-query.py 可以复算表中结果。
参考文献
[1] Nikos Voskarides, Dan Li, Pengjie Ren, Evangelos Kanoulas, Maarten de Rijke. Query Resolution for Conversational Search with Limited Supervision. SIGIR, 2020. 论文与表 7
[2] Svitlana Vakulenko, Nikos Voskarides, Zhucheng Tu, Shayne Longpre. A Comparison of Question Rewriting Methods for Conversational Passage Retrieval. ECIR, 2021. 作者公开论文
[3] Vaibhav Adlakha, Shehzaad Dhuliawala, Kaheer Suleman, Harm de Vries, Siva Reddy. TopiOCQA: Open-domain Conversational Question Answering with Topic Switching. TACL, 2022. 论文表 6
[4] LangChain. create_history_aware_retriever. 0.3.27 源码 history_aware_retriever.py,第 1–68 行 · 官方接口文档
文章评论