背景介绍
客服群里的历史消息可以整理成问答候选,供后续检索和审核使用;候选还要能回查原话,确认问题与答案各自来自哪些消息。不过,群聊里的提问、插话和补充常常交错出现,不能直接按相邻位置配成问答。下面用五条合成消息说明,见 表1。
表1 合成聊天中五条消息的顺序
| 消息 | 发言人 | 原文 |
|---|---|---|
| m1 | A | 基础版怎么收费? |
| m2 | A | 含维护吗? |
| m3 | B | 我昨天提交的申请有进展吗? |
| m4 | 客服 | @A,每月 100 元。 |
| m5 | 客服 | 包含基础维护。 |
本文的连续配对基线会暂存同一用户连续发出的消息,遇到客服回复就生成候选并清空暂存。读到 A 的 m1、m2 时,两条消息都在暂存中;B 的 m3 到来后,当前用户换成 B,暂存便只剩 m3。随后读到 m4,程序不判断“@A”的回复指向,直接输出 m3 → m4,把申请进度与价格配在一起。暂存随即清空,因此 m5 到来时没有可配对的提问,“包含基础维护”这句补答也被漏掉。
本文的做法是从原始消息里分别圈出问题和答案。输入是一组按时间排列、带消息 ID 和发送者的聊天记录:处理时从这些消息中选出构成问题与答案的原话,再整理成一条问答。输出除了问答本身,还保留两组 ID,让审核者能查回两边各来自哪几句。回到上面的例子,这两组 ID 就是 m1、m2 与 m4、m5,也是人工核对时要还原的目标证据。下一节沿用这段聊天,比较几种做法各自会把哪几条消息配成问答。
方案对比
同一段聊天可以交给不同方法处理,但输出不在同一个层面上:有的给出线程划分,有的给出回复关系,有的直接给出问答对。本文的连续配对基线与三篇文献中的具名方法逐行对照,见 表2。每行说明它在本例中怎么走、得到什么,以及要凑成一条完整问答还差哪一步。
表2 连续配对基线与三种文献方法的对照
| 方案 | 在本例中如何解决问题 | 局限或代价 |
|---|---|---|
| 连续发言配对(consecutive-message pairing)(本文实现) | 暂存同一用户的连续消息,遇到客服回复就生成候选并清空暂存。m3 将用户切换为 B,实测得到 m3 → m4,漏掉 m5。 |
只看角色、发送者和时间,@A 不参与判断;不用模型,但插话可能造成错配。 |
| 会话解缠(SHCNN + CISIR) [1] | SHCNN 为时间相近的消息对估计相似度,CISIR 保留高置信连接,用消息图的连通分量划分线程。 | 解决消息属于哪次交谈,分组后仍须识别问题、答案及其对应关系。 |
| 消息合并与回复预测(message merging + CONTEXT-AOA) [2] | 先判断同一发言者的消息是否合并,再结合上下文预测回复关系。若将 m4、m5 合并,就能同时保留价格和维护两项答复;形成完整问答还需正确关联 A 的提问。 | 合并与回复预测分两步,合并边界和回复关联都会影响最终问答。 |
| 多对多问答抽取(DialogQAE) [3] | 允许问题和答案各由多条发言组成,本例的目标形态就是问题 [m1, m2]、答案 [m4, m5]。 |
评测需要专门标注的数据,抽取结果仍须回查原话,核对遗漏与混入的消息。 |
本例只有连续配对基线是实测:得到 m3 → m4,漏掉 m5。三种文献方法在这里按处理目标作示例推演。线程可以理解为从群聊中分出的交谈小组,理想分组是 A 的价格与维护 [m1, m2, m4, m5]、B 的申请进度 [m3]。分组后,仍须标出哪些消息是问题、哪些是答案,以及它们的对应关系。
本文要整理的完整问答,问题证据是 [m1, m2],答案证据是 [m4, m5]:m4 回答价格,m2 提出的维护问题已在 m5 得到答复;抽取时漏选 m5,整理后的答案就会缺少维护说明。第 3 节据此分别记录问题与答案的消息 ID,让审核者能逐项查回原话。
关键数据处理
配套脚本复现连续配对基线生成候选的过程;图1 展示在基线候选之上扩大上下文、选择问答证据并校验的处理设计。
flowchart TD
A["按基线候选 ID 定位原始时间线"] --> W{"需要扩大上下文?"}
W -->|是| E["向前、向后取消息"]
W -->|"否,沿用当前范围"| B["模型逐项匹配提问与答复<br/>返回证据 ID、原文摘录和覆盖状态"]
E --> B
B --> C["程序校验<br/>ID 存在,角色与先后顺序符合要求<br/>摘录能在对应原话中找到<br/>每项提问的覆盖状态齐全"]
C -->|通过| O["按复核结果更新候选<br/>保存问题与答案的消息 ID、覆盖状态"]
C -->|不通过| R["将错误连同原窗口交回模型<br/>重判一次"]
R --> F["程序按相同项目再次校验"]
F -->|通过| O
F -->|仍不通过| Q["进入待处理队列"]
图1 问答证据抽取与校验的设计流程
基线生成的候选是 m3 → m4:用户先问、客服后答,符合角色和先后顺序要求,可以通过这两项程序检查。但 B 在 m3 中问的是申请进度,客服在 m4 中回复 A 的是价格,是否对应仍需模型结合窗口内容判断。m4 写明“@A”,因此需要沿原始时间线向前找 A 的提问;读到 m1、m2 后,价格答复只覆盖收费问题,于是继续向后查找维护答复,读到 m5 的补充。本例因此进入图中的扩窗分支;当前范围已包含所需上下文时,则沿用原窗口。模型选择证据并返回逐项覆盖状态,程序核验 ID、角色与先后顺序、摘录来源及状态是否齐全。校验失败时,将错误连同原窗口交回模型重判一次,再按相同项目校验;通过后更新候选,仍不通过则进入待处理队列。
从原始消息标出问答证据
模型的输入是选定的上下文窗口,其中的消息按原始顺序排列,保留消息 ID、发送者和角色。模型判断每条消息是在提问、回答还是补充,并找出它对应的原话。逐条判断封装成“消息证据”结构,字段集中定义如下:
from typing import Literal, TypedDict
class MessageEvidence(TypedDict):
message_id: str
speaker_role: Literal["user", "agent"] # 沿用输入角色
message_type: Literal[
"question", "answer", "supplement", "other"
]
reply_to: list[str] # 对应的原消息 ID
evidence: str # 从当前消息摘录的原话
模型根据内容对应关系,把窗口内同一用户围绕同一事项的提问归组,再收集相应的客服答复与后续补充。连续发送只作为线索,补充内容仍需找到对应的问题。程序校验用于发现结构和来源错误,并逐项记录提问有无对应答复;语义对应由模型判断。扩窗补充模型可读的消息,重判则沿用当前窗口重新选择和关联证据。配套脚本 chat-qa-candidates.py 用于复现连续配对基线。
结合 表1,本例以 m4 为定位点,向前取三条、向后取一条,得到按原始顺序排列的窗口 [m1, m2, m3, m4, m5],保留各条消息的 ID、发送者和角色。窗口覆盖了 A 的提问、B 的插话和客服的两条答复。模型再按内容对应关系选择证据:问题选 [m1, m2],答案选 [m4, m5]。m3 的申请进度与这组收费、维护答复不对应,因此它虽在输入窗口中,仍不纳入这条问答证据。
一条候选记录至少应能回答两个问题:用户具体问过什么?客服对其中哪些内容给过答复? 对前面的五条合成消息,人工核对并整理措辞后,可得到下面这条目标记录,同时保留问题和答案各自的原始消息 ID:
{
"question": "基础版每月多少钱,是否包含维护?",
"answer": "每月100元,包含基础维护",
"question_message_ids": ["m1", "m2"],
"answer_message_ids": ["m4", "m5"]
}
这条记录是人工整理的示例。核对价格时,可沿 m1、m4 回查“基础版怎么收费?”与“@A,每月 100 元。”;核对维护时,可沿 m2、m5 回查“含维护吗?”与“包含基础维护。”。两个 ID 数组分别按原始消息顺序保存问题和答案的证据,便于逐项核对整理后的措辞。
用两种消息变化检查抽取结果
分别从输入中删去 m3 或 m5,对照基线输出与原话,区分“漏选已有答复”和“当前窗口未找到答复”,见 表3。基线列给出脚本实测输出,复核列给出按处理设计推演的预期结果,不代表自动复核的实测效果。
表3 删除不同消息后的基线实测与自动复核预期
| 输入变化 | 基线实测输出与原话对照 | 按复核设计预期的结果(校验通过后) |
|---|---|---|
| 只删 m3,保留 m1、m2、m4、m5。 | 基线得到 m1、m2 → m4。收到 m4 后清空暂存,因而漏选仍在原文中的维护答复 m5。 |
模型将 m4、m5 分别关联到 m1、m2;程序据此补回 m5,将候选更新为问题 [m1, m2]、答案 [m4, m5]。 |
| 保留 m3,只删 m5。 | 基线仍得到错配的 m3 → m4。当前窗口中,m4 回答 A 的价格问题,不对应 B 的申请进度;m2 的维护提问未找到答复。 |
模型将 m4 关联到 m1,排除错配的 m3,并将 m2 标记为“当前窗口未找到答复”。整理独立 FAQ 时,保留有原话依据的 m1、m4 价格问答,维护问题列为待补;评测答复完整性时,保留 m1、m2 两项提问及维护项的覆盖状态,不补造维护答案。 |
自动复核时,模型对照原始窗口与候选记录,逐项判断提问是否有对应答复,返回答复 ID、原文摘录和覆盖状态。程序随后核验 ID 是否存在、摘录是否来自对应消息、各项覆盖状态是否齐全;答复是否切题、是否漏选,由模型结合上下文判断。
校验通过后,程序保留正确证据、补入漏选的答复,仅依据原话整理答案;当前窗口内未找到答复的提问标记为待补,不生成答案,也不据此认定整段会话未答。校验失败时,将错误连同原窗口交回模型重判一次,再按相同规则校验,仍不通过则进入待处理队列。
配套脚本 chat-qa-candidates.py 使用 Python 标准库,用于复现连续配对基线在插话时的错配,以及连续两句客服回复只纳入第一句的漏选。下载后,在脚本所在目录运行 python3 chat-qa-candidates.py,即可查看候选消息 ID。
参考文献
[1] Jyun-Yu Jiang, Francine Chen, Yan-Ying Chen, Wei Wang. Learning to Disentangle Interleaved Conversational Threads with a Siamese Hierarchical Network and Similarity Ranking. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2018: 1812–1822. https://doi.org/10.18653/v1/N18-1164
[2] Thamolwan Poopradubsil, Chia-Hui Chang. Question-Answer Pairing from IM Conversations via Message Merging and Reply-to Prediction. Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation, 2022: 10–19. Manila, Philippines: Association for Computational Linguistics. https://aclanthology.org/2022.paclic-1.2/
[3] Xin Zheng, Tianyu Liu, Haoran Meng, Xu Wang, Yufan Jiang, Mengliang Rao, Binghuai Lin, Yunbo Cao, Zhifang Sui. DialogQAE: N-to-N Question Answer Pair Extraction from Customer Service Chatlog. Findings of the Association for Computational Linguistics: EMNLP 2023, 2023: 6540–6558. Singapore: Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.findings-emnlp.435
文章评论