从交错的群聊中抽取完整问答

2026年11月22日 26点热度

背景介绍

客服群里的历史消息可以整理成问答候选,供后续检索和审核使用;候选还要能回查原话,确认问题与答案各自来自哪些消息。不过,群聊里的提问、插话和补充常常交错出现,不能直接按相邻位置配成问答。下面用五条合成消息说明,见 表1。

表1 合成聊天中五条消息的顺序

消息 发言人 原文
m1 A 基础版怎么收费?
m2 A 含维护吗?
m3 B 我昨天提交的申请有进展吗?
m4 客服 @A,每月 100 元。
m5 客服 包含基础维护。

本文的连续配对基线会暂存同一用户连续发出的消息,遇到客服回复就生成候选并清空暂存。读到 A 的 m1、m2 时,两条消息都在暂存中;B 的 m3 到来后,当前用户换成 B,暂存便只剩 m3。随后读到 m4,程序不判断“@A”的回复指向,直接输出 m3 → m4,把申请进度与价格配在一起。暂存随即清空,因此 m5 到来时没有可配对的提问,“包含基础维护”这句补答也被漏掉。

本文的做法是从原始消息里分别圈出问题和答案。输入是一组按时间排列、带消息 ID 和发送者的聊天记录:处理时从这些消息中选出构成问题与答案的原话,再整理成一条问答。输出除了问答本身,还保留两组 ID,让审核者能查回两边各来自哪几句。回到上面的例子,这两组 ID 就是 m1、m2 与 m4、m5,也是人工核对时要还原的目标证据。下一节沿用这段聊天,比较几种做法各自会把哪几条消息配成问答。

方案对比

同一段聊天可以交给不同方法处理,但输出不在同一个层面上:有的给出线程划分,有的给出回复关系,有的直接给出问答对。本文的连续配对基线与三篇文献中的具名方法逐行对照,见 表2。每行说明它在本例中怎么走、得到什么,以及要凑成一条完整问答还差哪一步。

表2 连续配对基线与三种文献方法的对照

方案 在本例中如何解决问题 局限或代价
连续发言配对(consecutive-message pairing)(本文实现) 暂存同一用户的连续消息,遇到客服回复就生成候选并清空暂存。m3 将用户切换为 B,实测得到 m3 → m4,漏掉 m5。 只看角色、发送者和时间,@A 不参与判断;不用模型,但插话可能造成错配。
会话解缠(SHCNN + CISIR) [1] SHCNN 为时间相近的消息对估计相似度,CISIR 保留高置信连接,用消息图的连通分量划分线程。 解决消息属于哪次交谈,分组后仍须识别问题、答案及其对应关系。
消息合并与回复预测(message merging + CONTEXT-AOA) [2] 先判断同一发言者的消息是否合并,再结合上下文预测回复关系。若将 m4、m5 合并,就能同时保留价格和维护两项答复;形成完整问答还需正确关联 A 的提问。 合并与回复预测分两步,合并边界和回复关联都会影响最终问答。
多对多问答抽取(DialogQAE) [3] 允许问题和答案各由多条发言组成,本例的目标形态就是问题 [m1, m2]、答案 [m4, m5]。 评测需要专门标注的数据,抽取结果仍须回查原话,核对遗漏与混入的消息。

本例只有连续配对基线是实测:得到 m3 → m4,漏掉 m5。三种文献方法在这里按处理目标作示例推演。线程可以理解为从群聊中分出的交谈小组,理想分组是 A 的价格与维护 [m1, m2, m4, m5]、B 的申请进度 [m3]。分组后,仍须标出哪些消息是问题、哪些是答案,以及它们的对应关系。

本文要整理的完整问答,问题证据是 [m1, m2],答案证据是 [m4, m5]:m4 回答价格,m2 提出的维护问题已在 m5 得到答复;抽取时漏选 m5,整理后的答案就会缺少维护说明。第 3 节据此分别记录问题与答案的消息 ID,让审核者能逐项查回原话。

关键数据处理

配套脚本复现连续配对基线生成候选的过程;图1 展示在基线候选之上扩大上下文、选择问答证据并校验的处理设计。

flowchart TD
    A["按基线候选 ID 定位原始时间线"] --> W{"需要扩大上下文?"}
    W -->|是| E["向前、向后取消息"]
    W -->|"否,沿用当前范围"| B["模型逐项匹配提问与答复<br/>返回证据 ID、原文摘录和覆盖状态"]
    E --> B
    B --> C["程序校验<br/>ID 存在,角色与先后顺序符合要求<br/>摘录能在对应原话中找到<br/>每项提问的覆盖状态齐全"]
    C -->|通过| O["按复核结果更新候选<br/>保存问题与答案的消息 ID、覆盖状态"]
    C -->|不通过| R["将错误连同原窗口交回模型<br/>重判一次"]
    R --> F["程序按相同项目再次校验"]
    F -->|通过| O
    F -->|仍不通过| Q["进入待处理队列"]

图1 问答证据抽取与校验的设计流程

基线生成的候选是 m3 → m4:用户先问、客服后答,符合角色和先后顺序要求,可以通过这两项程序检查。但 B 在 m3 中问的是申请进度,客服在 m4 中回复 A 的是价格,是否对应仍需模型结合窗口内容判断。m4 写明“@A”,因此需要沿原始时间线向前找 A 的提问;读到 m1、m2 后,价格答复只覆盖收费问题,于是继续向后查找维护答复,读到 m5 的补充。本例因此进入图中的扩窗分支;当前范围已包含所需上下文时,则沿用原窗口。模型选择证据并返回逐项覆盖状态,程序核验 ID、角色与先后顺序、摘录来源及状态是否齐全。校验失败时,将错误连同原窗口交回模型重判一次,再按相同项目校验;通过后更新候选,仍不通过则进入待处理队列。

从原始消息标出问答证据

模型的输入是选定的上下文窗口,其中的消息按原始顺序排列,保留消息 ID、发送者和角色。模型判断每条消息是在提问、回答还是补充,并找出它对应的原话。逐条判断封装成“消息证据”结构,字段集中定义如下:

from typing import Literal, TypedDict

class MessageEvidence(TypedDict):
    message_id: str
    speaker_role: Literal["user", "agent"]          # 沿用输入角色
    message_type: Literal[
        "question", "answer", "supplement", "other"
    ]
    reply_to: list[str]                            # 对应的原消息 ID
    evidence: str                                  # 从当前消息摘录的原话

模型根据内容对应关系,把窗口内同一用户围绕同一事项的提问归组,再收集相应的客服答复与后续补充。连续发送只作为线索,补充内容仍需找到对应的问题。程序校验用于发现结构和来源错误,并逐项记录提问有无对应答复;语义对应由模型判断。扩窗补充模型可读的消息,重判则沿用当前窗口重新选择和关联证据。配套脚本 chat-qa-candidates.py 用于复现连续配对基线。

结合 表1,本例以 m4 为定位点,向前取三条、向后取一条,得到按原始顺序排列的窗口 [m1, m2, m3, m4, m5],保留各条消息的 ID、发送者和角色。窗口覆盖了 A 的提问、B 的插话和客服的两条答复。模型再按内容对应关系选择证据:问题选 [m1, m2],答案选 [m4, m5]。m3 的申请进度与这组收费、维护答复不对应,因此它虽在输入窗口中,仍不纳入这条问答证据。

一条候选记录至少应能回答两个问题:用户具体问过什么?客服对其中哪些内容给过答复? 对前面的五条合成消息,人工核对并整理措辞后,可得到下面这条目标记录,同时保留问题和答案各自的原始消息 ID:

{
  "question": "基础版每月多少钱,是否包含维护?",
  "answer": "每月100元,包含基础维护",
  "question_message_ids": ["m1", "m2"],
  "answer_message_ids": ["m4", "m5"]
}

这条记录是人工整理的示例。核对价格时,可沿 m1、m4 回查“基础版怎么收费?”与“@A,每月 100 元。”;核对维护时,可沿 m2、m5 回查“含维护吗?”与“包含基础维护。”。两个 ID 数组分别按原始消息顺序保存问题和答案的证据,便于逐项核对整理后的措辞。

用两种消息变化检查抽取结果

分别从输入中删去 m3 或 m5,对照基线输出与原话,区分“漏选已有答复”和“当前窗口未找到答复”,见 表3。基线列给出脚本实测输出,复核列给出按处理设计推演的预期结果,不代表自动复核的实测效果。

表3 删除不同消息后的基线实测与自动复核预期

输入变化 基线实测输出与原话对照 按复核设计预期的结果(校验通过后)
只删 m3,保留 m1、m2、m4、m5。 基线得到 m1、m2 → m4。收到 m4 后清空暂存,因而漏选仍在原文中的维护答复 m5。 模型将 m4、m5 分别关联到 m1、m2;程序据此补回 m5,将候选更新为问题 [m1, m2]、答案 [m4, m5]。
保留 m3,只删 m5。 基线仍得到错配的 m3 → m4。当前窗口中,m4 回答 A 的价格问题,不对应 B 的申请进度;m2 的维护提问未找到答复。 模型将 m4 关联到 m1,排除错配的 m3,并将 m2 标记为“当前窗口未找到答复”。整理独立 FAQ 时,保留有原话依据的 m1、m4 价格问答,维护问题列为待补;评测答复完整性时,保留 m1、m2 两项提问及维护项的覆盖状态,不补造维护答案。

自动复核时,模型对照原始窗口与候选记录,逐项判断提问是否有对应答复,返回答复 ID、原文摘录和覆盖状态。程序随后核验 ID 是否存在、摘录是否来自对应消息、各项覆盖状态是否齐全;答复是否切题、是否漏选,由模型结合上下文判断。

校验通过后,程序保留正确证据、补入漏选的答复,仅依据原话整理答案;当前窗口内未找到答复的提问标记为待补,不生成答案,也不据此认定整段会话未答。校验失败时,将错误连同原窗口交回模型重判一次,再按相同规则校验,仍不通过则进入待处理队列。

配套脚本 chat-qa-candidates.py 使用 Python 标准库,用于复现连续配对基线在插话时的错配,以及连续两句客服回复只纳入第一句的漏选。下载后,在脚本所在目录运行 python3 chat-qa-candidates.py,即可查看候选消息 ID。

参考文献

[1] Jyun-Yu Jiang, Francine Chen, Yan-Ying Chen, Wei Wang. Learning to Disentangle Interleaved Conversational Threads with a Siamese Hierarchical Network and Similarity Ranking. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2018: 1812–1822. https://doi.org/10.18653/v1/N18-1164

[2] Thamolwan Poopradubsil, Chia-Hui Chang. Question-Answer Pairing from IM Conversations via Message Merging and Reply-to Prediction. Proceedings of the 36th Pacific Asia Conference on Language, Information and Computation, 2022: 10–19. Manila, Philippines: Association for Computational Linguistics. https://aclanthology.org/2022.paclic-1.2/

[3] Xin Zheng, Tianyu Liu, Haoran Meng, Xu Wang, Yufan Jiang, Mengliang Rao, Binghuai Lin, Yunbo Cao, Zhifang Sui. DialogQAE: N-to-N Question Answer Pair Extraction from Customer Service Chatlog. Findings of the Association for Computational Linguistics: EMNLP 2023, 2023: 6540–6558. Singapore: Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.findings-emnlp.435

xxs9331

这个人很懒,什么都没留下

文章评论