聊天机器人中连续消息的收集与上下文组织

2026年11月16日 5点热度

背景介绍

一对一聊天中,用户A先问“这个服务怎么收费?”,过几秒又补一句“包含后续维护吗?”。如果机器人收到第一句就立即检索和生成,第一条回复可能只介绍价格,后面的维护问题还要再处理一次。短暂等待有机会让两条相关消息一起进入处理流程。

到了群聊,用户A的两句话之间可能插入用户B的“我昨天提交的申请还没通过”,接着用户C又说“我的申请也没通过”。用户A在问费用和维护,用户B、用户C在讨论申请进度。消息按到达顺序交错,时间相近的几条发言可能属于不同的人和问题。机器人需要看到这段群内互动,也需要保留每条发言的归属。

本文以同一个群中的对话为例,采用固定等待窗口,分别收集每位用户的连续消息。用户A发来第一条消息时,就确定本轮等待的期限;期限前补充的维护问题会和费用问题放在一起,后续补充不会延长期限。与此同时,所有人的发言都保留在共享的群聊上下文中,用户B、用户C的发言也作为理解A的问题的背景。到期后,独立的定时任务将A的当前输入与群聊上下文组装成请求,交给后续环节,无需再等新消息触发。其他用户的输入也按同样的规则分别处理。

方案对比

不同方案的对比见 表1。使用同一组合成消息:用户A只在 0 和 0.8 秒各发一条消息,窗口或静默期均为 2 秒,最长等待从首条起算为 2.5 秒。数量触发假设阈值为 2 条、超时为 2 秒,且未触及容量上限。其他人的发言只进入共享群聊上下文,不改变 A 的计时。表中时刻按及时调度推演,只表示请求具备提交条件,实际回复还需后续处理和生成。

方式与依据 触发规则与本例提交时刻 适用条件 主要局限
逐条立即处理 每条到达即具备提交条件;本例为 0、0.8 秒 单条输入相对完整,低延迟优先 后续补充可能赶不上当前回答,并触发新一轮处理
固定等待窗口[2] 首条后等待 2 秒,追加不延长期限;本例为 2 秒 希望收集补充,同时保持明确期限 首条也等满窗口;到期仍可能没说完,同用户不同话题也可能混入
尾沿防抖[1] 同一用户每次追加后重新等待 2 秒;本例为 2.8 秒 补充常分多条发送,允许等待输入暂时稳定 持续输入可能不断延期;静默不保证表达完整
防抖加最长等待[1] 静默满 2 秒或首条后满 2.5 秒,先到者触发;本例为 2.5 秒 希望等输入稳定,又要限制主动等待 触及上限仍可能截断表达,需确定两个时长参数
数量或时间先到触发的有界组批[2] 按表前假设,达到 2 条或首条后满 2 秒,先到者触发;本例为 0.8 秒 输入较密集,希望凑批,也要避免低流量时一直等不满 条数不代表表达完整;Inngest 另有 10 MiB 容量触发边界,本文 Demo 仅按时间触发
语义话轮判断[4] 依据内容与上下文判断接话时机;本例无法仅据到达时刻推算 需要进一步判断表达是否完整、此刻是否适合接话 存在误判;引入模型会增加推断成本,效果须在目标场景验证

表1 同一用户连续输入的收集与接话判断方案对比

单条消息相对完整、响应速度优先时,逐条立即处理可以省去主动等待;遇到分多条发送的补充,则可能把一次连续表达拆成多次处理。固定窗口给补充留出一段确定的收集时间,适合需要明确提交期限的场景。它的代价是孤立消息也要等满窗口,而临近期限才开始的补充可能被拆到下一轮。

如果用户经常连续追加,更希望等输入暂时稳定,尾沿防抖可以随追加重新计时,但持续输入会不断推迟提交。加上最长等待后,静默期结束或等待上限到达,先满足者触发,在收集补充和及时处理之间折中[1]。消息密集时,数量或时间先到触发的组批方式还能在达到条数后提前提交,低流量时则由超时结束等待;Inngest 批处理还设置了容量边界[2]。这些上限换来了及时提交,也可能在用户尚未说完时把表达分到两轮。

当接话时机更依赖表达内容时,可以考虑语义话轮判断,根据当前发言与对话上下文判断此刻是否适合接话[4]。它适合需要区分暂时停顿与表达结束的场景,选择重点也从设定等待时长转向接话判断的准确性。群聊中还要考虑发言之间的话题关系:按同一用户收集的消息,也可能包含不同问题。

关键数据处理

当前输入与共享上下文

输入 Message 包含消息标识 id、发送者 sender 和原文 text,其中 id 在本群内唯一。等待计时使用事件循环的单调时钟。

共享 context 按接收顺序记录群内所有人的发言,pending 则以发送者为键,保存各用户尚未提交的消息、期限 ready_at 和定时器。每位用户的期限由本轮首条消息确定,后续追加不延长期限。

到期后,程序组装 GenerationRequest,包含目标用户 sender、该用户本轮积累的 current_messages 和上下文副本 context。副本中排除已放入当前输入的消息,避免重复,其他人的发言和此前轮次的消息仍作为背景。以 A 为例,费用和维护问题组成当前输入,B、C 的申请进度发言保留在上下文中。

接收与到期提交

流程见 图1。首条消息确定 ready_at 并注册定时器,同一用户在期限前追加消息时沿用原期限。到期回调由事件循环独立触发,没有后续消息也会提交。

flowchart TD
    I["收到一条候选消息"] --> D{"该用户是否有待处理输入<br/>且已经到期?"}
    D -- 是 --> E["先提交旧轮请求并清理状态"]
    D -- 否 --> H["将新消息加入共享群聊上下文"]
    E --> H
    H --> P{"该用户是否已有待处理输入?"}
    P -- 否 --> C["设置 ready_at = 当前时刻 + 窗口<br/>注册到期回调"]
    P -- "是,沿用原期限" --> A["追加新消息到该用户的当前输入"]
    C --> A
    A --> W["本次接收结束"]
    C -. "到期时由事件循环独立触发" .-> T["执行该用户的到期回调"]
    T --> Q{"该用户是否仍有待处理输入?"}
    Q -- 否 --> O["结束回调"]
    Q -- 是 --> R["取出当前输入与上下文快照<br/>排除重复消息,组装请求"]
    R --> S["请求入队并清理本轮状态"]

图1 按用户等待与共享群聊上下文的处理流程

期限根据 loop.time() 计算,再用 loop.call_at 注册回调,两者使用同一单调时钟[3]。接收与回调在同一事件循环中同步修改状态;若新消息到达时旧轮已到期,就先提交旧轮,再收录新消息。

请求保留组装时的上下文快照。提交后清空本轮待处理状态,保留共享群聊上下文;同一用户再次发言时开启新窗口。

用交错发言检查输出

表2 给出 A、B、C 交错发言的合成样例,演示过程约三秒。表中为计划接收时刻,实际执行会有调度误差。

计划时刻 消息标识 发送者 原文 等待中的当前输入
0 秒 m1 A 这个服务怎么收费? 建立 A 的窗口,计划在约 2 秒提交
0.4 秒 m2 B 我昨天提交的申请还没通过。 建立 B 的窗口,A 的期限保持不变
0.8 秒 m3 A 包含后续维护吗? 追加到 A 的输入,仍沿用首条期限
1.2 秒 m4 C 我的申请也没通过。 建立 C 的窗口,并写入共享上下文

表2 同一群内按用户分别等待补充

全部消息送入后,程序停止投递,等待到期回调将三份组装好的生成请求放入队列,结果见 表3。

目标用户 当前输入的消息 群聊上下文中的消息
A m1、m3 B 的 m2、C 的 m4
B m2 A 的 m1、m3,C 的 m4
C m4 A 的 m1、m3,B 的 m2

表3 独立当前输入与共享群聊上下文

A 的补充与首条消息合并,交错到达的 B、C 发言作为共享上下文保留,各人的当前输入仍分别收集。B、C 各自只有一条消息,也会在各自到期后独立提交,无需再等新消息触发。

案例讲解

群聊中的消息逐条到达,同一用户可能连续补充,其他人的发言也会穿插其间。处理某位用户的问题时,需要把他的连续表达收集起来,同时保留群内其他发言作为上下文。

本案例将前文的收集思路落实为一个单群消息处理流程:共享群聊上下文,按用户分别收集连续消息。每位用户的固定窗口到期后,将本轮消息与上下文组装成请求并入队,供后续环节处理。

配套代码见 message-coalescing.py,使用 Python 标准库,执行 python message-coalescing.py 即可。

[1] Inngest. Debounce | Deduplicate Events Over Time. 官方文档. https://www.inngest.com/docs/durable-execution/flow-control/debounce

[2] Inngest. Batch Processing Events. 官方文档. https://www.inngest.com/docs/durable-execution/flow-control/batching

[3] Python 官方文档. Event loop,Scheduling delayed callbacks:loop.call_at() 与 loop.time(). https://docs.python.org/3/library/asyncio-eventloop.html#scheduling-delayed-callbacks

[4] Bing’er Jiang, Erik Ekstedt, Gabriel Skantze. Response-conditioned Turn-taking Prediction. Findings of the Association for Computational Linguistics: ACL 2023, 2023: 12241–12248. https://aclanthology.org/2023.findings-acl.776.pdf

xxs9331

这个人很懒,什么都没留下

文章评论