变长序列的补齐与掩码平均池化

2026年11月15日 20点热度

背景介绍

在 NLP 等深度学习训练中,文本样本的长度往往不同。为了利用 GPU 的并行计算能力,通常会将多条样本组成一个批次,一起完成计算。本文关注这些文本对应的变长特征序列,每个位置是一个特征向量。采用右侧补齐的方式组批时,在较短序列的末尾补 0,使同一批次的序列长度一致,从而排列成“批次大小 × 序列长度 × 特征维度”的规则三维张量。

补齐组批后,如果需要把每条序列的多个特征向量汇总成一个向量,可以采用平均池化,也就是沿序列方向对各位置的特征向量取平均。但直接对补齐后的全部位置求平均,会把占位位置也计入除数。末尾补的 0 虽然不改变特征总和,却让除数从有效长度变成了补齐后的长度。这样,即使同一条序列的有效特征没有变化,平均结果也会受到补齐宽度的影响。

本文聚焦这条链路中的平均池化。处理目标是让每条序列只对自己的有效位置求平均,在输入特征保持一致的条件下,结果不受补齐宽度影响。做法是随特征保留有效长度,由长度生成掩码,在求和与计数两个环节共同排除补齐位置。

方案对比

处理变长序列时,可以分别考虑如何组织批次、是否限制序列长度,以及下游算子接受什么数据表示。常见做法见 表1,它们各自解决的问题有所不同,也可以组合使用。

表1 变长序列常见处理方式的适用条件与取舍

处理方式 核心做法 适用条件 主要取舍 有效范围如何处理
逐条处理 每条序列按自身长度单独计算 样本少、调试,或允许逐条调用的流程 容易核对,但不形成统一的批次张量 未补齐时可直接使用整条序列;已补齐时需按有效长度切片
右侧补齐组批 在短序列末尾补占位值,对齐为规则张量 下游使用规则批次张量 保留原有位置,但引入补齐区及相应存储、计算开销 需保存长度或掩码,让相关计算排除补齐位置
按长度分桶后补齐 将长度相近的序列分组,再在批次内补齐 长度差异较大,且允许按长度组织批次 增加批次组织步骤;可减少补齐量,但不保证完全消除补齐 仍需保存各序列的有效范围
截断 设定长度上限,截去超出部分 任务允许舍弃部分内容 限制最长序列,但会丢失被截去的信息;短序列仍可能需要补齐 按保留内容更新有效长度;若再补齐,仍需排除补齐位置
打包变长表示 将有效时间步组织为打包结构,如 PyTorch 的 PackedSequence 支持该表示的 RNN 等接口 受接口和算子支持限制,不能直接用于任意网络 边界由打包结构携带;还原为补齐张量后仍需使用长度或掩码

例如,可以先按长度分桶,再在每个批次内补齐;设置截断上限后,较短的序列也可能需要补齐。这些处理并没有替代下游计算对有效范围的判断。以补零后的平均池化为例,0 虽然不改变求和结果,直接调用 mean 却仍会把补齐位置计入除数。有效长度为 2、补齐宽度为 4 时,整行平均依然会除以 4,先清零再取整行平均也一样。

如果明确知道补齐位置始终为 0,直接求和,再除以保存的有效长度就已经足够。显式掩码适合补齐位置经过后续变换、数值未必继续保持为 0,或者需要把位置边界传给下游的场景。有效范围应依据长度等元数据判断;真实特征本身也可以包含 0,不能靠数值是否为 0 推断哪些位置需要排除。

本文采用右侧补齐组批,同时保存每条序列的有效长度。平均池化时,由长度生成掩码,先排除补齐位置并沿序列维度求和,再除以各自的有效长度。这种做法约定有效位置连续位于序列左侧,右侧为补齐区。如果有效位置分散在序列中间,或者需要排除特殊标记,就应直接提供逐位置的有效性掩码,不能仅凭一个长度恢复边界。

关键数据处理

输入输出与掩码含义

右侧补齐后,特征序列组成形状为 [B, T, D] 的输入 x,其中 B 是批次中的序列数,T 是补齐后的宽度,D 是每个位置的特征维度;各序列的有效长度则保存在形状为 [B] 的 seq_lens 中。平均池化沿序列维度计算,输出形状为 [B, D] 的 pooled,每条序列对应一个平均特征向量。以 表2 中的两条序列为例,每个位置有两个特征,A 的有效长度为 2,B 的有效长度为 4,因此补齐后的 x 形状为 [2, 4, 2],seq_lens 的值为 [2, 4]。A 的第一个有效向量 [0, 2] 中包含真实的 0,整个向量仍需参与平均,这也说明有效范围应由长度确定,不能根据特征是否为 0 来判断。

序列 位置 0 位置 1 位置 2 位置 3 有效长度
A [0, 2] [6, 4] [0, 0] 补齐 [0, 0] 补齐 2
B [1, 3] [3, 5] [5, 7] [7, 9] 4

表2 组批后的特征与有效长度

有效位置与补齐位置的区别由长度确定。对于第 b 条序列,位置下标 t 从 0 开始,t < seq_lens[b] 时保留,t >= seq_lens[b] 时排除。将后一种情况记为 padding_mask 中的 True,便得到 A 的掩码 [False, False, True, True] 和 B 的掩码 [False, False, False, False]。这样,A 的前两个向量会完整保留,其中的真实零值也参与计算,后两个向量则作为补齐内容被排除。这个方向必须与使用掩码的算子一致;接入其他模块时,需要核对其 True 表示排除还是有效。

求和与计数使用同一边界

确定有效范围后,平均计算就分为相互配合的两部分:先清零补齐区并沿序列维度求和,再除以各条序列的有效长度,处理流程见 图1。计算前需要保证特征是非空浮点张量,长度是同设备的 int64 向量,形状相互匹配,且每条有效长度位于 [1, T]。其中,零长度序列没有普通平均值,配套实现选择报错,由上游决定过滤、补默认表示或采用其他规则。若改用 clamp(min=1) 避免除零,也需要明确这同时引入了空序列的输出约定。

flowchart TD
    I["输入特征 x 与有效长度 seq_lens"] --> V{"是否满足形状、类型、设备约定<br/>且批次非空、每条长度位于 1 到 T?"}
    V -- 否 --> E["报告输入错误,停止处理"]
    V -- 是 --> M["按位置下标 ≥ 有效长度生成 padding_mask"]
    M --> S["把补齐位置的全部特征清零<br/>沿序列维度求和"]
    S --> D["每行特征和除以该行有效长度"]
    D --> O["输出 pooled,形状为 B × D"]

图1 使用同一有效范围完成求和与归一化

通过输入检查后,掩码生成、求和与归一化可以写成下面的张量运算:

steps = torch.arange(x.size(1), device=x.device)
padding_mask = steps.unsqueeze(0) >= seq_lens.unsqueeze(1)
total = x.masked_fill(padding_mask.unsqueeze(-1), 0).sum(dim=1)
pooled = total / seq_lens.unsqueeze(1)

生成补齐掩码时,需要将每条序列的有效长度与所有位置下标逐一比较。位置下标整理为 [1, T],长度整理为 [B, 1],比较时通过广播对齐形状:两条序列共用一行位置下标,每条序列的长度则用于比较该行的全部位置,无需手动复制下标或长度。这样便得到 [B, T] 的掩码。例如,A 的有效长度为 2,与下标 [0, 1, 2, 3] 比较后,前两个位置保留,后两个位置排除。将掩码扩展为 [B, T, 1] 后,最后一维的大小为 1,同一位置的判断结果便可用于该位置的全部 D 个特征,将整个补齐向量清零。随后沿序列维度 dim=1 求和,得到形状为 [B, D] 的 total,每行只包含该序列有效向量的和。

求和之后,分母也必须沿用同一个有效范围。将长度扩展为 [B, 1],便能为每条序列的全部特征提供同一个除数;这个除数是有效位置数,与特征维度 D 无关。对于 A,两个有效向量 [0, 2] 和 [6, 4] 的和为 [6, 6],除以有效长度 2,得到 [3, 3]。如果清零后仍直接调用整行平均,除数就会变成补齐宽度 4,结果仍是 [1.5, 1.5]。B 没有补齐,有效长度与宽度都是 4,因此两种方法都得到 [4, 6]。由此可见,排除补齐位置的数值贡献和计数贡献,需要在求和与归一化两个环节共同完成。

通过对照确认边界是否生效

判断有效范围是否生效,可以固定同一条序列的有效特征,只改变它的组批宽度或补齐区数值,再观察平均结果。表3 以 A 为例,比较单独组批、与较长序列一起组批,以及将补齐特征改为 999 三种情况:直接整行平均会随补齐条件改变,按有效位置平均则始终得到 [3, 3]。这些对照检验的是池化环节是否遵守有效边界,属于计算性质的检查。

对照条件 直接对整行平均 按有效位置平均
A 单独组批,宽度为 2 [3, 3] [3, 3]
A 与长度为 4 的 B 组批 [1.5, 1.5] [3, 3]
A 的补齐特征全部改成 999 [501, 501] [3, 3]

表3 相同有效特征在不同补齐条件下的结果

补齐区出现异常数值时,也需要按位置边界将其排除。masked_fill 会直接把指定位置替换为 0,因此补齐值即使是 NaN,也不会进入后续求和;若改成特征乘以 0/1 掩码,则要注意 NaN × 0 仍为 NaN。配套自检包含将补齐区替换为 NaN 后与原结果比较的检查。不过,这种处理只作用于补齐区,有效位置出现 NaN 仍需向上游排查。补齐不变性同样以有效特征保持不变为前提:如果更早的编码环节已经让补齐位置参与注意力等运算,改变了有效特征,只在池化出口加掩码无法恢复原值,各环节仍需遵守自己的有效范围。

有效范围同样决定了平均池化的梯度分配。以 pooled.sum() 作为标量目标时,每个有效特征在求和后都除以该序列的有效长度,因此 A 的有效特征梯度为 1/2,B 的有效特征梯度为 1/4;补齐位置被替换为常数 0,对原输入的梯度也为 0。对于一般的下游目标,后续网络和损失函数传回的梯度也会按有效长度分配到各个有效位置,而补齐位置在这一步池化运算中的输入梯度仍为 0。

配套代码见 单文件 Demo,安装 CPU 版 PyTorch 后,运行 python masked-mean.py 即可。接口参考:pad_sequence、masked_fill 的布尔掩码与广播约定。

xxs9331

这个人很懒,什么都没留下

文章评论