背景介绍 在 NLP 等深度学习训练中,文本样本的长度往往不同。为了利用 GPU 的并行计算能力,通常会将多条样本组成一个批次,一起完成计算。本文关注这些文本对应的变长特征序列,每个位置是一个特征向量。采用右侧补齐的方式组批时,在较短序列的末尾补 0,使同一批次的序列长度一致,从而排列成“批次大小 × 序列长度 × 特征维度”的规则三维张量。 补齐组批后,如果需要把每条序列的多个特征向量汇总成一个向量,可以采用平均池化,也就是沿序列方向对各位置的特征向量取平均。但直接对补齐后的全部位置求平均,会把占位位置也计入除数…