定义 语言模型（LM） 语言模型（LM）的经典定义是一种对令牌序列(token)的概率分布。假设有一个令牌集的词汇表 V 。语言模型p为每个令牌序列 x_{1},...,x_{L} ∈ V 分配一个概率（介于0和1之间的数字）： p(x_1,...x_L) 自回归语言模型(Autoregressive LM) 将序列 x_{1:L} 的联合分布 p(x_{1:L}) 的常见写法是使用概率的链式法则： p(x_{1:L}) = p(x_1) p(x_2 \mid x_1) p(x_3 \mid x_1, x_2) \…