结构 大语言模型基础 语言模型 语言模型 什么是语言模型 自回归语言模型(Autoregressive language models) 总结 大模型相关历史回顾 信息理论、英语的熵、n-gram模型 英语的熵 用于下游应用的N-gram模型 神经语言模型 总结 定义 语言模型（LM） 语言模型（LM）的经典定义是一种对令牌序列(token)的概率分布。假设有一个令牌集的词汇表 VV 。语言模型p为每个令牌序列 $x_{1},...,x_{L}$ ∈ $V$ 分配一个概率（介于0和1之间的数字）： $$ p(x_1…