文字转数字 加入位置信息编码 QKV分成三份 数字缩放 神经网络层 数字缩放 全部数字列队 概率转化 文字转数字 最初字符使用的是独热编码,现在大部分使用现成的第三方库。 对于字符的复用问题,每个字符可以对应多个数字。 对于一句话中的每个字符,从字典里抽出对应的行组成矩阵。完成字符转向量第一步。 位置信息编码 使用正余弦映射位置信息,与字符向量相加。完成字符转向量。

2025年2月10日 199点热度 xxs9331 阅读全文