- 文字转数字
- 加入位置信息编码
- QKV分成三份
- 数字缩放
- 神经网络层
- 数字缩放
- 全部数字列队
- 概率转化
文字转数字
最初字符使用的是独热编码，现在大部分使用现成的第三方库。
对于字符的复用问题，每个字符可以对应多个数字。
对于一句话中的每个字符，从字典里抽出对应的行组成矩阵。完成字符转向量第一步。
位置信息编码
使用正余弦映射位置信息，与字符向量相加。完成字符转向量。
Transformer简介
本作品采用 知识共享署名 4.0 国际许可协议 进行许可
xxs9331
这个人很懒，什么都没留下
文章评论