不会弹吉他的二郎腿

 关注

Transformer简明教程 P4 词向量编码

不会弹吉他的二郎腿

 关注

阅读 46

2022-03-18

transformer 的词向量编码 与 RNN 不同，需要加入一个特殊的位置编码
在这里插入图片描述
假设 即使a = b 但是由于ab位置不同，所以最后的x1与x2 会不同
在这里插入图片描述
位置编码矩阵元素计算公式：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

相关推荐

上善若水山西太原

Transformer简明教程 P9 注意力与位置编码

上善若水山西太原 55 0 0

zhyuzh3d

HTML简明教程

zhyuzh3d 76 0 0

全栈顾问

makefile 简明教程

全栈顾问 83 0 0

梦想家们

dig 简明教程

梦想家们 36 0 0

大漠雪关山月

Markdown 简明教程

大漠雪关山月 60 0 0

IT程序员

Git简明教程

IT程序员 111 0 0

alonwang

Hexo 简明教程

alonwang 133 0 0

以沫的窝

kustomize 简明教程

以沫的窝 96 0 0

Resin_Wu

PythonQt简明教程

Resin_Wu 32 0 0

生活记录馆

Velocity简明教程(1)

生活记录馆 131 0 0

精彩评论（0）

0 0 举报