不会弹吉他的二郎腿

关注

Transformer简明教程 P4 词向量编码

不会弹吉他的二郎腿

关注

阅读 46

2022-03-18

transformer 的词向量编码 与 RNN 不同,需要加入一个特殊的位置编码
在这里插入图片描述
假设 即使a = b 但是由于ab位置不同,所以最后的x1与x2 会不同
在这里插入图片描述
位置编码矩阵元素计算公式:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

相关推荐

上善若水山西太原

Transformer简明教程 P9 注意力与位置编码

上善若水山西太原 56 0 0

zhyuzh3d

HTML简明教程

zhyuzh3d 78 0 0

大漠雪关山月

Markdown 简明教程

大漠雪关山月 61 0 0

梦想家们

dig 简明教程

梦想家们 39 0 0

全栈顾问

makefile 简明教程

全栈顾问 88 0 0

以沫的窝

kustomize 简明教程

以沫的窝 101 0 0

alonwang

Hexo 简明教程

alonwang 145 0 0

Resin_Wu

PythonQt简明教程

Resin_Wu 44 0 0

IT程序员

Git简明教程

IT程序员 115 0 0

非凡兔

Python简明教程--Set

非凡兔 130 0 0

精彩评论(0)

0 0 举报