Transformer简明教程 P4 词向量编码

transformer 的词向量编码 与 RNN 不同，需要加入一个特殊的位置编码

假设 即使a = b 但是由于ab位置不同，所以最后的x1与x2 会不同

位置编码矩阵元素计算公式：