position embedding BERT 里的实现：

要思考一个问题，什么是position embedding，

就是：

如果每个position的位置用0,1,2,3,4…来表示的话，

怎样像word embedding似的输进模型里呢，

就是两种办法：

one-hot

或者

把position的0,1,2,3,4看成word id一样用embedding_lookup表示成和word embedding同样维数，也就是用一个vector代表0，用一个vector代表1，用一个vector代表2……

position 0,1,2,3,4每个id或index都会转成一个vector，合起来也就是一个随机矩阵！所以看position embedding的另一种实现：