0
点赞
收藏
分享

微信扫一扫

Transformer every layer dimension

Resin_Wu 2022-05-03 阅读 54

在这里插入图片描述
图片参考https://zhuanlan.zhihu.com/p/503011317?utm_source=wechat_session&utm_medium=social&utm_oi=755464723327090688&utm_content=group3_article&utm_campaign=shareopn&s_r=0

  • 输出的维度和q一样

维度的理解:
100个q,625个k,v, 每个qkv的维度都是256
每个q都要和625个k算一个权重,然后乘以相应的v,所以查询结果的维度和q一样,但是包含的是v的信息

举报

相关推荐

0 条评论