0
点赞
收藏
分享

微信扫一扫

attention机制 深入理解

看山远兮 2022-07-27 阅读 52


attention机制 深入理解_权值


首先也是最重要的,上图左右,只是画法不同,左边是RNN encoder-decoder画法,右边是machine reading相关论文 以及 transformer和fairseq论文里的图的画法对于最上图的左图,有下图,a是加的权值,h是encoder的states

attention机制 深入理解_权值_02

(个人理解soft attention和hard attention,是权值a的计算方式不同)

同理可理解最上图的右图


举报

相关推荐

0 条评论