0
点赞
收藏
分享

微信扫一扫

拿下Transformer

本文将会系统的介绍自然语言处理和图像领域的Transformer内容,篇幅较长,请耐心阅读(小白大佬均可)。


Transformer 的直观认识

Transformer就是一个encoder和decoder结构。只是encoder和decoder有很多层,encoder的输出还会作为下一个encoder的输入,通过N个encoder(大部分论文中是六个)编码后,将第六个encoder的输出传给decoder,并在decoder中重复数次。

Encoder

Encoder即为自然语言序列或图像的每一个patch映射为隐藏层的数学表达的过程Encoder部分将会按照绿框所示的五个部分分别展开:

举报

相关推荐

0 条评论