0
点赞
收藏
分享

微信扫一扫

非常详细的transformer笔记,包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa


华校专老师更新了个人笔记,增加了 Transformer笔记,包含XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa 等内容,内容十分详细,非常值得学习,特此推荐。

这是作者多年以来学习总结的笔记,经整理之后开源于世。

笔记地址:

​​http://www.huaxiaozhuan.com/深度学习/chapters/7_Transformer.html​​

Transformer简介

​Transformer​​​ 是一种新的、基于 ​​attention​​​ 机制来实现的特征提取器,可用于代替 ​​CNN​​​ 和 ​​RNN​​ 来提取序列的特征。

​Transformer​​​ 首次由论文 ​​《Attention Is All You Need》​​​ 提出,在该论文中 ​​Transformer​​​ 用于 ​​encoder - decoder​​​ 架构。事实上 ​​Transformer​​​ 可以单独应用于 ​​encoder​​​ 或者单独应用于 ​​decoder​​ 。

Transformer笔记目录

一、Transformer

  • 1.1 结构
  • 1.2 Transformer vs CNN vs RNN
  • 1.3 实验结果

二、Universal Transformer

  • 2.1 结构
  • 2.2 ACT
  • 2.3 实验结果

三、Transformer XL

  • 3.1 Segment-level 递归
  • 3.2 相对位置编码
  • 3.3 实验结果

四、GPT

  • 4.1 GPT V1
  • 4.2 GPT V2

五、BERT

  • 5.1 预训练
  • 5.2 模型结构
  • 5.3 微调
  • 5.4 性能

六、ERNIE

  • 6.1 ERNIE 1.0
  • 6.2 ERNIE 2.0

七、XLNet

  • 7.1 自回归语言模型 vs 自编码语言模型
  • 7.2 Permutation Language Model
  • 7.3 Two-Stream Self-Attention
  • 7.4 Partial Prediction
  • 7.5 引入 Transformer XL
  • 7.6 多输入
  • 7.7 模型比较
  • 7.8 实验

八、MT-DNN

  • 8.1 模型
  • 8.2 实验

九、BERT 扩展

  • 9.1 BERT-wwm-ext
  • 9.2 RoBERTa

笔记截图

非常详细的transformer笔记,包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa_python

笔记截图

非常详细的transformer笔记,包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa_深度学习_02

其他

华校专老师的个人网站:

​​http://www.huaxiaozhuan.com/​​

笔记地址:

​​http://www.huaxiaozhuan.com/深度学习/chapters/7_Transformer.html​​

github:

​​https://github.com/huaxz1986​​

笔记内容较多,欢迎大家探讨。请点击“阅读原文

本站简介↓↓↓ 

“机器学习初学者”是帮助人工智能爱好者入门的个人公众号(创始人:黄海广)

初学者入门的道路上,最需要的是“雪中送炭”,而不是“锦上添花”。


举报

相关推荐

0 条评论