0
点赞
收藏
分享

微信扫一扫

Bert模型学习笔记


Bert模型学习笔记

From https://www.bilibili.com/video/BV1Ey4y1874y emmm 讲实话这个视频太简单了,不建议看。

可以看看李沐的视频:https://www.bilibili.com/video/BV1PL411M7eQ

这篇文章主要是四个部分:

  1. bert的整体架构
  2. 如何做预训练 mlm + nsp
  3. 如何微调bert(没看)
  4. 代码解析(没看)

Bert架构

  1. 基础架构是Transformer
  2. Bert模型学习笔记_bert

  3. bert-base
  1. 6 个encoder在一起变成了编码端
  2. 6个decoder在一起变成了解码端

在Transformer中使用了位置编码作为输入,但是在bert中使用的是:

Bert模型学习笔记_学习_03

二、如何做预训练任务

两种目标函数:

AR:其实就是类似GPT中的预训练任务,预测下一个单词。

AE:将某个位置的词语mask掉,然后进行预训练。


举报

相关推荐

0 条评论