0

点赞

收藏

分享

GitHub上怎么寻找项目？

夹胡碰 2023-07-30 阅读 56

标签: 机器学习

在这里插入图片描述

模型BERT

在这里插入图片描述

任务：提取问题和答案

在这里插入图片描述

问题的起始位置和结束位置。

数据集

在这里插入图片描述
数据集 DRCD+ODSQA

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
先分词，然后tokenize

文章长度是不同的，bert的token的长度有限制，一般是512， self-attention的计算量是 $O(n^2)$ ,所以无法将长的整篇文章送进去处理。

Train

在这里插入图片描述
以正确答案为中心，以固定长度的windows去找问题。关键字，答案一般在关键字附近，在答案的附近画一个window，越大越好。然后将这些片段进行tokenizer，再去训练。

在这里插入图片描述

Hints

在这里插入图片描述

Linear Learning rate decay

在这里插入图片描述
overlapping window，因为分割可能会看不到，重叠一些部分。修改doc stride参数。

在这里插入图片描述
正确答案不一定是在窗户正中心。

在这里插入图片描述
不同的预训练模型，建议使用中文预训练模型。

在这里插入图片描述

自动混合精度，有的时候不需要那么高的精度Float32，仅部分卡支持，以加速训练。

在这里插入图片描述
如果GPU内存不够的话，可以使用Gradient accumulation，累计参数一次更新。

在这里插入图片描述

Kaggle项目

在这里插入图片描述

在这里插入图片描述
套件：pip install transformers

0 条评论

关注