方法论
进一步预训练
已有很多研究表明，在目标领域进一步预训练预训练模型，能提升预训练模型在下游任务的表现，依据进一步预训练的数据集，可分为三类：1）预训练时，仅能使用下游目标标注数据集；2）预训练时，可以使用目标任务所在领域的大量数据，比如信用分类时，可以使用大量的金融新闻报道；3）通用语料。论文后续实验证明，进一步的领域预训练是最佳的。
Multi-Task FineTune
MT_DNN已证明 MTL 与 pretraining 技术具有互补性，因此，如果有相关数据集的条件，尽可能进行MT FineTune。
实验结果
长文本分类的处理，取“头+尾”的策略最佳。
取最后一层的输出特征，效果最佳。
遗忘预训练过程学习到的知识，是迁移学习面临的重要问题。通过优化的学习率策略，可以减低该问题的负面效果。实验结果表面，使用较低的学习率2e-5，比4e-4更好，注意论文使用了ULMFiT中的 “斜三角学习率” 与 “为不同层设置不同学习率”的策略， 层学习率的衰减为0.95。
在目标任务的训练集上进一步Pretrain， 经过100K 步之后，效果最优。
进一步的领域预训练有助于提升效果。
下游任务有100标注数据表现已较优。
Bert_Large 能进一步提升效果。
