经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors-CFANZ编程社区

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors

学习笔记，仅供参考，有错必纠

文章目录

Improving neural networks by preventing co-adaptation of feature detectors

Abstract
实验阐述

Improving neural networks by preventing co-adaptation of feature detectors

Abstract

一个大型前馈神经网络在一个样本量较少的数据集中可能会出现训练集结果非常好，测试集结果较差的情况，这就是出现了【过拟合】. 通过随机的将特征检测器(隐藏层神经元)丢弃(dropout)，可以减缓过拟合的情况.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_过拟合

实验阐述

使用dropout的神经网络模型，由于每次训练会随机丢弃一些隐藏层神经元，所以每次训练的模型都是不同的. 最终得到的网络结构(测试集中使用的结构)，是训练时所有子网络的权值共享后的结果.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_机器学习_02

在MNIST数据集中进行实验，可以使用很多技巧提高模型性能. 当我们不使用已有的技巧时，在测试集中，最好的结果是160个错误. 当使用50%的dropout对隐藏层进行修正时，错误数降低到了130个，在数据的输入层再增加20%的dropout时，错误会进一步减少到110.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_过拟合_03
使用dropout对原始模型进行预训练，则错误数可以降低到118，如果再使用50%的dropout对隐藏层进行修正，则错误数可以降低到92.

使用各个模型在MNIST数据集上进行实验，可以发现dropout对模型有不错的提升.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_数据集_04
在语音识别数据集TIMIT中，对各个模型进行比较，发现加入dropout的模型有更好的性能.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_神经网络_05
在CIFAR-10数据集中进行实验，原始的模型结果为16.6%，但是通过dropout方法之后，模型的结果提高到15.4%.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_深度学习_06

在ImageNet数据集中进行实验，原始的模型结果为48.6%，但是通过dropout方法之后，模型的结果提高到42.4%.
经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors_深度学习_07