经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks

学习笔记，仅供参考，有错必纠

文章目录

• ​​ImageNet Classification with Deep Convolutional Neural Networks​​

• ​​摘要​​
• ​​Introduction​​
• ​​dataset​​
• ​​Architecture​​

• ​​Training on Multiple GPUs​​
• ​​Training on Multiple GPUs​​
• ​​Local Response Normalization​​
• ​​Overall Architecture​​

• ​​Reducing Overfitting​​

• ​​Data Augmentation​​
• ​​Dropout​​

• ​​Details of learning​​

ImageNet Classification with Deep Convolutional Neural Networks

摘要

top5:模型给出5个答案，只要其中有1个答案是正确的,则认为模型判断正确.

Introduction

网络的大小被GPU限制，如果未来有更快的GPU以及更大的数据集，则模型会得到更好的结果.

dataset

使用的数据集为ImageNet的子集，包含1000个类别，每个类别有1000张图片. 本文，将1200000张图片作为训练集，50000张图片作为验证集，150000张图片作为测试集. 由于原始图片中的大小不一，所以，文中使用下采样的方法，将原始图片resize成256*256的相同大小的图片.

Architecture

Training on Multiple GPUs

文中使用RELU激活函数，由图1可知，使用RELU激活函数将错误率降低到25%，比使用tanh激活函数要快将近6倍.

Training on Multiple GPUs

使用多个GPU加快训练速度.

Local Response Normalization

文中在池化层后加入了【局部响应归一化】，从而降低top1和top5的错误率.

备注：该技术并不是在所有情况下都能提高模型性能，在2015年ICLR的VGGNet 的论文中提出，使用【局部响应归一化】并不能提升结果，同时会增加了内存和计算量.

Overall Architecture

这里的输入层为是因为文中对的图像进行了裁剪，从而增加了数据集. 尽管使用这种数据增强的方法会使数据之间存在高度相关，但同时会得到较好的效果.

Reducing Overfitting

Data Augmentation

Dropout

Details of learning