24 AlexNet 深度卷积神经网路
- 机器学习的网络是什么样的?SVM(支持向量学习)
- 特征提取
- 选择核函数来计算相关性
- 处理凸优化问题
- 漂亮的数学定理
- 几何学
- 抽取特征
- 描述几何(例如多相机)
- 凸优化
- 漂亮定理
特征工程
如何抽取图像的特征
特征描述子:SIFT、SURF
视觉词袋(聚类方法)
深度学习为何能崛起?
因为GPU的高速发展,计算能力比数据的增长速率要快。
整个过程是 神经网络 - 核方法 - 神经网络
ImageNet数据集
1000类,1.2M个数据集
ALexNet 2012 ImageNet冠军
AlexNet相当于是更深更大的LeNet,主要改进包括:丢弃法、ReLU,MaxPooling
与过往方法的对比,计算机视觉方法的改变:简单的通过CNN构造学习特征,而不需要经验丰富的专家信息。
AlexNet架构
- 更大的池化窗口,并且使用maxpooling
- 更大的核窗口和步长,因为图片更大了
- 新加了3层卷积层
- 更多的输出通道(可以识别更多的模式)
- 输出层增加到了1000
- 激活函数从sigmoid变成了ReLu(减缓梯度消失)
- 隐藏全连接层后加入了Dropout
- 数据增强(非常重要)
参数对比:
AlexNet 10x倍的参数个数,260x计算复杂度(神经网络的参数是较少的,但是计算复杂度、计算量是巨大的)
25 使用可重复块的网络 VGG
背景问题:
AlexNet比LeNet更深更大,怎么才能规范化,获得更深更大的模型?
可选方法:加全连接层、加卷积层、将卷积层组合成块
**VGG块 —— 可重复使用的卷积块:**输入和输出的通道都一样,用3×3的块来做深但窄的效果更好(模型更深),最后加一个2×2的池化层。不同的卷积块个数和超参数可以得到不同复杂度的变种(VGG-16,VGG-19)
对比AlexNet,相当于用块的概念,把alexNet做的更大更深