24 AlexNet 深度卷积神经网路

1. 机器学习的网络是什么样的？SVM（支持向量学习）

• 特征提取
• 选择核函数来计算相关性
• 处理凸优化问题
• 漂亮的数学定理

2. 几何学

• 抽取特征
• 描述几何（例如多相机）
• 凸优化
• 漂亮定理

特征工程
如何抽取图像的特征
特征描述子：SIFT、SURF
视觉词袋（聚类方法）

深度学习为何能崛起？
因为GPU的高速发展，计算能力比数据的增长速率要快。
整个过程是 神经网络 - 核方法 - 神经网络

ImageNet数据集
1000类，1.2M个数据集

ALexNet 2012 ImageNet冠军
AlexNet相当于是更深更大的LeNet，主要改进包括：丢弃法、ReLU，MaxPooling
与过往方法的对比，计算机视觉方法的改变：简单的通过CNN构造学习特征，而不需要经验丰富的专家信息。

AlexNet架构

• 更大的池化窗口，并且使用maxpooling
• 更大的核窗口和步长，因为图片更大了
• 新加了3层卷积层
• 更多的输出通道（可以识别更多的模式）
• 输出层增加到了1000
• 激活函数从sigmoid变成了ReLu（减缓梯度消失）
• 隐藏全连接层后加入了Dropout
• 数据增强（非常重要）
  
  
  
  参数对比：
  AlexNet 10x倍的参数个数，260x计算复杂度（神经网络的参数是较少的，但是计算复杂度、计算量是巨大的）

25 使用可重复块的网络 VGG

背景问题：
AlexNet比LeNet更深更大，怎么才能规范化，获得更深更大的模型？

可选方法：加全连接层、加卷积层、将卷积层组合成块

**VGG块 —— 可重复使用的卷积块：**输入和输出的通道都一样，用3×3的块来做深但窄的效果更好（模型更深），最后加一个2×2的池化层。不同的卷积块个数和超参数可以得到不同复杂度的变种（VGG-16，VGG-19）

对比AlexNet，相当于用块的概念，把alexNet做的更大更深