0
点赞
收藏
分享

微信扫一扫

【跟李沐学AI】week5b | AlexNet VGG

一ke大白菜 2022-01-28 阅读 46

24 AlexNet 深度卷积神经网路

  1. 机器学习的网络是什么样的?SVM(支持向量学习)
  • 特征提取
  • 选择核函数来计算相关性
  • 处理凸优化问题
  • 漂亮的数学定理
  1. 几何学
  • 抽取特征
  • 描述几何(例如多相机)
  • 凸优化
  • 漂亮定理

特征工程
如何抽取图像的特征
特征描述子:SIFT、SURF
视觉词袋(聚类方法)

深度学习为何能崛起?
因为GPU的高速发展,计算能力比数据的增长速率要快。
整个过程是 神经网络 - 核方法 - 神经网络

ImageNet数据集
1000类,1.2M个数据集

ALexNet 2012 ImageNet冠军
AlexNet相当于是更深更大的LeNet,主要改进包括:丢弃法、ReLU,MaxPooling
与过往方法的对比,计算机视觉方法的改变:简单的通过CNN构造学习特征,而不需要经验丰富的专家信息。
在这里插入图片描述
AlexNet架构

  • 更大的池化窗口,并且使用maxpooling
  • 更大的核窗口和步长,因为图片更大了
  • 新加了3层卷积层
  • 更多的输出通道(可以识别更多的模式)
  • 输出层增加到了1000
  • 激活函数从sigmoid变成了ReLu(减缓梯度消失)
  • 隐藏全连接层后加入了Dropout
  • 数据增强(非常重要)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    参数对比:
    AlexNet 10x倍的参数个数,260x计算复杂度(神经网络的参数是较少的,但是计算复杂度、计算量是巨大的)

25 使用可重复块的网络 VGG

在这里插入图片描述
背景问题:
AlexNet比LeNet更深更大,怎么才能规范化,获得更深更大的模型?

可选方法:加全连接层、加卷积层、将卷积层组合成块

**VGG块 —— 可重复使用的卷积块:**输入和输出的通道都一样,用3×3的块来做深但窄的效果更好(模型更深),最后加一个2×2的池化层。不同的卷积块个数和超参数可以得到不同复杂度的变种(VGG-16,VGG-19)
在这里插入图片描述
对比AlexNet,相当于用块的概念,把alexNet做的更大更深
在这里插入图片描述

举报

相关推荐

0 条评论