0
点赞
收藏
分享

微信扫一扫

DenseNet网络简述

1. DenseNet网络

DenseNet是指Densely connected convolutional networks(密集卷积网络)。在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型而不会增大误差,从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”或“捷径”,从而能训练出更深的CNN网络。DenseNet的思路与ResNet一致,但是不同的是,它的模型架构是前面所有层与后面层的密集连接(dense connection)。其论文入选了CVPR2017,作者是康奈尔大学Gao Huang、清华大学Zhuang Liu、Facebook 人工智能研究院研究科学家 Laurens van der Maaten 及康奈尔大学计算机系教授 Kilian Q. Weinberger

2. Densenet网络优点

(1)在保证网络中层与层之间最大程度的信息传输的前提下,对于每个层,将所有先前层的特征图用作输入,并将其自己的特征图用作所有后续层的输入,即直接将所有层连接起来,从而有效的缓解了梯度消失的现象。如下图所示:

Screenshot - 2022-10-20 08.50.03.png

(2)DenseNet 网络中dense block 的良好结构,使得每个卷积层的输出 feature map 数量都很小(小于100),这种密集连接模式的一个可能违反直觉的效果就是,其与传统的卷积网络相比,只需要更少的参数,使得特征的传递更加有效,网络更加容易训练。

(3)每个 dense block 的 3X3 卷积前面都包含了一个 1X1 的卷积操作,目的是减少输入的 feature map 数量,既能降维减少计算量,又能融合各个通道的特征。

(4)DenseNet 和 ResNet 相比参数量更小,性能提升更高。如下图所示,DenseNet 的参数量和性能与 ResNet 相比更有优势

Screenshot - 2022-10-20 08.59.44.png

3. Densenet网络缺点

Densenet网络在同层深度下获得更好的收敛率,其付出的代价就是极其夸张的显存占用

举报

相关推荐

0 条评论