文章目录
前言
论文地址：MixNet
分层卷积算法在现代有效卷积算法中越来越受到重视，但其核大小却常常被忽视。在本文中，系统地研究了不同粒度的核的影响，并观察到结合多核的优点可以得到更高的准确率/效率。在此基础上，提出了一种新的混合深度卷积(mixconv) ，它自然地将多个核大小混合在一个卷积中。
一、Introduction
在本文中，重新回到这个基本问题: 较大的内核是否总能达到较高的精度? 自从在 alexnet中首次观察到，众所周知，每个卷积内核负责捕获一个局部图像模式，这可能是早期的边缘，后期的对象。大内核倾向于捕获高分辨率模式以牺牲更多的参数和计算为代价来获得更多的细节，但是它们总是能提高准确性吗？为了回答这个问题，文中系统地研究了基于 mobilenets 的内核大小的影响[7,23]。图1显示了结果。正如预期的那样，更大的内核大小显著地增加了更多参数的模型大小; 然而，模型的准确性首先从3x3上升到7x7，然后当内核大于9x9时迅速下降，这表明非常大的内核大小可能会潜在地损害准确性和效率。事实上，这个观察结果与ConvNets的第一个直觉是一致的: 在内核大小等于输入分辨率的极端情况下，ConvNets简单地变成了一个完全连通的网络，这是众所周知的劣等网络[7]。这项研究表明了单个内核大小的局限性: 我们需要大内核来捕获高分辨率模式，而小内核来捕获低分辨率模式以获得更高的模型精度和效率。
总结
大核和小核可以提取不同模式的特征。这一点和感受野是不一样的。两个33叠加的55 感受野 的信息和直接用5*5提取的模式特征是截然不一样的。针对这一点和旷视的同事曾经battle过半个多小时。
有一说一这种混合大小核的模式和inceptionNet有点像 但有不同。inceptionNet是构造了多个感受野的特征融合。而mixnet是多种模式的特征进行融合。
曾经在单细胞分类上相对于mobileNet，shuffleNet有比较好的表现。在倾向于通过全局信息或者较大的局部信息来分类的数据上。这种混合卷积核的模式应该更加有效。
