0
点赞
收藏
分享

微信扫一扫

【每周CV论文推荐】初学模型蒸馏值得阅读的文章


欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

模型蒸馏是非常重要的模型压缩方法,在学术界研究非常广泛,本次我们来简单给大家推荐一些初入该领域值得阅读的工作。

1 基于优化目标驱动的知识蒸馏框架

Hinton最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏的概念,其核心思想是一旦复杂网络模型训练完成,便可以用另一种训练方法从复杂模型中提取出来更小的模型。

文章引用量:11000+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学模型蒸馏值得阅读的文章_深度学习

[1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015, 2(7).

2 基于特征匹配约束的知识蒸馏框架

上述基本的蒸馏框架以优化目标来约束teacher模型和student模型进行协同学习,模型学习的具体细节难以控制,会让训练不稳定且缓慢,更通用的方法其实是利用隐藏层特征来进行匹配约束,典型框架是FitNets。

文章引用量:2000+

推荐指数:✦✦✦✦✦

【每周CV论文推荐】初学模型蒸馏值得阅读的文章_图像分割_02

[2] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.

[3] Huang Z, Wang N. Like what you like: Knowledge distill via neuron selectivity transfer[J]. arXiv preprint arXiv:1707.01219, 2017.

3 自蒸馏框架

在上面我们介绍的框架中,假设教师模型一定是比学生模型表现更好,但是教师模型的存在增加了训练的难度,而且教师模型的存在是否一定是必要的,研究者后面开始思考不需要教师模型的框架,这些可以统一归为自蒸馏框架。

文章引用量:1000+

推荐指数:✦✦✦✦✧

【每周CV论文推荐】初学模型蒸馏值得阅读的文章_深度学习_03

[4] Zhang Y, Xiang T, Hospedales T M, et al. Deep mutual learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4320-4328.

[5] Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 3713-3722.

4 对知识蒸馏的理解

关于知识蒸馏本身的有效性问题,这几年研究者有不少新的发现,比如知识蒸馏到底是不是真的比从头训练小模型更好,教师模型的存在是必要的吗,教师模型是不是越强越好,与剪枝量化框架的结合,大家也可以多关注关注。

文章引用量:300+

推荐指数:✦✦✦✦✧

【每周CV论文推荐】初学模型蒸馏值得阅读的文章_图像分割_04

[6] Cho J H, Hariharan B. On the efficacy of knowledge distillation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 4794-4802.

[7] Yuan L, Tay F E H, Li G, et al. Revisit knowledge distillation: a teacher-free framework[J]. 2019.

举报

相关推荐

0 条评论