基本概念
昇腾模型压缩工具提供了一系列的模型压缩方法,对模型进行压缩处理后,生成的部署模型在昇腾AI处理器上可使能一系列性能优化操作,提高性能。昇腾模型压缩工具当前使用的压缩方法主要包括:量化、融合以及张量分解,根据功能划分为量化和张量分解。
量化
量化是指对模型的权重(weight)和数据(activation)进行低比特处理,让最终生成的网络模型更加轻量化,从而达到节省网络模型存储空间、降低传输时延、提高计算效率,达到性能提升与优化的目标。
张量分解
张量分解通过分解卷积核的张量,将一个卷积转化成两个小卷积的堆叠来降低推理开销。
融合
融合是指通过数学等价,将模型中的多个算子运算融合单算子运算,以减少实际前向过程中的运算量,如将卷积层和BN层融合为一个卷积层。