29.深度学习模型压缩方法-3
29.1 后端压缩
（1）低秩近似
- 在卷积神经网络中，卷积运算都是以矩阵相乘的方式进行
- 对于复杂网络，权重矩阵往往非常大，非常消耗存储和计算资源
- 低秩近似就是用若干个低秩矩阵组合重构大的权重矩阵，以此降低存储和计算资源消耗。
| 事项 | 特点 |
|---|---|
| 优点 | 可以降低存储和计算消耗； 一般可以压缩2-3倍；精度几乎没有损失； |
| 缺点 | 模型越复杂，权重矩阵越大，利用低秩近似重构参数矩阵不能保证模型的性能 ； 超参数的数量随着网络层数的增加呈线性变化趋势，例如中间层的特征通道数等等。 随着模型复杂度的提升，搜索空间急剧增大。 |
（2）未加限制的剪枝
- 完成训练后，不加限制地剪去那些冗余参数。
| 事项 | 特点 |
|---|---|
| 优点 | 保持模型性能不损失的情况下，减少参数量9-11倍； 剔除不重要的权重，可以加快计算速度，同时也可以提高模型的泛化能力； |
| 缺点 | 极度依赖专门的运行库和特殊的运行平台，不具有通用性； 压缩率过大时，破坏性能； |
（3）参数量化
- 神经网络的参数类型一般是32位浮点型，