正文
（1）只采用了单一的输出通道（filter）剪枝维度；
（2）为了得到稀疏化模型，其所采用的剪枝方法仅仅是在模型训练过程中引入一个静态的正则项；
（3）更深层次的局限性在于其所采用的基于 DRL 框架的剪枝方法本质上与剪枝问题难以兼容。但由于 DRL 框架并不适合解决模型权重剪枝的超参数设置问题，AMC 研究的结果也佐证了这一观点，其结果中最高压缩率只有非结构化（non-structured）的 5 倍压缩倍率。
图 1. 自动化超参数决策框架的通用流程，以及性能提升来源
为了改进以上的不足，我们提出了神经网络权重剪枝问题超参数设置自动化过程的通用流程（generic flow），如图 1 所示。整个自动化通用流程主要可以分为 4 步。步骤 1 为行为抽样，步骤 2 为快速评估，步骤 3 为确定决策，步骤 4 为剪枝操作。
由于超参数的巨大搜索空间，步骤 1 和步骤 2 应该快速进行，因此无法进行再训练（re-training）后去评估其效果。因此根据量级最小的一部分权重直接进行剪枝评估。步骤 3 根据工作抽样和评估的集合对超参数进行决策。步骤 4 利用剪枝核心算法对模型进行结构化剪枝并生成结果。
基于上述通用流程，并针对之前方法的局限性，进一步提出如下三点创新性设计，通过综合现有的深度神经网络与机器学习框架首次实现了目前最高效的深度神经网络自动化结构化剪枝的通用框架 AutoCompress。该框架在滴滴已经得到了实际有效应用。
三点创新性设计为：
（1）提出混合型的结构化剪枝维度；
（2）采用高效强大的神经网络剪枝算法 ADMM（交替乘子优化算法）对训练过程中的正则项进行动态更新；
（3）利用了增强型引导启发式搜索的方式进行行为抽样。
图 2. 不同的结构化剪枝策略: 基于卷积核的角度和通用矩阵乘算法（GEMM）的角度
首先，结构化剪枝包含三种剪枝维度，输出通道剪枝（filter pruning），输入通道剪枝（channel pruning）和输出通道形状剪枝（filter shape/column pruning），如图 2 上所示。
