CIFAR-10上做NAS，仅需单卡半天！华为提出基于进化算法和权值共享CARS模型

正文

请到「今天看啥」查看全文

完整的浮点参数集合 是在网络集合中共享，如果这些网络结构是固定的，最优的 可通过标准反向传播进行优化，优化的参数 适用于所有网络 以提高识别性能。在参数收敛后，通过基因算法优化二值连接 ，参数优化阶段和结构优化阶段是CARS的主要核心。

Parameter Optimization

参数 为网络中的所有参数，参数 ， 为mask操作，只保留 对应位置的参数。对于输入 ，网络的结果为 ， 为 -th个网络， 为其参数

给定GT ，预测的损失为 ，则 的梯度计算如公式1。

由于参数 应该适用于所有个体，因此使用所有个体的梯度来计算 的梯度，计算如公式2，最终配合SGD进行更新，

由于已经得到大量带超网共享参数的结构，每次都集合所有网络梯度进行更新会相当耗时，可以借鉴SGD的思想进行min-batch更新。使用 个不同的网络进行参数更新，编号为 。计算如公式3，使用小批量网络来接近所有网络的梯度，能够极大地减少优化时间，做到效果和性能间的平衡。

请到「今天看啥」查看全文