手机运行神经网络，MIT新方法使神经网络能耗降低 73%

正文

请到「今天看啥」查看全文

1.能耗评估器

以大脑解剖学为设计基础的神经网络包含成千上万甚至数百万的简单但紧密互联的信息处理节点，这些节点通常形成多个连接层。神经网络的类型根据层数、节点之间连接线的数量、以及每一层的节点总数的不同而发生变化。

节点之间的连接有「权重」，即给定节点的输出对下一个节点计算能力的影响力大小。在训练过程中，向神经网络提供大量学习样本，并持续调整其权重，直到网络最后一层的输出与计算结果保持持续相符。

「我们首先开发了一个能量模型工具，用来记录数据移动、交易和数据流动，」Sze 说，「只要给它一个神经结构和权重值，它就能告诉你该神经网络的能耗。人们会问『权重高的浅层网络能耗大，还是权重低的深层网络能耗大？』该工具可以帮助我们更好地了解能量的去向，这样算法设计者可以将其作为反馈，从而对能耗情况有更全面的了解。了解能量实际去向之后，我们开始使用该模型设计节能的神经网络。」

Sze 说，过去研究者使用「精简」（pruning）法降低神经网络的能耗。节点之间低权重的连接对神经网络最终输出结果贡献极小，因此许多连接被去除或者说被修剪掉了。

2.原则性精简

请到「今天看啥」查看全文