边缘计算探索：处理器，算法与内存

矽说 · 公众号 · 半导体 · 2018-04-07 12:13

正文

请到「今天看啥」查看全文

对于边缘计算系统，处理器、算法和存储器是整个系统中最关键的三个要素。下面我们仔细分析这几个元素。

用于边缘计算的处理器：要多通用？是否要上专用加速器？

常规物联网终端节点的处理器是一块简单的MCU，以控制目的为主，运算能力相对较弱。如果要在终端节点加边缘计算能力，有两种做法，第一是把这块MCU做强，例如使用新的指令集增加对矢量计算的支持，使用多核做类似SIMD的架构等等；第二种是走异构计算的思路，MCU还是保持简单的控制目的，计算部分则交给专门的加速器IP来完成，目前正火的AI芯片其实大部分做的就是这样的一个专用人工智能算法加速器IP。显然，前一种思路做出来通用性好，而第二种思路则是计算效率高。未来预期两种思路会并行存在，平台型的产品会使用第一种通用化思路，而针对某种大规模应用做的定制化产品则会走专用加速器IP的思路。然而，IoT终端的专用加速器IP设计会和其他领域（如手机）的专用加速器设计有所不同，因为有内存的限制（见下面分析）。

算法与内存

众所周知，目前最主流的深度神经网络模型大小通常在几MB甚至几百MB，这就给在物联网节点端的部署带来了挑战。物联网节点端处于成本和体积的考量不能加DRAM，一般用FLASH（同时用于存储操作系统等）作为系统存储器。我们可以考虑用FLASH来存储模型权重信息，但是缓存必须在处理器芯片上完成，因为FLASH的写入速度比较慢。由于缓存大小一般都是在几百KB到1MB数量级，这就限制了模型的大小，因此算法必须能把模型做到很小，这也是为什么最近“模型压缩”这个话题会这么火的原因。