是时候放弃递归神经网络了！

AI科技评论 · 公众号 · AI · 2020-01-29 20:30

正文

在数学中，卷积表示的是当函数 f 作用于另一个函数 g 时生成第三个函数的一种运算：

此运算不应与调制（例如 AM 传输中的 EM 信号）混淆，调制是将两个函数简单相乘。求知欲强的人可能会深究到：时间空间中的卷积傅里叶变换，实质上是频率空间中的调制，即：

所以这两种运算虽然密切相关，但切不可被混淆。

在计算机科学的离散世界中，积分被求和取代，两函数之间的乘法由矩阵间的乘法代替。用行话来说，就是将卷积核应用到图像上来生成卷积特征，一次卷积将生成一个新的特征。在下面每一对图像中，当对左边部分发生一次卷积变换，将于右边部分产生一个新的值，如下图所示：

在对这个序列的操作中，图像（灰色矩阵）由一个卷积核（橙色矩阵）卷积操作以获得卷积特征（绿色矩阵）。

通常来说，卷积核是一个网络的权值矩阵，必须通过某种算法（如：反向传播）计算，才能得到它的期望输出。

这种操作的一个很好并且非常重要的特性是，一旦「图片」被加载到记忆中，不同的卷积核会对其进行操作，这样就可以减少输入/输出（I/O）次数，从而更好地利用带宽。通常，卷积操作由以下两种方式执行：

降维：这正是上图中的例子，例如将 4x4 图像被 2x2 卷积核降维至 3x3 图像，这称为有效填充。
维数保持不变：在这种情况下，在使用卷积核之前，原始图像用其周围的零来进行填充。例如，一个 4x4 图像被填充到5x5 矩阵中，然后被一个 2x2 卷积核核进行卷积操作后缩小为4x4 图像（原大小）。这称为相同的填充。

在卷积之后，通常会进行池化操作：在每个卷积块中，只将最大值传递到下一层。