北航、旷视联合，打造最强实时语义分割网络

AI科技评论 · 公众号 · AI · 2020-02-02 19:16

正文

请到「今天看啥」查看全文

更正式地，每个残差块的输出被表示为：

，其中H和W是输入长宽，C是通道数，

是滑动步长。池化操作被定义为

，其中步长

且核尺寸为

（这个公式原论文有错，我已经找论文的作者确认了），设置

。空间感知池化模块的输出被定义为：

其中是第 i 个残差模块的空间感知池化模块的第j个输出。特别地，不用于上采样，因为该特征图尺寸为原图的1/4，而本文的网络是直接从原图分辨率1/8的特征图上采样得到输出。大的感受野和空间信息的恢复对于语义分割都是非常重要的。通过本文设计的结构可以弥补空间信息的丢失，并可以一定程度上扩大感受野。并且，此方法在每个感受野层次都具有更好的空间信息恢复能力，并且在不增加计算成本的情况下极大的提高了性能。

特征融合 本文将输出和SAP模块中具有相同分辨率的特征图进行聚合输出，然后使用3x3的深度可分离卷积进行特征融合，由于聚合后通道数量很多，因此使用深度可分离卷积可以显著降低成本。这样不仅可以合并主干网络中不同层提取的特征增加信息的流动性，而且可以增强语义层对空间信息的敏感性。

边界监督 许多方法使用边界监督来提高分割网络的准确性。这些网络大多数都是将边界分类为一类，并在损失函数中使用边界监督，这意味着它们仅将边界用于辅助监督。和这些方法不同，本文使用从主干网络中提取得特征来实现特定类别的边界监督。

2.2 边界监督

许多现有的方法将输出特征图上采样到原图大小的1/4，然后使用双线性插值处理为原始图像尺寸。本文发现，原始图像大小的1/4是1/8的4倍，是1/16的16倍。这意味着在通道数相同的情况下，和使用1/8大小特征图相比，使用1/4大小特征图需要4倍计算成本。基于本文提出的多特征融合模块，上采样分支可以通过从原始图像尺寸的1/8大小的特征图进行上采样来执行分割。注意到，编码器中的浅层具有丰富的空间信息。

但是，由于最终特征图的尺寸较小，它们无法完全恢复与边缘相关的信息。为了克服上述问题造成的精度损失，本文提出了一种独特的多任务上采样解码器，以实现类边界监督。多特征融合模块在每个阶段都丰富了高质量的特征，这使我们能通过快速的上采样分支实现令人满意的精细分割结果。

为了恢复边缘空间信息并进一步改善结果，本文提出使用两个独立的上采样分支。在上采样过程中，两个上采样分支不将信息传递给彼此。对于边界，本文提出使用真实边界来监督分割任务，这更加关注边缘轮廓。每个上采样阶段都有不同的分辨率。它有两个输入，一个是前一阶段的双线性上采样特征图，另一个是具有与该特征图相同分辨率的特征融合模块的输出特征图。最后，当分辨率为原始图像尺寸的1/8时，可以通过使用深度可分离卷积来融合两个上采样分支，以获得最终的输出。

2.3 网络结构

首先，多特征融合模块考虑了感受野和空间信息对语义分割网络进行了改进。并且修改后的网络并没有增加额外的计算成本。 MSFNet是一个密集的网络框架，效率更高，它和U型结构的网络完全不同。其次，本文使用了一个独立的分支进行边缘相关的信息提取，可以有效地实现类边界监督并纠正最终的分割结果。总之，MSFNet是一种典型的编解码网络结构。同时为了进行实时推理，必须选择轻量级的主干网络来提取特征。