AAAI 2020 | 商汤：新视频语义分割和光流联合学习算法

正文

请到「今天看啥」查看全文

对于一对图片I_i和I_{i+t}，设其对应的分割特征图为S，设学习到的光流为F，遮挡Mask为O，（S，F，O均包含三个block，如图所示），则两帧分割特征图可以通过光流warp进行转换： S_i^{warp}= Warp(S_{i+t},F_{i->i+t})。

考虑到遮挡的截断区域无法使用光流进行对齐，因此这些区域不计算损失。 两帧的其他区域对应的分割特征图通过光流进行warp对齐后的一致性损失为第一帧的分割特征图和第二帧经过warp的分割特征图的非遮挡区域的2范数。

光流和遮挡估计

文中所说的遮挡意味着两帧图片中光度的不一致性，它一般由图像中遮挡，截断（汽车离开相机拍摄）和移动目标导致，这里作者使用无监督的方式学习遮挡区域，通过反向光流推测出可能无法对齐的像素位置O，模型根据此学习得到O_{est}； 两帧的分割结果通过光流warp不一致的区域设为O_{seg}，O_{seg}应包括遮挡区域和光流估计错误的区域，因此O_{error} = O_{seg}-O_{est}应为光流估计的重点区域。

在计算光流估计的损失函数时，作者不考虑遮挡区域(O_{est})的损失，而加大重点区域(O_{error})的权重，遮挡估计的示意图如图3所示。

图3： 遮挡和遮挡估计示意图

语义分割的学习

在训练时，作者从每个视频小段中随机选择10对图片来进行训练，其中五对包含标注帧，而另外五对均不包含标注帧。

对于标注帧，直接使用监督的语义分割损失来进行学习； 对于不包含标注帧的情况，通过两帧的一致性约束来对模型进行约束和学习。 通过这种约束学习，标注信息可以从一帧传播到其他的未标注帧，而即使是两个未标注帧也可以通过一致性来学习。

3、实验结果

Cityscapes数据集上的分割结果：

CamVid数据集上的分割结果：

KITTI数据集上的光流估计结果：

可视化结果：

图4： Cityscapes验证集分割结果，从上至下分别为原图，本文算法分割结果，PSPNet分割结果和GT。 可以看出本文算法对移动目标（汽车，自行车）和出现频次较少目标（横向卡车）分割效果较好。

图5：KITTI数据集上光流估计结果，从上至下分别为原图，本文算法估计结果，GeoNet估计结果和GT。 可以看出本文算法对移动目标的边缘估计更为准确。

---

AAAI 2020 报道：

新型冠状病毒疫情下， AAAI2020 还去开会吗？

美国拒绝入境，AAAI2020现场参会告吹，论文如何分享？

AAAI 2020 论文集：

AAAI 2020 论文解读会 @ 望京（附PPT下载）

AAAI 2020上的NLP有哪些研究风向？

请到「今天看啥」查看全文