谷歌送上主播福利，手机拍视频也用神经网络实时换背景

正文

请到「今天看啥」查看全文

谷歌的研究人员们借助了机器学习的力量，把这个任务作为一个语义分割问题来考虑，并设计了卷积神经网络来达到目标。具体来说，他们针对手机的特点设计了适用的网络架构和训练过程，遵循着这几个要求和限制：

• 作为在手机上运行的解决方案，它需要足够轻量，运行速度需要比目前最先进的照片分割模型快 10 倍到 30 倍。对于实时推理任务，所需的模型计算结果的速度至少需要达到每秒 30 帧。

• 作为视频模型，它应当利用视频的时间冗余性（相邻的帧内容相似），自己展现出时间持续性（相邻的输出结果相似）

• 作为基本规律，高质量的结果也需要高质量的标注训练数据

数据集

为了给机器学习流水线提供高质量的训练数据，谷歌标注了上万张照片，其中包含了各种各样丰富的前景（人物）姿势和背景内容。标注内容里包括了精确到像素的前景人物的图像结构，比如头发、眼镜、脖子、皮肤、嘴唇等等，各类背景则统一标注为「背景」，标注质量在人类标注员的交叉验证测试中取得了 98% 的 IOU。

一张仔细标注为 9 个类别的训练样本示例；前景元素的标注区域直接覆盖在图像上

请到「今天看啥」查看全文