【泡泡一分钟】基于二视图融合的卷积神经网络城市道路检测

每天一分钟，带你读遍机器人顶级会议文章

标题：Two-View Fusion based Convolutional Neural Network for Urban Road Detection

作者：Shuo Gu, Yigong Zhang, Jian Yang, Jose M. Alvarez and Hui Kong

来源：2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

编译：张健

审核：黄思宇，孙钦

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

本文提出了一种基于二视图融合的卷积神经网络，仅以LiDAR点云为输入来估计城市环境中的道路面积。

该网络以两种转换后的激光雷达数据表示形式，即激光雷达图像和相机透视图作为输入。它以端到端的方式同时在激光雷达的图像视图和相机的透视视图中输出像素级的道路检测结果。

为了更好地利用两种表示之间的数据关联，我们构造了一个新的映射层，将特征从激光雷达的图像视图转换到摄像机的透视视图，以增强摄像机透视视图中的道路检测性能。

在KITTI道路数据集上的实验表明，所提出的网络能够实时地实现所有LiDAR方法中的最优性能。

图1  在激光雷达的图像视图和相机的透视视图中提出的道路检测网络的流程图。W、H和D分别表示特征图的宽度、高度和通道。

图2  激光雷达成像。黑色表示没有激光雷达对应的点。第一行左侧：x方向的深度图像。第一行右侧：y方向的宽度图像。第二行左侧：z方向的高度图像。第二行右侧：强度图像。

图3  相机透视图。黑色表示没有激光雷达对应的点。第一行左侧：x方向的深度图像。第一行右侧：y方向的宽度图像。第二行左侧：z方向的高度图像。第二行右侧：强度图像。

图4  左：映射层的结构。它的输入是激光雷达图像视图中的特征图和在相机图像平面上存储相应索引的投影图。它的输出是摄像机透视图中转换的特征图。右：融合层的结构，将变换后的特征图和摄像机透视图融合在一起。

Abstract

In this paper, we propose a two-view fusion based convolutional neural network to estimate road areas in urban environments with LiDAR point clouds as input only. The proposed network takes two transformed LiDAR data representations, the LiDAR imageries and the camera-perspective maps, as inputs. It outputs pixel-wise road detection results in both the LiDAR’s imagery view and the camera’s perspective view simultaneously, in an end-to-end manner. To make better use of the data associations between two representations, we construct a novel mapping layer to transform features from the LiDAR’s imagery view to the camera’s perspective view in order to strengthen the road detection performance in the camera’s perspective view. Experiments on the KITTI-Road dataset show that the proposed network can achieve the state-of-the-art performance among all LiDAR-only methods in real time.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：ndit

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

商业合作及转载请联系liufuqiang_robot@hotmail.com