【泡泡一分钟】用于道路检测的级联LiDAR-camera融合网络

每天一分钟，带你读遍机器人顶级会议文章

标题：A Cascaded LiDAR-Camera Fusion Network for Road Detection

作者：Shuo Gu, Jian Yang and Hui Kong

来源：2021 IEEE International Conference on Robotics and Automation (ICRA)

编译：pandaman

审核：Zoe

这是泡泡一分钟推送的第 1018 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

大多数现有的道路检测方法要么是基于单模态的，例如基于LiDAR或相机，要么是基于多模态的LiDAR相机融合。这些算法是为特定数据类型而设计的，无法应对输入数据的变化。此外，基于LiDAR-camera的方法只能在光线充足的白天工作。在本文中，我们开发了一种新的激光雷达相机融合策略，该策略将激光雷达点云和相机图像以级联方式相结合。所提出的网络有两种工作模式，一种是仅使用激光雷达点云的单模模式，另一种是同时使用激光雷达和相机数据的多模模式，因此可以在全天场景中使用。整个网络由三部分组成：1）LiDAR分割模块，用于分割LiDAR图像视图中的道路点。2） 稀疏到密集模块，将稀疏的激光雷达特征图上采样为稠密道路检测结果。3） LiDAR-camera融合模块，将稠密LiDAR特征图与稠密相机图像融合，以获得准确的道路估计。在KITTI-Road数据集上的实验表明，所提出的级联LiDAR相机融合网络可以获得极具竞争力的道路检测性能，MaxF值为96.38%，并在所有仅LiDAR方法中实现了单模态模式的最先进水平。

图1 以级联方式用于道路检测的提出的LiDAR-camera融合网络流程图。箭头表示跳过连接。LiDAR分割模块和稀疏到稠密模块仅涉及LiDAR数据。相机图像仅用于最后一个LiDAR-camera融合模块。因此，所提出的网络可以仅与LiDAR点云一起工作，或者与分别对应于全天和白天场景的两个LiDAR相机数据一起工作。

图2 LiDAR成像仪（64×360）。黑色表示没有LiDAR点对应的无效区域。（a） z方向上的高度图像。（b） x-y方向上的距离图像。

图3 视图转换操作。

图4 本文比较了不同的融合策略。（a） 早期融合。（b） 中间融合。（c） 晚期融合。（d） 交叉融合。（e） 级联融合。单向箭头表示跳过连接。双向箭头表示交叉融合。

图5 路面真值相机透视图（a）和激光雷达图像视图（b）。粉色表示道路，红色表示非道路，黑色表示评估期间忽略的区域。

表1 KITTI-ROAD验证数据集的离线评估

表2 KITTI-ROAD验证数据集的离线评估

表3 KITTI-ROAD测试数据集（BEV）的在线评估

图6 KITTI道路测试数据集上提出的LiDAR摄像机融合网络的道路检测结果。红色表示假阴性，蓝色表示假阳性，绿色表示真阳性。

Abstract

Most of the existing road detection methods are either single-modal based, eg., based on LiDAR or camera, or multi-modal based with LiDAR-camera fusion. The algorithms are designed for a specific data type, and cannot cope with input data changes. In addition, the LiDAR-camera based methods can only work in day time with enough light. In this paper, we develop a novel LiDAR-camera fusion strategy, which combines the LiDAR point clouds and the camera images in a cascaded way. The proposed network has two working modes, the single-modal mode with LiDAR point clouds only and the multi-modal mode with both LiDAR and camera data, so it can be used in all day scenes. The whole network consists of three parts: 1) LiDAR segmentation module, which segments road points in the LiDAR's imagery view. 2) Sparse-to-dense module, which upsamples the sparse LiDAR feature maps to dense road detection results. 3) LiDAR-camera fusion module, which fuses the dense LiDAR feature maps with the dense camera images to obtain accurate road estimations. Experiments on the KITTI-Road dataset show that the proposed cascaded LiDAR-camera fusion network can obtain very competitive road detection performance, with a MaxF value of 96.38%, and achive the state-of-the-art in the single-modal mode among all LiDAR-only methods.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：os3j

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

商业合作及转载请联系paopaorobot@163.com