Autonomous vehicles are equipped with complimentary sensors to perceive the environment accurately. Deep learning models have proven to be the most effective approach for computer vision problems. Therefore, in autonomous driving, it is essential to design reliable networks to fuse data from different sensors. In this work, we develop a novel data fusion architecture using camera and LiDAR data for object detection in autonomous driving. Given the sparsity of LiDAR data, developing multi-modal fusion models is a challenging task. Our proposal integrates an efficient LiDAR sparse-to-dense completion network into the pipeline of object detection models, achieving a more robust performance at different times of the day. The Waymo Open Dataset has been used for the experimental study, which is the most diverse detection benchmark in terms of weather and lighting conditions. The depth completion network is trained with the KITTI depth dataset, and transfer learning is used to obtain dense maps on Waymo. With the enhanced LiDAR data and the camera images, we explore early and middle fusion approaches using popular object detection models. The proposed data fusion network provides a significant improvement compared to single-modal detection at all times of the day, and outperforms previous approaches that upsample depth maps with classical image processing algorithms. Our multi-modal and multi-source approach achieves a 1.5, 7.5, and 2.1 mean AP increase at day, night, and dawn/dusk, respectively, using four different object detection meta-architectures.

中文翻译：

---

使用深度补全和相机-激光雷达融合的自动驾驶目标检测

自动驾驶汽车配备了免费的传感器，可以准确地感知环境。深度学习模型已被证明是解决计算机视觉问题的最有效方法。因此，在自动驾驶中，必须设计可靠的网络来融合来自不同传感器的数据。在这项工作中，我们使用相机和激光雷达数据开发了一种新颖的数据融合架构，用于自动驾驶中的目标检测。鉴于激光雷达数据的稀疏性，开发多模态融合模型是一项具有挑战性的任务。我们的提议将高效的 LiDAR 稀疏到密集完成网络集成到对象检测模型的管道中，在一天中的不同时间实现更强大的性能。Waymo Open Dataset 已用于实验研究，就天气和照明条件而言，这是最多样化的检测基准。使用 KITTI 深度数据集训练深度补全网络，在 Waymo 上使用迁移学习获得密集地图。借助增强的 LiDAR 数据和相机图像，我们使用流行的对象检测模型探索早期和中期融合方法。与全天的单模态检测相比，所提出的数据融合网络提供了显着的改进，并且优于以前使用经典图像处理算法对深度图进行上采样的方法。我们的多模式和多源方法使用四种不同的对象检测元架构分别在白天、夜晚和黎明/黄昏实现了 1.5、7.5 和 2.1 的平均 AP 增加。使用 KITTI 深度数据集训练深度补全网络，在 Waymo 上使用迁移学习获得密集地图。借助增强的 LiDAR 数据和相机图像，我们使用流行的对象检测模型探索早期和中期融合方法。与全天的单模态检测相比，所提出的数据融合网络提供了显着的改进，并且优于以前使用经典图像处理算法对深度图进行上采样的方法。我们的多模式和多源方法使用四种不同的对象检测元架构分别在白天、夜晚和黎明/黄昏实现了 1.5、7.5 和 2.1 的平均 AP 增加。使用 KITTI 深度数据集训练深度补全网络，在 Waymo 上使用迁移学习获得密集地图。借助增强的 LiDAR 数据和相机图像，我们使用流行的对象检测模型探索早期和中期融合方法。与全天的单模态检测相比，所提出的数据融合网络提供了显着的改进，并且优于以前使用经典图像处理算法对深度图进行上采样的方法。我们的多模式和多源方法使用四种不同的对象检测元架构分别在白天、夜晚和黎明/黄昏实现了 1.5、7.5 和 2.1 的平均 AP 增加。我们使用流行的对象检测模型探索早期和中间融合方法。与全天的单模态检测相比，所提出的数据融合网络提供了显着的改进，并且优于以前使用经典图像处理算法对深度图进行上采样的方法。我们的多模式和多源方法使用四种不同的对象检测元架构分别在白天、夜晚和黎明/黄昏实现了 1.5、7.5 和 2.1 的平均 AP 增加。我们使用流行的对象检测模型探索早期和中间融合方法。与全天的单模态检测相比，所提出的数据融合网络提供了显着的改进，并且优于以前使用经典图像处理算法对深度图进行上采样的方法。我们的多模式和多源方法使用四种不同的对象检测元架构分别在白天、夜晚和黎明/黄昏实现了 1.5、7.5 和 2.1 的平均 AP 增加。