现代自动驾驶汽车在很大程度上依赖机械激光雷达。当前的感知方法通常需要360 {\ deg}点云,随着激光雷达扫描方位角并获得连续的楔形切片,依次收集。全面扫描(〜100ms)的采集潜伏期可能导致过时的感知,这不利于安全操作。最近提出的流媒体感知作品直接处理LiDAR切片并通过以前的切片重复使用特征来补偿切片的狭窄视野(FOV)。但是,这些作品都是基于单一模式的,并且需要过去的信息可能过时。同时,高频摄像头的图像可以支持流型模型,因为它们提供了更大的FOV与LiDAR片相比。但是,FOV中的这种差异使传感器融合复杂化。为了解决这一研究差距,我们提出了一个创新的摄像头流媒体3D对象检测框架,该框架使用摄像头图像而不是过去的LiDAR切片来提供最新,密集和广泛的上下文,以进行流媒体感知。所提出的方法在挑战性的Nuscenes基准测试上优于先前的流媒体模型。它还胜过强大的全扫描探测器,同时更快。我们的方法证明对缺少相机图像,狭窄的雷达切片和小型摄像机劳动错误校准具有强大的功能。
translated by 谷歌翻译