尽管学术和公司的努力很大，但在不利视觉条件下的自动驾驶仍然证明具有挑战性。随着神经形态技术的成熟，其应用于机器人技术，自动驾驶汽车系统已成为积极研究的领域。低光和潜伏期的情况可以受益。为了使事件摄像机能够在感知任务中与LiDAR这样的主食传感器一起操作，我们提出了事件摄像机和激光镜头之间的直接，时间耦合的校准方法。利用事件摄像机的高动态范围和低光操作直接注册LIDAR激光返回，从而允许基于信息的相关方法优化两个传感器之间的6DOF外部校准。本文介绍了事件摄像机和激光镜头之间的第一种直接校准方法，从而消除了对基于框架的相机中介机构和/或高度准确的手部测量的依赖性。代码将公开可用。
translated by 谷歌翻译
事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。
translated by 谷歌翻译
几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。
translated by 谷歌翻译
确定多个激光痛和相机之间的外在参数对于自主机器人至关重要，尤其是对于固态激光痛，每个LIDAR单元具有很小的视野（FOV）（FOV），并且通常集体使用多个单元。对于360 $^\ circ $机械旋转激光盆，提出了大多数外部校准方法，其中假定FOV与其他LIDAR或相机传感器重叠。很少有研究工作集中在校准小型FOV激光痛和摄像头，也没有提高校准速度。在这项工作中，我们考虑了小型FOV激光痛和相机之间外部校准的问题，目的是缩短总校准时间并进一步提高校准精度。我们首先在LIDAR特征点的提取和匹配中实现自适应体素化技术。这样的过程可以避免在激光痛外校准中冗余创建$ k $ d树，并以比现有方法更可靠和快速提取激光雷达特征点。然后，我们将多个LIDAR外部校准制成LIDAR束调节（BA）问题。通过将成本函数得出最高为二阶，可以进一步提高非线性最小平方问题的求解时间和精度。我们提出的方法已在四个无目标场景和两种类型的固态激光雷达中收集的数据进行了验证，这些扫描模式，密度和FOV完全不同。在八个初始设置下，我们工作的鲁棒性也得到了验证，每个设置包含100个独立试验。与最先进的方法相比，我们的工作提高了激光雷达外部校准的校准速度15倍，激光摄像机外部校准（由50个独立试验产生的平均），同时保持准确，同时保持准确。
translated by 谷歌翻译
多模式传感器的融合在自动驾驶和智能机器人中变得越来越流行，因为它可以比任何单个传感器提供更丰富的信息，从而在复杂的环境中增强可靠性。多传感器外部校准是传感器融合的关键因素之一。但是，由于传感器方式的种类以及对校准目标和人工的需求，这种校准很困难。在本文中，我们通过关注立体相机，热摄像机和激光传感器之间的外部转换，展示了一个新的无目标跨模式校准框架。具体而言，立体声和激光器之间的校准是通过最小化登记误差在3D空间中进行的，而通过优化边缘特征的对齐方式来估计其他两个传感器的热外部传感器。我们的方法不需要专门的目标，并且可以在没有人类相互作用的情况下进行一次镜头进行多传感器校准。实验结果表明，校准框架是准确且适用于一般场景的。
translated by 谷歌翻译
基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。
translated by 谷歌翻译
移动机器人应用需要有关平台上各个传感器的几何位置的精确信息。此信息由外部校准参数给出，该参数定义了传感器如何相对于固定参考坐标系的旋转和翻译。错误的校准参数对典型的机器人估计任务有负面影响，例如大满贯。在这项工作中，我们提出了一种新方法，用于在机器人操作过程中连续估计校准参数。参数估计基于点云的匹配，这些点云是由传感器从多个静态观点获取的。因此，我们的方法不需要任何特殊的校准目标，并且适用于可以将测量值转换为点云的任何传感器。我们通过校准由2个LIDAR传感器，3个相机和一个成像雷达传感器组成的多传感器系统来证明我们方法的适用性。
translated by 谷歌翻译
有了来自多个输入模式的信息，基于传感器融合的算法通常在机器人技术中表现出其单模式的表现。带有互补语义和深度信息的相机和激光镜头是复杂驾驶环境中检测任务的典型选择。但是，对于大多数摄像头融合算法，传感器套件的校准将极大地影响性能。更具体地说，检测算法通常需要多个传感器之间的准确几何关系作为输入，并且通常假定这些传感器的内容是同时捕获的。准备此类传感器套件涉及精心设计的校准钻机和准确的同步机制，并且制备过程通常是离线进行的。在这项工作中，提出了一个基于分割的框架，以共同估计摄像机套件校准中的几何和时间参数。首先将语义分割掩码应用于传感器模式，并通过像素双向损失优化校准参数。我们专门合并了来自光流的速度信息，以进行时间参数。由于仅在分割级别进行监督，因此在框架内不需要校准标签。提出的算法在KITTI数据集上进行了测试，结果显示了几何和时间参数的准确实时校准。
translated by 谷歌翻译
组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。
translated by 谷歌翻译
自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译
高保真大满贯系统的开发过程取决于它们对可靠数据集的验证。为了实现这一目标，我们提出了IBiscape，这是一种模拟基准，其中包括来自异质传感器的数据同步和获取API：立体声 - RGB/DVS，深度，IMU和GPS，以及地面真相场景场景细分和车辆自我摄入量。我们的基准是建立在卡拉模拟器上的，后端是虚幻的引擎，呈现出模拟现实世界的高动态风景。此外，我们提供34个适用于自动驾驶汽车导航的多模式数据集，包括用于场景理解等情况，例如事故等，以及基于与API集成的动态天气模拟类别的广泛框架质量。我们还将第一个校准目标引入了Carla图，以解决CARLA模拟DVS和RGB摄像机的未知失真参数问题。最后，使用IBISCAPE序列，我们评估了四个ORB-SLAM 3系统（单眼RGB，立体RGB，立体声视觉惯性（SVI）和RGB-D）的性能和玄武岩视觉惯性轴测计（VIO）系统，这些系统在模拟的大型大型序列上收集的各种序列 - 规模动态环境。关键字：基准，多模式，数据集，探针，校准，DVS，SLAM
translated by 谷歌翻译
单眼相机传感器对于智能车辆操作和自动驾驶帮助至关重要，并且在交通控制基础设施中也很大程度上使用。但是，校准单眼摄像机很耗时，通常需要大量的手动干预。在这项工作中，我们提出了一种外部摄像机校准方法，该方法通过利用来自图像和点云的语义分割信息来自动化参数估计。我们的方法依赖于对摄像头姿势的粗略初始测量，并建立在具有高精度定位的车辆上的雷达传感器上，以捕获相机环境的点云。之后，通过执行语义分段传感器数据的激光镜头到相机的注册来获得相机和世界坐标空间之间的映射。我们在模拟和现实世界中评估了我们的方法，以证明校准结果中的低误差测量值。我们的方法适用于基础设施传感器和车辆传感器，而它不需要摄像机平台的运动。
translated by 谷歌翻译
事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。
translated by 谷歌翻译
我们介绍了DLR行星立体声，固态激光雷达，惯性（S3LI）数据集，记录在埃特纳山上，西西里山（Sicily），一种类似于月球和火星的环境，使用手持式传感器套件，适用于适用于空间上的属性 - 像移动漫游器。环境的特征是关于视觉和结构外观的具有挑战性的条件：严重的视觉混叠，对视觉大满贯系统执行位置识别的能力构成了重大限制，而缺乏出色的结构细节，与有限的视野相连在利用的固态激光雷达传感器中，仅使用点云就挑战了传统的激光雷达大满贯。借助此数据，涵盖了在软火山斜坡上超过4公里的旅行，我们的目标是：1）提供一种工具来揭示有关环境的最先进的大满贯系统的限制，而环境并未广泛存在可用的数据集和2）激励开发新颖的本地化和映射方法，这些方法有效地依赖于两个传感器的互补功能。数据集可在以下URL上访问：https：//rmc.dlr.de/s3li_dataset
translated by 谷歌翻译
在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。
translated by 谷歌翻译
有源深度传感器，如结构化光，激光雷达和飞行时间系统以固定扫描速率均匀地样本整个场景的深度。这导致了有限的时空分辨率，其中冗余静态信息是过度采样的，并且可能会被采样珍贵运动信息。在本文中，我们提出了一种有效的生物启发事件 - 摄像机驱动深度估计算法。在我们的方法中，我们密集地动态地照亮感兴趣的领域，这取决于事件摄像机检测到的场景活动，并在没有动作的视野中稀疏地照亮区域。深度估计是通过基于事件的结构化光系统来实现，该光点投影仪组成，该激光点投影仪与调谐的第二事件的传感器耦合，以检测来自场景的激光器的反射。我们在模拟自主驾驶场景和真实室内序列中展示了我们方法的可行性，使用我们的原型。我们表明，在自动驾驶和室内环境的自然场景中，移动边缘平均对应于场景的不到10％。因此，我们的设置要求传感器仅扫描10％的场景，这可能会导致照明源的功耗较低的差价较低。虽然我们为基于事件的结构光系统提供了评估和验证，但这里提出的思想适用于Lidar，飞行时间和标准立体声等广泛的深度感测模式。视频可用于\ url {https://youtu.be/rvv9iqlyjcq}。
translated by 谷歌翻译
事件摄像机是生物启发传感器，可通过标准摄像机提供显着优势，例如低延迟，高延迟，高度的时间分辨率和高动态范围。我们提出了一种使用事件摄像机的新型结构化光系统来解决准确和高速深度感测的问题。我们的设置包括一个事件摄像机和一个激光点投影仪，在16毫秒期间，在光栅扫描模式中均匀地照亮场景。以前的方法匹配相互独立的事件，因此它们在信号延迟和抖动的存在下以高扫描速度提供噪声深度估计。相比之下，我们优化了旨在利用事件相关性的能量函数，称为时空稠度。所得到的方法对事件抖动鲁棒，因此以更高的扫描速度执行更好。实验表明，我们的方法可以根据事件摄像机处理高速运动和优于最先进的3D重建方法，对于相同的采集时间，平均地将RMSE降低了83％。
translated by 谷歌翻译
准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。
translated by 谷歌翻译
同时定位和映射（SLAM）对于自主机器人（例如自动驾驶汽车，自动无人机），3D映射系统和AR/VR应用至关重要。这项工作提出了一个新颖的LIDAR惯性 - 视觉融合框架，称为R $^3 $ LIVE ++，以实现强大而准确的状态估计，同时可以随时重建光线体图。 R $^3 $ LIVE ++由LIDAR惯性探针（LIO）和视觉惯性探测器（VIO）组成，均为实时运行。 LIO子系统利用从激光雷达的测量值重建几何结构（即3D点的位置），而VIO子系统同时从输入图像中同时恢复了几何结构的辐射信息。 r $^3 $ live ++是基于r $^3 $ live开发的，并通过考虑相机光度校准（例如，非线性响应功能和镜头渐滴）和相机的在线估计，进一步提高了本地化和映射的准确性和映射接触时间。我们对公共和私人数据集进行了更广泛的实验，以将我们提出的系统与其他最先进的SLAM系统进行比较。定量和定性结果表明，我们所提出的系统在准确性和鲁棒性方面对其他系统具有显着改善。此外，为了证明我们的工作的可扩展性，{我们基于重建的辐射图开发了多个应用程序，例如高动态范围（HDR）成像，虚拟环境探索和3D视频游戏。}最后，分享我们的发现和我们的发现和为社区做出贡献，我们在GitHub上公开提供代码，硬件设计和数据集：github.com/hku-mars/r3live
translated by 谷歌翻译
在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。
translated by 谷歌翻译