基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。

准确可靠的传感器校准对于在自主驾驶中融合激光雷达和惯性测量至关重要。本文提出了一种新型的3D-LIDAR和姿势传感器的新型三阶段外部校准方法，用于自主驾驶。第一阶段可以通过点云表面特征快速校准传感器之间的外部参数，以便可以将外部参数从大的初始误差范围缩小到很小的时间范围。第二阶段可以基于激光映射空间占用率进一步校准外部参数，同时消除运动失真。在最后阶段，校正了由自动驾驶汽车的平面运动引起的Z轴误差，并最终获得了精确的外部参数。具体而言，该方法利用了道路场景的自然特征，使其独立且易于在大规模条件下应用。现实世界数据集的实验结果证明了我们方法的可靠性和准确性。这些代码是在GitHub网站上开源的。据我们所知，这是第一个专门为自动驾驶设计的开源代码，用于校准激光雷达和姿势传感器外部参数。代码链接是https://github.com/opencalib/lidar2ins。

多模式传感器的融合在自动驾驶和智能机器人中变得越来越流行，因为它可以比任何单个传感器提供更丰富的信息，从而在复杂的环境中增强可靠性。多传感器外部校准是传感器融合的关键因素之一。但是，由于传感器方式的种类以及对校准目标和人工的需求，这种校准很困难。在本文中，我们通过关注立体相机，热摄像机和激光传感器之间的外部转换，展示了一个新的无目标跨模式校准框架。具体而言，立体声和激光器之间的校准是通过最小化登记误差在3D空间中进行的，而通过优化边缘特征的对齐方式来估计其他两个传感器的热外部传感器。我们的方法不需要专门的目标，并且可以在没有人类相互作用的情况下进行一次镜头进行多传感器校准。实验结果表明，校准框架是准确且适用于一般场景的。

有了来自多个输入模式的信息，基于传感器融合的算法通常在机器人技术中表现出其单模式的表现。带有互补语义和深度信息的相机和激光镜头是复杂驾驶环境中检测任务的典型选择。但是，对于大多数摄像头融合算法，传感器套件的校准将极大地影响性能。更具体地说，检测算法通常需要多个传感器之间的准确几何关系作为输入，并且通常假定这些传感器的内容是同时捕获的。准备此类传感器套件涉及精心设计的校准钻机和准确的同步机制，并且制备过程通常是离线进行的。在这项工作中，提出了一个基于分割的框架，以共同估计摄像机套件校准中的几何和时间参数。首先将语义分割掩码应用于传感器模式，并通过像素双向损失优化校准参数。我们专门合并了来自光流的速度信息，以进行时间参数。由于仅在分割级别进行监督，因此在框架内不需要校准标签。提出的算法在KITTI数据集上进行了测试，结果显示了几何和时间参数的准确实时校准。

虽然相机和激光雷达在大多数辅助和自主驾驶系统中广泛使用，但仅提出了少数作品来将用于在线传感器数据融合的摄像机和镜头的时间同步和外部校准相关联。时间和空间校准技术正面临缺乏相关性和实时的挑战。在本文中，我们介绍了姿势估计模型和环境鲁棒线的提取，以提高数据融合和即时在线校正能力的相关性。考虑到相邻力矩之间的点云匹配的对应关系，动态目标旨在寻求最佳政策。搜索优化过程旨在以计算精度和效率提供准确的参数。为了证明这种方法的好处，我们以基础真实价值在基蒂基准上进行评估。在在线实验中，与时间校准中的软同步方法相比，我们的方法提高了准确性38.5％。在空间校准时，我们的方法会在0.4秒内自动纠正干扰误差，并达到0.3度的精度。这项工作可以促进传感器融合的研究和应用。

确定多个激光痛和相机之间的外在参数对于自主机器人至关重要，尤其是对于固态激光痛，每个LIDAR单元具有很小的视野（FOV）（FOV），并且通常集体使用多个单元。对于360 $^\ circ $机械旋转激光盆，提出了大多数外部校准方法，其中假定FOV与其他LIDAR或相机传感器重叠。很少有研究工作集中在校准小型FOV激光痛和摄像头，也没有提高校准速度。在这项工作中，我们考虑了小型FOV激光痛和相机之间外部校准的问题，目的是缩短总校准时间并进一步提高校准精度。我们首先在LIDAR特征点的提取和匹配中实现自适应体素化技术。这样的过程可以避免在激光痛外校准中冗余创建$ k $ d树，并以比现有方法更可靠和快速提取激光雷达特征点。然后，我们将多个LIDAR外部校准制成LIDAR束调节（BA）问题。通过将成本函数得出最高为二阶，可以进一步提高非线性最小平方问题的求解时间和精度。我们提出的方法已在四个无目标场景和两种类型的固态激光雷达中收集的数据进行了验证，这些扫描模式，密度和FOV完全不同。在八个初始设置下，我们工作的鲁棒性也得到了验证，每个设置包含100个独立试验。与最先进的方法相比，我们的工作提高了激光雷达外部校准的校准速度15倍，激光摄像机外部校准（由50个独立试验产生的平均），同时保持准确，同时保持准确。

最近，多传感器融合已在自动化领域取得了重大进展，以提高导航和位置性能。作为融合算法的先决条件，对多传感器的外部校准的需求正在增长。为了计算外部参数，许多研究专门用于两步法，该方法将各个校准成对整合。由于失去了所有传感器的约束，因此效率低下且无效。关于减轻此负担，本文中提出了一种基于优化的IMU/LIDAR/摄像机共校准方法。首先，分别进行了IMU/相机和IMU/LIDAR在线校准。然后，棋盘中的角和表面特征点与粗糙的结果相关联，并构建了相机/LIDAR约束。最后，构建共校准优化以完善所有外部参数。我们评估了拟议方案在仿真中的性能，结果表明我们所提出的方法优于两步方法。

标记级别的高清地图（HD地图）对自动驾驶汽车具有重要意义，尤其是在大规模，外观改变的情况下，自动驾驶汽车依靠标记来定位和车道来安全驾驶。在本文中，我们提出了一个高度可行的框架，用于使用简单的传感器设置（一个或多个单眼摄像机）自动构建标记级别的高清图。我们优化标记角的位置，以适合标记分割的结果，并同时优化相应摄像机的反视角映射（IPM）矩阵，以获得从前视图图像到鸟类视图（BEV）的准确转换。在定量评估中，构建的高清图几乎达到了百厘厘米级的准确性。优化的IPM矩阵的准确性与手动校准相似。该方法还可以概括以通过增加可识别标记的类型来从更广泛的意义上构建高清图。

单眼相机传感器对于智能车辆操作和自动驾驶帮助至关重要，并且在交通控制基础设施中也很大程度上使用。但是，校准单眼摄像机很耗时，通常需要大量的手动干预。在这项工作中，我们提出了一种外部摄像机校准方法，该方法通过利用来自图像和点云的语义分割信息来自动化参数估计。我们的方法依赖于对摄像头姿势的粗略初始测量，并建立在具有高精度定位的车辆上的雷达传感器上，以捕获相机环境的点云。之后，通过执行语义分段传感器数据的激光镜头到相机的注册来获得相机和世界坐标空间之间的映射。我们在模拟和现实世界中评估了我们的方法，以证明校准结果中的低误差测量值。我们的方法适用于基础设施传感器和车辆传感器，而它不需要摄像机平台的运动。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

尽管学术和公司的努力很大，但在不利视觉条件下的自动驾驶仍然证明具有挑战性。随着神经形态技术的成熟，其应用于机器人技术，自动驾驶汽车系统已成为积极研究的领域。低光和潜伏期的情况可以受益。为了使事件摄像机能够在感知任务中与LiDAR这样的主食传感器一起操作，我们提出了事件摄像机和激光镜头之间的直接，时间耦合的校准方法。利用事件摄像机的高动态范围和低光操作直接注册LIDAR激光返回，从而允许基于信息的相关方法优化两个传感器之间的6DOF外部校准。本文介绍了事件摄像机和激光镜头之间的第一种直接校准方法，从而消除了对基于框架的相机中介机构和/或高度准确的手部测量的依赖性。代码将公开可用。

坐标测量机（CMM）一直是测量近50年或更长时间以上固体物体的准确性的基准。然而，随着3D扫描技术的出现，产生的点云的准确性和密度已接管。在这个项目中，我们不仅比较可在3D扫描软件中使用的不同算法，而且还比较了从相机和投影仪等现成组件中创建自己的3D扫描仪。我们的目标是：1。为3D扫描仪开发一个原型，以实现在对象的广泛类型上以最佳精度执行的系统。2.使用现成的组件最小化成本。3.到达非常接近CMM的准确性。

几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。

目标是在杂乱或Textuleless环境，相机（和多传感器）校准任务中的对象跟踪等问题，以及同时本地化和映射（SLAM）。用于这些任务的目标形状通常是对称的（方形，矩形或圆形），并且适用于结构化的密集传感器数据（例如像素阵列（即，图像）。然而，当使用稀疏传感器数据（例如LIDAR点云）并且遭受LIDAR的量化不确定性时，对称形状导致占用歧义。本文介绍了优化目标形状的概念，以消除LIDAR点云的姿势模糊性。目标被设计成在旋转和平移下的边缘点处引起大梯度，而相对于LIDAR以改善与点云稀疏相关的量化不确定性。此外，考虑到目标形状，我们提出了一种利用目标的几何形状来估计目标顶点的手段，同时全局估计姿势。模拟和实验结果（通过运动捕获系统验证）确认，通过使用最佳形状和全球求解器，即使在部分照明的目标放置30米处，我们也可以在翻译中的厘米误差和几度旋转。所有实现和数据集都可以在https://github.com/umich-bipedlab/optimal_shape_global_pose_estimation中获得。

As one of the most popular micro-mobility options, e-scooters are spreading in hundreds of big cities and college towns in the US and worldwide. In the meantime, e-scooters are also posing new challenges to traffic safety. In general, e-scooters are suggested to be ridden in bike lanes/sidewalks or share the road with cars at the maximum speed of about 15-20 mph, which is more flexible and much faster than the pedestrains and bicyclists. These features make e-scooters challenging for human drivers, pedestrians, vehicle active safety modules, and self-driving modules to see and interact. To study this new mobility option and address e-scooter riders' and other road users' safety concerns, this paper proposes a wearable data collection system for investigating the micro-level e-Scooter motion behavior in a Naturalistic road environment. An e-Scooter-based data acquisition system has been developed by integrating LiDAR, cameras, and GPS using the robot operating system (ROS). Software frameworks are developed to support hardware interfaces, sensor operation, sensor synchronization, and data saving. The integrated system can collect data continuously for hours, meeting all the requirements including calibration accuracy and capability of collecting the vehicle and e-Scooter encountering data.

在本文中，我们使用从低成本消费者RGB-D传感器获取的RGB-D数据提出蘑菇检测，定位和3D姿势估计算法。我们使用RGB和深度信息进行不同的目的。从RGB颜色，我们首先提取蘑菇的初始轮廓位置，然后将初始轮廓位置和原始图像提供给蘑菇分割的活动轮廓。然后将这些分段蘑菇用作每个蘑菇检测的圆形Hough变换的输入，包括其中心和半径。一旦RGB图像中的每个蘑菇的中心位置都是已知的，我们就会使用深度信息在3D空间中定位它，即在世界坐标系中。在每个蘑菇的检测到的中心缺少深度信息的情况下，我们从每个蘑菇的半径内的最近可用深度信息估计。我们还使用预先准备的直立蘑菇模型来估计每个蘑菇的3D姿势。我们使用全球注册，然后是本地精炼登记方法进行此3D姿势估计。从估计的3D姿势，我们仅使用四元素表示的旋转部分作为每个蘑菇的方向。这些估计（X，Y，Z）位置，直径和蘑菇的方向用于机器人拣选应用。我们对3D印刷和真正的蘑菇进行了广泛的实验，表明我们的方法具有有趣的性能。

For a number of tasks, such as 3D reconstruction, robotic interface, autonomous driving, etc., camera calibration is essential. In this study, we present a unique method for predicting intrinsic (principal point offset and focal length) and extrinsic (baseline, pitch, and translation) properties from a pair of images. We suggested a novel method where camera model equations are represented as a neural network in a multi-task learning framework, in contrast to existing methods, which build a comprehensive solution. By reconstructing the 3D points using a camera model neural network and then using the loss in reconstruction to obtain the camera specifications, this innovative camera projection loss (CPL) method allows us that the desired parameters should be estimated. As far as we are aware, our approach is the first one that uses an approach to multi-task learning that includes mathematical formulas in a framework for learning to estimate camera parameters to predict both the extrinsic and intrinsic parameters jointly. Additionally, we provided a new dataset named as CVGL Camera Calibration Dataset [1] which has been collected using the CARLA Simulator [2]. Actually, we show that our suggested strategy out performs both conventional methods and methods based on deep learning on 8 out of 10 parameters that were assessed using both real and synthetic data. Our code and generated dataset are available at https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss.

For an autonomous vehicle, the ability to sense its surroundings and to build an overall representation of the environment by fusing different sensor data streams is fundamental. To this end, the poses of all sensors need to be accurately determined. Traditional calibration methods are based on: 1) using targets specifically designed for calibration purposes in controlled environments, 2) optimizing a quality metric of the point clouds collected while traversing an unknown but static environment, or 3) optimizing the match among per-sensor incremental motion observations along a motion path fulfilling special requirements. In real scenarios, however, the online applicability of these methods can be limited, as they are typically highly dynamic, contain degenerate paths, and require fast computations. In this paper, we propose an approach that tackles some of these challenges by formulating the calibration problem as a joint but structured optimization problem of all sensor calibrations that takes as input a summary of the point cloud information consisting of ground points and pole detections. We demonstrate the efficiency and quality of the results of the proposed approach in a set of experiments with LiDAR simulation and real data from an urban trip.

广播视频中的运动场注册通常被解释为同型估算的任务，该任务在平面场和图像的相应可见区域之间提供了映射。与以前的方法相反，我们将任务视为摄像机校准问题。首先，我们引入了一个可区分的目标函数，该功能能够根据已知校准对象的片段，即运动领域的片段，从段对应（例如，线，点云）中学习相机姿势和焦距。 。校准模块迭代地最小化了由估计的摄像机参数引起的段重新投影误差。其次，我们提出了一种从广播足球图像中进行3D运动场注册的新方法。校准模块不需要任何训练数据，并且与典型的解决方案进行了比较，该解决方案随后完善了初始估计，我们的解决方案在一个步骤中进行。评估了所提出的方法在两个数据集上进行运动现场注册，并与两种最先进的方法相比，取得了优越的结果。

事件摄像机最近在高动力或具有挑战性的照明情况下具有强大的常规摄像头的潜力，因此摄影机最近变得越来越受欢迎。通过同时定位和映射（SLAM）给出了可能受益于事件摄像机的重要问题。但是，为了确保在包含事件的多传感器大满贯上进展，需要新颖的基准序列。我们的贡献是使用包含基于事件的立体声摄像机，常规立体声摄像机，多个深度传感器和惯性测量单元的多传感器设置捕获的第一组基准数据集。该设置是完全硬件同步的，并且经过了准确的外部校准。所有序列都均均均均由高度准确的外部参考设备（例如运动捕获系统）捕获的地面真相数据。各个序列都包括小型和大型环境，并涵盖动态视觉传感器针对的特定挑战。