我们为腿部机器人提供了一个开源视觉惯性训练率（VILO）状态估计解决方案Cerberus，该机器人使用一组标准传感器（包括立体声摄像机，IMU，联合编码器，，imu，联合编码器）实时实时估算各个地形的位置和接触传感器。除了估计机器人状态外，我们还执行在线运动学参数校准并接触离群值拒绝以大大减少位置漂移。在各种室内和室外环境中进行的硬件实验验证了Cerberus中的运动学参数可以将估计的漂移降低到长距离高速运动中的1％以下。我们的漂移结果比文献中报道的相同的一组传感器组比任何其他状态估计方法都要好。此外，即使机器人经历了巨大的影响和摄像头遮挡，我们的状态估计器也表现良好。状态估计器的实现以及用于计算我们结果的数据集，可在https://github.com/shuoyangrobotics/cerberus上获得。

腿部机器人运动是一项艰巨的任务，这是由于无数的子问题，例如脚接触的混合动力学以及所需步态对地形的影响。对浮动基础和脚关节的准确和高效的状态估计可以通过向机器人控制器提供反馈信息来帮助减轻这些问题的许多问题。当前的状态估计方法高度依赖于视觉和惯性测量的结合，以提供实时估计，从而在感知上较差的环境中残障。在这项工作中，我们表明，通过通过因子图公式利用机器人的运动学链模型，我们可以使用主要的特性惯性数据对基础和腿关节进行状态估计。我们使用基于因子图形的框架中的预先集成IMU测量，正向运动计算和接触检测的组合进行状态估计，从而使我们的状态估计值受到机器人模型的约束。模拟和硬件上的实验结果表明，我们的方法平均超过当前的本体感受状态估计方法27％，同时可以推广到各种腿部机器人平台。我们在各种轨迹上定量和定性地展示了我们的结果。

在本文中，提出了一种新的视觉惯性内径（VIO）的步行 - vio，采用步行运动 - 自适应腿运动约束，其提出了用身体运动改变为四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位进行控制和路径规划。但是，由于四足功能机器主要用于室外，因此从天空或地面提取的外来特征导致跟踪故障。此外，Quadruped Robots的行走运动导致摆动，这降低了相机和惯性测量单元（IMU）引起的定位精度。为了克服这些限制，许多研究人员使用VIO与腿运动限制。然而，由于四足机器人的行走运动根据控制器，步态，四足机器人的速度等，因此在添加腿运动限制的过程中应该考虑这些因素。我们提出了通过调整腿运动约束因素来使用的VIO，无论步行运动如何。为了评估Walk-VIO，我们创建和发布二章机器人的数据集，这些机器人在仿真环境中以各种类型的行走运动移动。此外，我们通过与当前最先进的算法进行比较验证了WAWN-VIO的有效性。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

本文介绍了一种基于来自IMU数据的学习的位移测量的腿机器人的新型概述状态估计。最近的行人跟踪研究表明，可以使用卷积神经网络从惯性数据推断出运动。学习的惯性位移测量可以提高具有挑战性的场景的状态估计，其中腿部内径是不可靠的，例如滑动和可压缩的地形。我们的工作学会从IMU数据估算从IMU数据融合的位移测量，然后与传统的腿部腿部融合。我们的方法大大降低了诸如在视觉中部署的腿部机器人和Lidar被否定的环境（如有雾的下水道或尘土飞扬的地雷）至关重要。我们使用来自几个真正的机器人实验的数据与交叉挑战性地形的几个真正的机器人实验进行了比较了来自EKF和增量固定滞后因子图估计的结果。与传统的运动惯用估计器相比，我们的结果在挑战情景中表明相对姿势误差的减少37％，而无需学习测量。当在视觉降级环境中的视觉系统中使用时，我们还展示了22％的误差减少，例如地下矿井。

对于大多数LIDAR惯性进程，精确的初始状态，包括LiDAR和6轴IMU之间的时间偏移和外部转换，起着重要作用，通常被视为先决条件。但是，这种信息可能不会始终在定制的激光惯性系统中获得。在本文中，我们提出了liinit：一个完整​​的实时激光惯性系统初始化过程，该过程校准了激光雷达和imus之间的时间偏移和外部参数，以及通过对齐从激光雷达估计的状态来校准重力矢量和IMU偏置通过IMU测量的测量。我们将提出的方法实现为初始化模块，如果启用了，该模块会自动检测到收集的数据的激发程度并校准，即直接偏移，外部偏移，外部，重力向量和IMU偏置，然后是这样的。用作实时激光惯性射测系统的高质量初始状态值。用不同类型的LIDAR和LIDAR惯性组合进行的实验表明我们初始化方法的鲁棒性，适应性和效率。我们的LIDAR惯性初始化过程LIINIT和测试数据的实现在GitHub上开源，并集成到最先进的激光辐射射击轨道测定系统FastLiO2中。

Visual Inertial Odometry (VIO) is one of the most established state estimation methods for mobile platforms. However, when visual tracking fails, VIO algorithms quickly diverge due to rapid error accumulation during inertial data integration. This error is typically modeled as a combination of additive Gaussian noise and a slowly changing bias which evolves as a random walk. In this work, we propose to train a neural network to learn the true bias evolution. We implement and compare two common sequential deep learning architectures: LSTMs and Transformers. Our approach follows from recent learning-based inertial estimators, but, instead of learning a motion model, we target IMU bias explicitly, which allows us to generalize to locomotion patterns unseen in training. We show that our proposed method improves state estimation in visually challenging situations across a wide range of motions by quadrupedal robots, walking humans, and drones. Our experiments show an average 15% reduction in drift rate, with much larger reductions when there is total vision failure. Importantly, we also demonstrate that models trained with one locomotion pattern (human walking) can be applied to another (quadruped robot trotting) without retraining.

A reliable self-contained navigation system is essential for autonomous vehicles. Based on our previous study on Wheel-INS \cite{niu2019}, a wheel-mounted inertial measurement unit (Wheel-IMU)-based dead reckoning (DR) system, in this paper, we propose a multiple IMUs-based DR solution for the wheeled robots. The IMUs are mounted at different places of the wheeled vehicles to acquire various dynamic information. In particular, at least one IMU has to be mounted at the wheel to measure the wheel velocity and take advantages of the rotation modulation. The system is implemented through a distributed extended Kalman filter structure where each subsystem (corresponding to each IMU) retains and updates its own states separately. The relative position constraints between the multiple IMUs are exploited to further limit the error drift and improve the system robustness. Particularly, we present the DR systems using dual Wheel-IMUs, one Wheel-IMU plus one vehicle body-mounted IMU (Body-IMU), and dual Wheel-IMUs plus one Body-IMU as examples for analysis and comparison. Field tests illustrate that the proposed multi-IMU DR system outperforms the single Wheel-INS in terms of both positioning and heading accuracy. By comparing with the centralized filter, the proposed distributed filter shows unimportant accuracy degradation while holds significant computation efficiency. Moreover, among the three multi-IMU configurations, the one Body-IMU plus one Wheel-IMU design obtains the minimum drift rate. The position drift rates of the three configurations are 0.82\% (dual Wheel-IMUs), 0.69\% (one Body-IMU plus one Wheel-IMU), and 0.73\% (dual Wheel-IMUs plus one Body-IMU), respectively.

近年来，视觉惯性进程（VIO）取得了许多重大进展。但是，VIO方法遭受了长期轨迹的定位漂移。在本文中，我们建议通过将超宽带（UWB）的范围测量纳入VIO框架\ TextIt {Conseply}，提议首次估计Jacobian Visual惯性范围射程（FEJ-VIRO）来减少VIO的定位漂移。考虑到UWB锚的初始位置通常不可用，我们提出了一个长短的窗口结构，以初始化UWB锚位置以及状态增强的协方差。初始化后，FEJ-VIRO与机器人姿势同时估算了UWB锚定位置。我们进一步分析了视觉惯性范围估计器的可观察性，并证明了理想情况下存在\ textit {fortiT {fortiT {fortiT {四}，而其中一个在实际情况下由于浪费信息而消失。基于这些分析，我们利用FEJ技术来执行不可观察的方向，从而减少估计器的不一致。最后，我们通过模拟和现实世界实验验证分析并评估所提出的FEJ-VIRO。

机器人应用不断努力朝着更高的自主权努力。为了实现这一目标，高度健壮和准确的状态估计是必不可少的。事实证明，结合视觉和惯性传感器方式可以在短期应用中产生准确和局部一致的结果。不幸的是，视觉惯性状态估计器遭受长期轨迹漂移的积累。为了消除这种漂移，可以将全球测量值融合到状态估计管道中。全球测量的最著名和广泛可用的来源是全球定位系统（GPS）。在本文中，我们提出了一种新颖的方法，该方法完全结合了立体视觉惯性同时定位和映射（SLAM），包括视觉循环封闭，并在基于紧密耦合且基于优化的框架中融合了全球传感器模式。结合了测量不确定性，我们提供了一个可靠的标准来解决全球参考框架初始化问题。此外，我们提出了一个类似环路的优化方案，以补偿接收GPS信号中断电中累积的漂移。在数据集和现实世界中的实验验证表明，与现有的最新方法相比，与现有的最新方法相比，我们对GPS辍学方法的鲁棒性以及其能够估算高度准确且全球一致的轨迹的能力。

滑动检测对于在外星人表面驾驶的流浪者的安全性和效率至关重要。当前的行星流动站滑移检测系统依赖于视觉感知，假设可以在环境中获得足够的视觉特征。然而，基于视觉的方法容易受到感知降解的行星环境，具有主要低地形特征，例如岩石岩，冰川地形，盐散发物以及较差的照明条件，例如黑暗的洞穴和永久阴影区域。仅依靠视觉传感器进行滑动检测也需要额外的计算功率，并降低了流动站的遍历速率。本文回答了如何检测行星漫游者的车轮滑移而不取决于视觉感知的问题。在这方面，我们提出了一个滑动检测系统，该系统从本体感受的本地化框架中获取信息，该框架能够提供数百米的可靠，连续和计算有效的状态估计。这是通过使用零速度更新，零角度更新和非独立限制作为惯性导航系统框架的伪测量更新来完成的。对所提出的方法进行了对实际硬件的评估，并在行星 - 分析环境中进行了现场测试。该方法仅使用IMU和车轮编码器就可以达到150 m左右的92％滑动检测精度。

本文介绍了基于因子图的C ++估计框架，并针对移动机器人。狼将因子图的应用从典型的SLAM和OCOMORY中的典型问题扩展到能够处理自校准，模型识别或除本地化以外的动态量的观察的一般估计框架。狼在传感器速率上产生高通量估计到高达kHz范围，可用于高动态机器人的反馈控制，例如人形，四足动物或空中操纵器。脱离因子图范式，狼的体系结构允许模块化但紧密耦合的估计器。模块化基于运行时加载的插件。然后，通过yaml文件实现集成，允许用户在不需要编写或编译代码的情况下配置各种应用程序。通过分散的帧创建和加入策略，实现了传入数据的同步及其进入唯一因子图。大多数算法资产被编码为基类中的抽象算法，具有不同级别的专业化。总体而言，这些资产允许相干处理并有利于可重用性和可扩展性。狼可以与不同的求解器界面，我们为Google Ceres提供包装纸。同样，我们提供ROS集成，提供通用ROS节点和带有订阅者和发布者的专用套餐。狼被公开可用，并开放合作。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

The performance of inertial navigation systems is largely dependent on the stable flow of external measurements and information to guarantee continuous filter updates and bind the inertial solution drift. Platforms in different operational environments may be prevented at some point from receiving external measurements, thus exposing their navigation solution to drift. Over the years, a wide variety of works have been proposed to overcome this shortcoming, by exploiting knowledge of the system current conditions and turning it into an applicable source of information to update the navigation filter. This paper aims to provide an extensive survey of information aided navigation, broadly classified into direct, indirect, and model aiding. Each approach is described by the notable works that implemented its concept, use cases, relevant state updates, and their corresponding measurement models. By matching the appropriate constraint to a given scenario, one will be able to improve the navigation solution accuracy, compensate for the lost information, and uncover certain internal states, that would otherwise remain unobservable.

本文为自动驾驶车辆提供了基于激光雷达的同时定位和映射（SLAM）。研究了来自地标传感器的数据和自适应卡尔曼滤波器（KF）中的带状惯性测量单元（IMU）加上系统的可观察性。除了车辆的状态和具有里程碑意义的位置外，自我调整过滤器还估计IMU校准参数以及测量噪声的协方差。流程噪声，状态过渡矩阵和观察灵敏度矩阵的离散时间协方差矩阵以封闭形式得出，使其适合实时实现。检查3D SLAM系统的可观察性得出的结论是，该系统在地标对准的几何条件下仍然可以观察到。

与单个IMU相比，多个刚性连接的惯性测量单元（IMU）传感器提供了更丰富的数据流。最先进的方法遵循IMU测量的概率模型，基于在贝叶斯框架下组合的错误的随机性质。但是，负担得起的低级IMU此外，由于其不受相应的概率模型所掩盖的缺陷而遭受了系统的错误。在本文中，我们提出了一种方法，即合并多个IMU（MIMU）传感器数据的最佳轴组成（BAC），以进行准确的3D置置估计，该数据通过从集合中动态选择最佳的IMU轴来考虑随机和系统误差所有可用的轴。我们在MIMU视觉惯性传感器上评估了我们的方法，并将方法的性能与MIMU数据融合的最新方法进行比较。我们表明，BAC的表现优于后者，并且在开放环路中的方向和位置估计都可以提高20％的精度，但需要适当的处理以保持获得的增益。

在这项工作中，我们展示了基于全球导航卫星系统（GNSS）的零速度信息的重要性。在文献中已经示出了使用零速度更新（Zupt）的零速度信息的有效性已经显示在文献中。在这里，我们利用此信息并将其添加为GNSS因子图中的位置约束。我们还将其性能与GNSS /惯用导航系统（INS）耦合因子图进行比较。我们在三个数据集上测试了我们的Zupt辅助因子图方法，并将其与仅限GNSS因子图进行了比较。

在本文中，我们评估了八种流行和开源的3D激光雷达和视觉大满贯（同时定位和映射）算法，即壤土，乐高壤土，lio sam，hdl graph，orb slam3，basalt vio和svo2。我们已经设计了室内和室外的实验，以研究以下项目的影响：i）传感器安装位置的影响，ii）地形类型和振动的影响，iii）运动的影响（线性和角速速度的变化）。我们根据相对和绝对姿势误差比较它们的性能。我们还提供了他们所需的计算资源的比较。我们通过我们的多摄像机和多大摄像机室内和室外数据集进行彻底分析和讨论结果，并确定环境案例的最佳性能系统。我们希望我们的发现可以帮助人们根据目标环境选择一个适合其需求的传感器和相应的SLAM算法组合。

近几十年来，Camera-IMU（惯性测量单元）传感器融合已经过度研究。已经提出了具有自校准的运动估计的许多可观察性分析和融合方案。然而，它一直不确定是否在一般运动下观察到相机和IMU内在参数。为了回答这个问题，我们首先证明，对于全球快门Camera-IMU系统，所有内在和外在参数都可以观察到未知的地标。鉴于此，滚动快门（RS）相机的时间偏移和读出时间也证明是可观察到的。接下来，为了验证该分析并解决静止期间结构无轨滤波器的漂移问题，我们开发了一种基于关键帧的滑动窗滤波器（KSWF），用于测量和自校准，它适用于单眼RS摄像机或立体声RS摄像机。虽然关键帧概念广泛用于基于视觉的传感器融合，但对于我们的知识，KSWF是支持自我校准的首先。我们的模拟和实际数据测试验证了，可以使用不同运动的机会主义地标的观察来完全校准相机-IMU系统。实际数据测试确认了先前的典故，即保持状态矢量的地标可以弥补静止漂移，并显示基于关键帧的方案是替代治疗方法。