本文介绍了旋转等级，作为训练惯性内径型号的自我主管。我们证明自我监督方案在训练阶段以及推理阶段提供了强大的监督信号。它降低了对训练鲁棒模型的大量标记数据的依赖性，并且可以使用各种未标记的数据更新模型。此外，我们基于不确定性估计提出了自适应测试时间训练（TTT），以便提高惯性内径术的概括性与各种看不见的数据。我们在实验中展示了具有30％数据训练的旋转等因素监督的惯性内径（RIO）验证的训练，达到了与整个数据库训练的模型的对比。Adaptive TTT在所有情况下提高了模型性能，在若干方案下会产生超过25％的改进。

最近，数据驱动的惯性导航方法已经证明了它们使用训练有素的神经网络的能力，以获得来自惯性测量单元（IMU）测量的精确位置估计。在本文中，我们提出了一种用于惯性导航〜（CTIN）的基于鲁棒的基于变压器的网络，以准确地预测速度和轨迹。为此，我们首先通过本地和全局多头自我注意力增强基于Reset的编码器，以捕获来自IMU测量的空间上下文信息。然后，我们通过在变压器解码器中利用多针头注意，使用时间知识来熔化这些空间表示。最后，利用不确定性减少的多任务学习，以提高速度和轨迹的学习效率和预测准确性。通过广泛的实验在各种惯性数据集中〜（例如，ridi，oxiod，ronin，偶像和我们自己的），CTIN非常坚固，优于最先进的模型。

由于低成本的惯性传感器误差积累，行人死的估算是一项具有挑战性的任务。最近的研究表明，深度学习方法可以在处理此问题时获得令人印象深刻的性能。在这封信中，我们使用基于深度学习的速度估计方法提出了惯性的进程。基于RES2NET模块和两个卷积块注意模块的深神经网络被利用，以恢复智能手机的水平速度矢量与原始惯性数据之间的潜在连接。我们的网络仅使用百分之五十的公共惯性探子仪数据集（RONIN）数据进行培训。然后，在Ronin测试数据集和另一个公共惯性探针数据集（OXIOD）上进行了验证。与传统的阶梯长度和基于标题的基于系统的算法相比，我们的方法将绝对翻译误差（ATE）降低了76％-86％。此外，与最先进的深度学习方法（Ronin）相比，我们的方法将其ATE提高了6％-31.4％。

基于学习的视觉自我运动估计是有希望的，但尚未准备好在现实世界中浏览敏捷的移动机器人。在本文中，我们提出了Cuahn-Vio，这是一款适用于配备了向下式摄像头的微型航空车（MAVS）的强大而有效的单眼视觉惯性镜（VIO）。视觉前端是一个内容和不确定性的同型同构网络（CUAHN），它对非主体摄影图像内容和网络预测的故障案例非常有力。它不仅可以预测截然变换，还可以估计其不确定性。培训是自学的，因此它不需要通常难以获得的地面真理。该网络具有良好的概括，可以在不进行微调的情况下在新环境中部署“插件”。轻巧的扩展卡尔曼过滤器（EKF）用作VIO后端，并利用网络中的平均预测和方差估计进行视觉测量更新。 Cuahn-Vio在高速公共数据集上进行了评估，并显示出与最先进（SOTA）VIO方法的竞争精度。由于运动模糊，低网络推理时间（〜23ms）和稳定的处理延迟（〜26ms），Cuahn-Vio成功运行了NVIDIA JETSON TX2嵌入式处理器，以导航快速自动驾驶MAV。

视觉惯性进程（VIO）是当今大多数AR/VR和自主机器人系统的姿势估计主链，无论是学术界和工业的。但是，这些系统对关键参数的初始化高度敏感，例如传感器偏见，重力方向和度量标准。在实际场景中，很少满足高parallax或可变加速度假设（例如，悬停空中机器人，智能手机AR用户不使用电话打手机的智能手机AR），经典的视觉惯性初始化配方通常会变得不良条件和/或未能有意义地融合。在本文中，我们专门针对这些低兴奋的场景针对野生用法至关重要的视觉惯性初始化。我们建议通过将新的基于学习的测量作为高级输入来规避经典视觉惯性结构（SFM）初始化的局限性。我们利用学到的单眼深度图像（单深度）来限制特征的相对深度，并通过共同优化其尺度和偏移来将单深度升级到度量标尺。我们的实验显示出与视觉惯性初始化的经典配方相比，问题条件有显着改善，并且相对于公共基准的最先进，尤其是在低兴奋的情况下，相对于最先进的表现，具有显着的准确性和鲁棒性提高。我们进一步将这种改进扩展到现有的探射系统中的实现，以说明我们改进的初始化方法对产生跟踪轨迹的影响。

惯性导航系统与全球导航卫星系统之间的融合经常用于许多平台，例如无人机，陆地车辆和船舶船只。融合通常是在基于模型的扩展卡尔曼过滤框架中进行的。过滤器的关键参数之一是过程噪声协方差。它负责实时解决方案的准确性，因为它考虑了车辆动力学不确定性和惯性传感器质量。在大多数情况下，过程噪声被认为是恒定的。然而，由于整个轨迹的车辆动力学和传感器测量变化，过程噪声协方差可能会发生变化。为了应对这种情况，文献中建议了几种基于自适应的Kalman过滤器。在本文中，我们提出了一个混合模型和基于学习的自适应导航过滤器。我们依靠基于模型的Kalman滤波器和设计深神网络模型来调整瞬时系统噪声协方差矩阵，仅基于惯性传感器读数。一旦学习了过程噪声协方差，就可以将其插入建立的基于模型的Kalman滤波器中。在推导了提出的混合框架后，提出了使用四极管的现场实验结果，并给出了与基于模型的自适应方法进行比较。我们表明，所提出的方法在位置误差中获得了25％的改善。此外，提出的混合学习方法可以在任何导航过滤器以及任何相关估计问题中使用。

近年来，基于数据驱动的导航和定位方法吸收了注意力，并且在准确性和效率方面优于其所有竞争对手方法。本文介绍了一种称为IMUNET的新体系结构，该架构是对边缘设备实现的位置估算的准确和有效效率，该估算接收了一系列RAW IMU测量。该体系结构已与最新的CNN网络的一维版本进行了比较，该网络最近介绍了用于Edge设备实现的精确性和效率。此外，已经提出了一种使用IMU传感器和Google Arcore API收集数据集的新方法，并已记录了公开可用的数据集。使用四个不同的数据集以及提出的数据集和实际设备实现的全面评估已经证明了体系结构的性能。 Pytorch和Tensorflow框架以及Android应用程序代码中的所有代码都已共享，以改善进一​​步的研究。

一组稀疏（例如六个）可穿戴的IMU提供的实时人类运动重建提供了一种非侵入性和经济的运动捕获方法。没有直接从IMU中获取位置信息的能力，最近的作品采用了数据驱动的方法，这些方法利用大型人类运动数据集解决了这一不确定的问题。尽管如此，挑战仍然存在，例如时间一致性，全球和关节动作的漂移以及各种地形上运动类型的各种覆盖范围。我们提出了一种同时估计全身运动的新方法，并实时从六个IMU传感器中产生合理的访问地形。我们的方法包含1.有条件的变压器解码器模型通过明确推理预测历史记录提供一致的预测，2。一个简单而通用的学习目标，称为“固定体点”（SBP），可以由变压器模型稳定地预测并通过分析例程使用要纠正关节和全球漂移，以及3.算法从嘈杂的SBP预测产生正则地形高度图，进而可以纠正嘈杂的全球运动估计。我们对合成和真实的IMU数据以及实时实时演示进行了广泛的评估框架，并显示出优于强基线方法的性能。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

Visual Inertial Odometry (VIO) is one of the most established state estimation methods for mobile platforms. However, when visual tracking fails, VIO algorithms quickly diverge due to rapid error accumulation during inertial data integration. This error is typically modeled as a combination of additive Gaussian noise and a slowly changing bias which evolves as a random walk. In this work, we propose to train a neural network to learn the true bias evolution. We implement and compare two common sequential deep learning architectures: LSTMs and Transformers. Our approach follows from recent learning-based inertial estimators, but, instead of learning a motion model, we target IMU bias explicitly, which allows us to generalize to locomotion patterns unseen in training. We show that our proposed method improves state estimation in visually challenging situations across a wide range of motions by quadrupedal robots, walking humans, and drones. Our experiments show an average 15% reduction in drift rate, with much larger reductions when there is total vision failure. Importantly, we also demonstrate that models trained with one locomotion pattern (human walking) can be applied to another (quadruped robot trotting) without retraining.

自主代理需要自定位才能在未知环境中导航。他们可以使用视觉进程（VO）来估计自我运动并使用视觉传感器定位自己。作为惯性传感器或滑板作为轮编码器，这种运动估算策略不会因漂移而受到损害。但是，带有常规摄像机的VO在计算上是要求的，它限制了其在严格的低延迟， - 内存和 - 能量要求的系统中的应用。使用基于事件的相机和神经形态计算硬件为VO问题提供了有希望的低功率解决方案。但是，VO的常规算法不容易转换为神经形态硬件。在这项工作中，我们提出了一种完全由适合神经形态实现的神经元构件构建的VO算法。构建块是代表向量符号体系结构（VSA）计算框架中向量的神经元组，该框架是作为编程神经形态硬件的抽象层提出的。我们提出的VO网络生成并存储了对展示的视觉环境的工作记忆。它更新了此工作内存，同时估计相机的位置和方向的变化。我们证明了如何将VSA作为神经形态机器人技术的计算范式借用。此外，我们的结果代表了使用神经形态计算硬件进行快速和效率的VO以及同时定位和映射（SLAM）的相关任务的重要步骤。我们通过机器人任务和基于事件的数据集对实验进行了实验验证这种方法，并证明了最先进的性能。

通过实现复杂场景实现长期漂移相机姿势估计的目标，我们提出了一种全球定位框架，融合了多层的视觉，惯性和全球导航卫星系统（GNSS）测量。不同于以前的松散和紧密耦合的方法，所提出的多层融合允许我们彻底校正视觉测量仪的漂移，并在GNSS降解时保持可靠的定位。特别地，通过融合GNSS的速度，在紧紧地集成的情况下，解决视觉测量测量测量测量率和偏差估计中的尺度漂移和偏差估计的问题的问题，惯性测量单元（IMU）的预集成以及紧密相机测量的情况下 - 耦合的方式。在外层中实现全局定位，其中局部运动进一步与GNSS位置和基于长期时期的过程以松散耦合的方式融合。此外，提出了一种专用的初始化方法，以保证所有状态变量和参数的快速准确估计。我们为室内和室外公共数据集提供了拟议框架的详尽测试。平均本地化误差减少了63％，而初始化精度与最先进的工程相比，促销率为69％。我们已将算法应用于增强现实（AR）导航，人群采购高精度地图更新等大型应用。

对于大多数LIDAR惯性进程，精确的初始状态，包括LiDAR和6轴IMU之间的时间偏移和外部转换，起着重要作用，通常被视为先决条件。但是，这种信息可能不会始终在定制的激光惯性系统中获得。在本文中，我们提出了liinit：一个完整​​的实时激光惯性系统初始化过程，该过程校准了激光雷达和imus之间的时间偏移和外部参数，以及通过对齐从激光雷达估计的状态来校准重力矢量和IMU偏置通过IMU测量的测量。我们将提出的方法实现为初始化模块，如果启用了，该模块会自动检测到收集的数据的激发程度并校准，即直接偏移，外部偏移，外部，重力向量和IMU偏置，然后是这样的。用作实时激光惯性射测系统的高质量初始状态值。用不同类型的LIDAR和LIDAR惯性组合进行的实验表明我们初始化方法的鲁棒性，适应性和效率。我们的LIDAR惯性初始化过程LIINIT和测试数据的实现在GitHub上开源，并集成到最先进的激光辐射射击轨道测定系统FastLiO2中。

本文提出了一种轻巧，有效的校准神经网络模型，用于降低低成本微电力系统（MEMS）陀螺仪，并实时估算机器人的态度。关键思想是从惯性测量单元（IMU）测量的时间窗口中提取本地和全局特征，以动态地回归陀螺仪的输出补偿组件。遵循精心推导的数学校准模型，LGC-NET利用深度可分离的卷积捕获截面特征并减少网络模型参数。较大的内核注意力旨在更好地学习远程依赖性和特征表示。在EUROC和TUM-VI数据集中评估了所提出的算法，并在具有更轻巧模型结构的（看不见的）测试序列上实现了最先进的测试。尽管它不采用视觉传感器，但与我们的LGC-NET的估计取向与排名最高的视觉惯性探针系统相当。我们在：https：//github.com/huazai665/lgc-net上进行开源方法

本文介绍了一种基于来自IMU数据的学习的位移测量的腿机器人的新型概述状态估计。最近的行人跟踪研究表明，可以使用卷积神经网络从惯性数据推断出运动。学习的惯性位移测量可以提高具有挑战性的场景的状态估计，其中腿部内径是不可靠的，例如滑动和可压缩的地形。我们的工作学会从IMU数据估算从IMU数据融合的位移测量，然后与传统的腿部腿部融合。我们的方法大大降低了诸如在视觉中部署的腿部机器人和Lidar被否定的环境（如有雾的下水道或尘土飞扬的地雷）至关重要。我们使用来自几个真正的机器人实验的数据与交叉挑战性地形的几个真正的机器人实验进行了比较了来自EKF和增量固定滞后因子图估计的结果。与传统的运动惯用估计器相比，我们的结果在挑战情景中表明相对姿势误差的减少37％，而无需学习测量。当在视觉降级环境中的视觉系统中使用时，我们还展示了22％的误差减少，例如地下矿井。

我们为腿部机器人提供了一个开源视觉惯性训练率（VILO）状态估计解决方案Cerberus，该机器人使用一组标准传感器（包括立体声摄像机，IMU，联合编码器，，imu，联合编码器）实时实时估算各个地形的位置和接触传感器。除了估计机器人状态外，我们还执行在线运动学参数校准并接触离群值拒绝以大大减少位置漂移。在各种室内和室外环境中进行的硬件实验验证了Cerberus中的运动学参数可以将估计的漂移降低到长距离高速运动中的1％以下。我们的漂移结果比文献中报道的相同的一组传感器组比任何其他状态估计方法都要好。此外，即使机器人经历了巨大的影响和摄像头遮挡，我们的状态估计器也表现良好。状态估计器的实现以及用于计算我们结果的数据集，可在https://github.com/shuoyangrobotics/cerberus上获得。

A reliable self-contained navigation system is essential for autonomous vehicles. Based on our previous study on Wheel-INS \cite{niu2019}, a wheel-mounted inertial measurement unit (Wheel-IMU)-based dead reckoning (DR) system, in this paper, we propose a multiple IMUs-based DR solution for the wheeled robots. The IMUs are mounted at different places of the wheeled vehicles to acquire various dynamic information. In particular, at least one IMU has to be mounted at the wheel to measure the wheel velocity and take advantages of the rotation modulation. The system is implemented through a distributed extended Kalman filter structure where each subsystem (corresponding to each IMU) retains and updates its own states separately. The relative position constraints between the multiple IMUs are exploited to further limit the error drift and improve the system robustness. Particularly, we present the DR systems using dual Wheel-IMUs, one Wheel-IMU plus one vehicle body-mounted IMU (Body-IMU), and dual Wheel-IMUs plus one Body-IMU as examples for analysis and comparison. Field tests illustrate that the proposed multi-IMU DR system outperforms the single Wheel-INS in terms of both positioning and heading accuracy. By comparing with the centralized filter, the proposed distributed filter shows unimportant accuracy degradation while holds significant computation efficiency. Moreover, among the three multi-IMU configurations, the one Body-IMU plus one Wheel-IMU design obtains the minimum drift rate. The position drift rates of the three configurations are 0.82\% (dual Wheel-IMUs), 0.69\% (one Body-IMU plus one Wheel-IMU), and 0.73\% (dual Wheel-IMUs plus one Body-IMU), respectively.

对深度神经网络（DNN）进行了训练，以估计在城市区域驾驶的汽车速度，并输入来自低成本六轴惯性测量单元（IMU）的测量流。通过在配备了全球导航卫星系统（GNSS）实时运动学（RTK）定位设备和同步IMU的汽车中，通过驾驶以色列阿什杜德市（Ashdod）驾驶以色列市Ashdod市收集了三个小时的数据。使用以50 Hz的高速率获得的位置测量值计算了汽车速度的地面真实标签。提出了具有长短期内存层的DNN体系结构，以实现高频速度估计，以说明以前的输入历史记录和速度，加速度和角速度之间的非线性关系。制定了简化的死亡算法定位方案，以评估训练有素的模型，该模型提供了速度伪测量。训练有素的模型显示可在4分钟车程中大大提高位置准确性，而无需使用GNSS位置更新。

自动水下车辆（AUV）通常在许多水下应用中使用。最近，在文献中，多旋翼无人自动驾驶汽车（UAV）的使用引起了更多关注。通常，两个平台都采用惯性导航系统（INS）和协助传感器进行准确的导航解决方案。在AUV导航中，多普勒速度日志（DVL）主要用于帮助INS，而对于无人机，通常使用全球导航卫星系统（GNSS）接收器。辅助传感器和INS之间的融合需要在估计过程中定义步长参数。它负责解决方案频率更新，并最终导致其准确性。步长的选择在计算负载和导航性能之间构成了权衡。通常，与INS操作频率（数百个HERTZ）相比，帮助传感器更新频率要慢得多。对于大多数平台来说，这种高率是不必要的，特别是对于低动力学AUV。在这项工作中，提出了基于监督机器学习的自适应调整方案，以选择适当的INS步骤尺寸。为此，定义了一个速度误差，允许INS/DVL或INS/GNSS在亚最佳工作条件下起作用，并最大程度地减少计算负载。模拟和现场实验的结果显示了使用建议的方法的好处。此外，建议的框架可以应用于任何类型的传感器或平台之间的任何其他融合场景。

滑动检测对于在外星人表面驾驶的流浪者的安全性和效率至关重要。当前的行星流动站滑移检测系统依赖于视觉感知，假设可以在环境中获得足够的视觉特征。然而，基于视觉的方法容易受到感知降解的行星环境，具有主要低地形特征，例如岩石岩，冰川地形，盐散发物以及较差的照明条件，例如黑暗的洞穴和永久阴影区域。仅依靠视觉传感器进行滑动检测也需要额外的计算功率，并降低了流动站的遍历速率。本文回答了如何检测行星漫游者的车轮滑移而不取决于视觉感知的问题。在这方面，我们提出了一个滑动检测系统，该系统从本体感受的本地化框架中获取信息，该框架能够提供数百米的可靠，连续和计算有效的状态估计。这是通过使用零速度更新，零角度更新和非独立限制作为惯性导航系统框架的伪测量更新来完成的。对所提出的方法进行了对实际硬件的评估，并在行星 - 分析环境中进行了现场测试。该方法仅使用IMU和车轮编码器就可以达到150 m左右的92％滑动检测精度。