在本文中，提出了一种新的视觉惯性内径（VIO）的步行 - vio，采用步行运动 - 自适应腿运动约束，其提出了用身体运动改变为四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位进行控制和路径规划。但是，由于四足功能机器主要用于室外，因此从天空或地面提取的外来特征导致跟踪故障。此外，Quadruped Robots的行走运动导致摆动，这降低了相机和惯性测量单元（IMU）引起的定位精度。为了克服这些限制，许多研究人员使用VIO与腿运动限制。然而，由于四足机器人的行走运动根据控制器，步态，四足机器人的速度等，因此在添加腿运动限制的过程中应该考虑这些因素。我们提出了通过调整腿运动约束因素来使用的VIO，无论步行运动如何。为了评估Walk-VIO，我们创建和发布二章机器人的数据集，这些机器人在仿真环境中以各种类型的行走运动移动。此外，我们通过与当前最先进的算法进行比较验证了WAWN-VIO的有效性。

我们为腿部机器人提供了一个开源视觉惯性训练率（VILO）状态估计解决方案Cerberus，该机器人使用一组标准传感器（包括立体声摄像机，IMU，联合编码器，，imu，联合编码器）实时实时估算各个地形的位置和接触传感器。除了估计机器人状态外，我们还执行在线运动学参数校准并接触离群值拒绝以大大减少位置漂移。在各种室内和室外环境中进行的硬件实验验证了Cerberus中的运动学参数可以将估计的漂移降低到长距离高速运动中的1％以下。我们的漂移结果比文献中报道的相同的一组传感器组比任何其他状态估计方法都要好。此外，即使机器人经历了巨大的影响和摄像头遮挡，我们的状态估计器也表现良好。状态估计器的实现以及用于计算我们结果的数据集，可在https://github.com/shuoyangrobotics/cerberus上获得。

腿部机器人运动是一项艰巨的任务，这是由于无数的子问题，例如脚接触的混合动力学以及所需步态对地形的影响。对浮动基础和脚关节的准确和高效的状态估计可以通过向机器人控制器提供反馈信息来帮助减轻这些问题的许多问题。当前的状态估计方法高度依赖于视觉和惯性测量的结合，以提供实时估计，从而在感知上较差的环境中残障。在这项工作中，我们表明，通过通过因子图公式利用机器人的运动学链模型，我们可以使用主要的特性惯性数据对基础和腿关节进行状态估计。我们使用基于因子图形的框架中的预先集成IMU测量，正向运动计算和接触检测的组合进行状态估计，从而使我们的状态估计值受到机器人模型的约束。模拟和硬件上的实验结果表明，我们的方法平均超过当前的本体感受状态估计方法27％，同时可以推广到各种腿部机器人平台。我们在各种轨迹上定量和定性地展示了我们的结果。

大多数Quadrupss开发的高度驱动，因此他们的控制是非常繁琐的。它们需要先进的电子设备连续解决复杂的逆运动型方程。此外，随着传统距离传感器通常由于机器人的运动而导致的连续扰动通常发生故障，它们要求特殊和昂贵的传感器自动导航环境。另一个挑战是在步行时保持机器人的连续动态稳定性，这需要复杂和最先进的控制算法。本文介绍了我们内部棱镜联合电池的硬件设计和控制架构的彻底描述，称为Prisma。我们的目标是伪造强大而温制性的稳定的四足机器人，可以使用基本控制算法并利用传统传感器来导航未知环境。我们讨论了机器人在其运动，不同脚轨迹，可制造性和控制方面的益处和限制。

用于移动操作的机器人平台需要满足许多对许多现实世界应用的两个矛盾要求：需要紧凑的基础才能通过混乱的室内环境导航，而支撑需要足够大以防止翻滚或小费，尤其是在快速操纵期间有效载荷或与环境有力互动的操作。本文提出了一种新颖的机器人设计，该设计通过多功能足迹来满足这两种要求。当操纵重物时，它可以将其足迹重新配置为狭窄的配置。此外，其三角形配置可通过防止支撑开关来在不平坦的地面上进行高精度任务。提出了一种模型预测控制策略，该策略统一计划和控制，以同时导航，重新配置和操纵。它将任务空间目标转换为新机器人的全身运动计划。提出的设计已通过硬件原型进行了广泛的测试。足迹重新配置几乎可以完全消除操纵引起的振动。控制策略在实验室实验和现实世界的施工任务中被证明有效。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

本文介绍了一种基于来自IMU数据的学习的位移测量的腿机器人的新型概述状态估计。最近的行人跟踪研究表明，可以使用卷积神经网络从惯性数据推断出运动。学习的惯性位移测量可以提高具有挑战性的场景的状态估计，其中腿部内径是不可靠的，例如滑动和可压缩的地形。我们的工作学会从IMU数据估算从IMU数据融合的位移测量，然后与传统的腿部腿部融合。我们的方法大大降低了诸如在视觉中部署的腿部机器人和Lidar被否定的环境（如有雾的下水道或尘土飞扬的地雷）至关重要。我们使用来自几个真正的机器人实验的数据与交叉挑战性地形的几个真正的机器人实验进行了比较了来自EKF和增量固定滞后因子图估计的结果。与传统的运动惯用估计器相比，我们的结果在挑战情景中表明相对姿势误差的减少37％，而无需学习测量。当在视觉降级环境中的视觉系统中使用时，我们还展示了22％的误差减少，例如地下矿井。

受数字孪生系统的启发，开发了一个新型的实时数字双框架，以增强机器人对地形条件的感知。基于相同的物理模型和运动控制，这项工作利用了与真实机器人同步的模拟数字双重同步，以捕获和提取两个系统之间的差异信息，这两个系统提供了多个物理数量的高维线索，以表示代表差异建模和现实世界。柔软的，非刚性的地形会导致腿部运动中常见的失败，因此，视觉感知完全不足以估计地形的这种物理特性。我们使用了数字双重来开发可折叠性的估计，这通过动态步行过程中的物理互动来解决此问题。真实机器人及其数字双重双重测量之间的感觉测量的差异用作用于地形可折叠性分析的基于学习的算法的输入。尽管仅在模拟中受过培训，但学习的模型可以在模拟和现实世界中成功执行可折叠性估计。我们对结果的评估表明，对不同方案和数字双重的优势的概括，可在地面条件下可靠地检测到细微差别。

鸟类等动物通过将腿部和空中迁移率与显性惯性作用相结合，广泛使用多模式运动。这种多模式运动壮举的机器人仿生型可以在协商其任务空间的能力方面产生超虚拟系统。本文的主要目的是讨论实现多模式运动的挑战，并报告我们在开发能够多模式运动（腿部和空中运动）的四足动物机器人方面的进展。我们报告了机器人中使用的机械和电气组件，除了为开发多功能多模式机器人平台实现目标的模拟和实验外。

在基于特征的同时定位和映射（SLAM）中，LINE具有点特征的稀疏性，使得可以映射周围环境结构。利用线特征的现有方法主要采用了使用线重新投影的测量模型。然而，在3D线映射过程中使用的方向向量不能被校正，因为线路测量模型仅在PL \“{U} CKER坐标中仅采用行的正常向量。结果，在3D期间发生的退化性等问题不能解决线映射过程。为了解决问题，本文提出了一种UV-SLAM，它是使用用于结构映射的消失点的基于不受约束的线路。本文侧重于使用结构规则而没有任何限制，如曼哈顿世界假设。为此，我们使用从线特征获得的消失点。通过图像中的线特征计算的消失点观察与通过方向向量计算的消失点估计计算的差异被定义为残差和添加到基于优化的SLAM的成本函数。此外，通过Fisher信息矩阵等级分析，我们证明了消失点测量S保证了一个独特的映射解决方案。最后，我们证明，与使用公共数据集的最先进的算法相比，本地化准确性和映射质量得到改善。

如今，腿部四足机器人的设计和开发是科学研究的一个非常活跃的领域。实际上，由于与其他移动机器人相比，腿部机器人能够适应严峻的地形和各种环境条件，因此变得流行。随着对腿部机器人实验的需求较高，更多的研究和工程师需要一种负担得起，快速的运动算法开发方式。在本文中，我们提出了一个新的开源四倍的机器人超狗平台，该平台具有12个RC伺服电机，NVIDIA JETSON NANO COMPUTER和STM32F4 DISCOVERY板。 HyperDog是四倍的机器人软件开发的开源平台，该平台基于机器人操作系统2（ROS2）和Micro-Ros。此外，HyperDog是完全由3D印刷零件和碳纤维建造的四倍的机器人狗，它使机器人的重量轻和强度良好。这项工作的想法是证明机器人开发的一种负担得起且可定制的方式，并为研究和工程师提供了腿部机器人平台，在该平台中可以在模拟和真实环境中测试和验证不同的算法。具有代码的开发项目可在GitHub（https://github.com/ndhana94/hyperdog_ros2）上获得。

人类的生活是无价的。当需要完成危险或威胁生命的任务时，机器人平台可能是更换人类运营商的理想选择。我们在这项工作中重点关注的任务是爆炸性的手段。鉴于移动机器人在多种环境中运行时表现出强大的功能，机器人触觉有可能提供安全解决方案。但是，与人类的运作相比，在此阶段，自主权可能具有挑战性和风险。远程运行可能是完整的机器人自主权和人类存在之间的折衷方案。在本文中，我们提出了一种相对便宜的解决方案，可用于远程敏感和机器人远程操作，以使用腿部操纵器（即，腿部四足机器人的机器人和RGB-D传感）来协助爆炸的军械处置。我们提出了一种新型的系统集成，以解决四足动物全身控制的非平凡问题。我们的系统基于可穿戴的基于IMU的运动捕获系统，该系统用于远程操作和视觉触发性的VR耳机。我们在实验中验证了现实世界中的方法，用于需要全身机器人控制和视觉触发的机车操作任务。

A reliable self-contained navigation system is essential for autonomous vehicles. Based on our previous study on Wheel-INS \cite{niu2019}, a wheel-mounted inertial measurement unit (Wheel-IMU)-based dead reckoning (DR) system, in this paper, we propose a multiple IMUs-based DR solution for the wheeled robots. The IMUs are mounted at different places of the wheeled vehicles to acquire various dynamic information. In particular, at least one IMU has to be mounted at the wheel to measure the wheel velocity and take advantages of the rotation modulation. The system is implemented through a distributed extended Kalman filter structure where each subsystem (corresponding to each IMU) retains and updates its own states separately. The relative position constraints between the multiple IMUs are exploited to further limit the error drift and improve the system robustness. Particularly, we present the DR systems using dual Wheel-IMUs, one Wheel-IMU plus one vehicle body-mounted IMU (Body-IMU), and dual Wheel-IMUs plus one Body-IMU as examples for analysis and comparison. Field tests illustrate that the proposed multi-IMU DR system outperforms the single Wheel-INS in terms of both positioning and heading accuracy. By comparing with the centralized filter, the proposed distributed filter shows unimportant accuracy degradation while holds significant computation efficiency. Moreover, among the three multi-IMU configurations, the one Body-IMU plus one Wheel-IMU design obtains the minimum drift rate. The position drift rates of the three configurations are 0.82\% (dual Wheel-IMUs), 0.69\% (one Body-IMU plus one Wheel-IMU), and 0.73\% (dual Wheel-IMUs plus one Body-IMU), respectively.

Visual Inertial Odometry (VIO) is one of the most established state estimation methods for mobile platforms. However, when visual tracking fails, VIO algorithms quickly diverge due to rapid error accumulation during inertial data integration. This error is typically modeled as a combination of additive Gaussian noise and a slowly changing bias which evolves as a random walk. In this work, we propose to train a neural network to learn the true bias evolution. We implement and compare two common sequential deep learning architectures: LSTMs and Transformers. Our approach follows from recent learning-based inertial estimators, but, instead of learning a motion model, we target IMU bias explicitly, which allows us to generalize to locomotion patterns unseen in training. We show that our proposed method improves state estimation in visually challenging situations across a wide range of motions by quadrupedal robots, walking humans, and drones. Our experiments show an average 15% reduction in drift rate, with much larger reductions when there is total vision failure. Importantly, we also demonstrate that models trained with one locomotion pattern (human walking) can be applied to another (quadruped robot trotting) without retraining.

这项工作开发了一种基于学习的联系人估算，用于绕过物理传感器的需要，并将多模态原宿感官数据作为输入绕过。与基于视觉的状态估计不同，Benrioceptive状态估算变无关，对感知性地降级的情况（如黑暗或有雾的场景）不可知。虽然一些机器人配备了专用物理传感器来检测状态估计的必要接触数据，但有些机器人没有专用的接触传感器，并且添加这种传感器是非微小的，而不重新设计硬件。训练有素的网络可以估计不同地形上的联系事件。该实验表明，与最先进的视觉流动系统相比，接触辅助不变的延长卡尔曼滤光器可以产生精确的内径轨迹，从而实现鲁棒的丙基型测距仪。

在腿的运动中重新规划对于追踪所需的用户速度，在适应地形并拒绝外部干扰的同时至关重要。在这项工作中，我们提出并测试了实验中的实时非线性模型预测控制（NMPC），用于腿部机器人，以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本，增强了二次机器人的运动，同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案，使我们能够以25美元的价格重新计划在线，\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型，以提高计算效率。在仿真中，测试NMPC以横穿一组不同尺寸的托盘，走进V形烟囱，并在崎岖的地形上招揽。在真实实验中，我们展示了我们的NMPC与移动功能的有效性，使IIT为87美元\，\ Mathrm {kg} $四分之一的机器人HIQ，以实现平坦地形上的全方位步行，横穿静态托盘，并适应在散步期间重新定位托盘。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

尽管数十年来，同时定位和映射（SLAM）一直是一个积极的研究主题，但由于特征不足或其固有的估计漂移，在许多平民环境中，当前的最新方法仍然遭受不稳定或不准确性的困扰。为了解决这些问题，我们提出了一个梳理SLAM和先前基于图的本地化的导航系统。具体而言，我们考虑了线条和平面特征的其他集成，这些特征在平民环境中无处不在，在结构上更突出，以确保功能充足和本地化的鲁棒性。更重要的是，我们将一般的先验地图信息纳入SLAM以限制其漂移并提高准确性。为了避免在先前的信息和局部观察之间进行严格的关联，我们将先验知识的参数化为低维结构先验，定义为不同几何原始原始人之间的相对距离/角度。本地化被公式化为基于图的优化问题，其中包含基于滑动窗口的变量和因素，包括IMU，异质特征和结构先验。我们还得出了不同因素的雅各布人的分析表达式，以避免自动分化开销。为了进一步减轻结合结构先验因素的计算负担，根据所谓的信息增益采用了选择机制，以仅将最有效的结构先验纳入图表优化中。最后，对综合数据，公共数据集以及更重要的是，对所提出的框架进行了广泛的测试。结果表明，所提出的方案可以有效地提高平民应用中自动驾驶机器人的本地化的准确性和鲁棒性。

在本文中，我们提出了一个深度学习框架，该框架为人形机器人步行步态中的腿部接触率检测提供了统一的方法。我们的配方实现了准确，稳健地估计每条腿的接触状态概率（即稳定或滑动/无接触）。所提出的框架采用了仅本体感知感应，尽管它依赖于模拟的基础真相接触数据进行分类过程，但我们证明了它在不同的摩擦表面和不同的腿部机器人平台上概括，同时也很容易地从模拟转移到模拟转移到实践。该框架是通过使用地面真实接触数据在模拟中进行定量和定性评估的，并与ATLA，NAO和TALOS类人类机器人的现状与ART方法形成对比。此外，用真实的talos人类生物生物估计得出了其功效。为了加强进一步的研究努力，我们的实施是作为开源的ROS/Python软件包，即创建的腿部接触检测（LCD）。