本文提出了一种容忍故障的3D视觉系统，用于自动机器人操作。特别是，使用集成的Kalman滤波器（KF）中的3D视觉数据和闭环配置中的迭代最接近点（ICP）算法来实现空间对象的姿势估计。内部ICP迭代的最初猜测是由卡尔曼申报人的国家估计传播提供的。卡尔曼过滤器不仅能够估计目标状态，还可以估算其惯性参数。这允许目标一旦滤波，目标就可以预测。因此，由于ICP初始化的精度提高，ICP可以在更广泛的速度上保持姿势跟踪。此外，即使传感器暂时失去其信号，估计器即使由于阻塞造成的损失，估计器将目标的动力学模型纳入估计器中。姿势估计方法的功能通过自动化合作和对接的地面测试床证明。在该实验中，Neptec的激光摄像头系统（LCS）用于对连接到操纵器臂的卫星模型进行实时扫描，该卫星模型是根据轨道和态度动力学驱动的。结果表明，只有在Kalman滤波器和ICP处于闭环配置时，才能实现自由浮动翻滚卫星的可靠跟踪。

The robustness and accuracy of a vision system for motion estimation of a tumbling target satellite are enhanced by an adaptive Kalman filter. This allows a vision-guided robot to complete the grasping of the target even if occlusion occurs during the operation. A complete dynamics model, including aspects of orbital mechanics, is incorporated for accurate estimation. Based on the model, an adaptive Kalman filter is developed that estimates not only the system states but also all the model parameters such as the inertia ratio, center-of-mass, and the rotation of the principal axes of the target satellite. An experiment is conducted by using a robotic arm to move a satellite mockup according to orbital mechanics while the satellite pose is measured by a laser camera system. The measurements are sent to the Kalman filter, which, in turn, drives another robotic arm to grasp the target. The results demonstrate successful grasping even if the vision system is blocked for several seconds.

本文着重于自适应和耐断层的视力引导的机器人系统，该系统可以选择最适合的控制动作，如果在短期内发生视觉系统的部分或完全失败。此外，自主机器人系统会考虑物理和操作约束，以执行特定视觉伺服任务的需求，以最小化成本功能。层次控制体系结构是基于迭代最接近点（ICP）图像登记的变体的交织集成，开发的，这是约束的噪声自适应卡尔曼滤波器，故障检测逻辑和恢复，以及受约束的最佳路径计划器。动态估计器估计运动预测所需的未知状态和不确定的参数，同时对估计过程的一致性施加了一组不平等约束，并在面对意外的视力错误时适应了Kalman滤波器参数。随后是基于故障检测逻辑实施故障恢复策略，该逻辑使用图像注册的度量拟合误差来监视视觉反馈的健康状况。随后，估计/预测的姿势和参数将传递给最佳路径计划器，以使机器人最终效应器尽快将移动目标的握把到达移动目标的抓地点目标的视线角。

本文为自动驾驶车辆提供了基于激光雷达的同时定位和映射（SLAM）。研究了来自地标传感器的数据和自适应卡尔曼滤波器（KF）中的带状惯性测量单元（IMU）加上系统的可观察性。除了车辆的状态和具有里程碑意义的位置外，自我调整过滤器还估计IMU校准参数以及测量噪声的协方差。流程噪声，状态过渡矩阵和观察灵敏度矩阵的离散时间协方差矩阵以封闭形式得出，使其适合实时实现。检查3D SLAM系统的可观察性得出的结论是，该系统在地标对准的几何条件下仍然可以观察到。

本文介绍了基于神经网络的无气体卡尔曼滤波器（UKF），以跟踪已知的，非合作的，翻滚的目标航天飞机的姿势（即位置和方向），以近距离呈现场景。 UKF根据使用卷积神经网络（CNN）从目标航天器的传入单眼图像中提取的姿势信息估计目标相对于服务器的相对轨道和态度状态。为了启用可靠的跟踪，使用自适应状态噪声补偿在线调整UKF的过程噪声协方差矩阵。具体而言，新得出和实现了相对态度动力学的封闭形式的过程噪声模型。为了全面分析提议的CNN驱动UKF的性能和鲁棒性，本文还介绍了卫星硬件在环上的轨迹轨迹（衬衫）数据集，其中包括两个具有代表性的聚会轨迹的标签图像低地球轨道。对于每个轨迹，分别从图形渲染器和机器人测试台创建了两组图像，以允许测试跨域间隙的滤波器的鲁棒性。拟议的UKF在衬衫的两个轨迹领域进行了评估，并被证明在稳态下具有次数级的位置和程度级别的方向误差。

与单个IMU相比，多个刚性连接的惯性测量单元（IMU）传感器提供了更丰富的数据流。最先进的方法遵循IMU测量的概率模型，基于在贝叶斯框架下组合的错误的随机性质。但是，负担得起的低级IMU此外，由于其不受相应的概率模型所掩盖的缺陷而遭受了系统的错误。在本文中，我们提出了一种方法，即合并多个IMU（MIMU）传感器数据的最佳轴组成（BAC），以进行准确的3D置置估计，该数据通过从集合中动态选择最佳的IMU轴来考虑随机和系统误差所有可用的轴。我们在MIMU视觉惯性传感器上评估了我们的方法，并将方法的性能与MIMU数据融合的最新方法进行比较。我们表明，BAC的表现优于后者，并且在开放环路中的方向和位置估计都可以提高20％的精度，但需要适当的处理以保持获得的增益。

使用自适应机器学习解决了在不准确运动学模型的情况下，在存在不正确的运动学模型的情况下形成封闭运动链的合作操纵器的自我调整控制问题。两个级联估计器在线更新了与互连操纵器的相对位置/方向不确定性有关的运动学参数，以调整合作控制器，以通过最小值驱动力来实现准确的运动跟踪。该技术允许对所涉及的操纵器的相对运动学进行准确的校准，而无需高精度的终点传感或力测量，因此在经济上是合理的。研究整个实时估计器/控制器系统的稳定性表明，可以确保自适应控制过程的收敛性和稳定性，如果i）角速度向量的方向不会随着时间的推移而保持恒定；参数误差是由一些已知参数的缩放器函数上限。自适应控制器被证明是无奇异性的，即使控制定律涉及在估计参数下计算的矩阵的近似。实验结果证明了传统的反向动态控制方案对运动不准确的跟踪性能的敏感性，而自我调整合作控制器的跟踪误差显着降低。

We propose AstroSLAM, a standalone vision-based solution for autonomous online navigation around an unknown target small celestial body. AstroSLAM is predicated on the formulation of the SLAM problem as an incrementally growing factor graph, facilitated by the use of the GTSAM library and the iSAM2 engine. By combining sensor fusion with orbital motion priors, we achieve improved performance over a baseline SLAM solution. We incorporate orbital motion constraints into the factor graph by devising a novel relative dynamics factor, which links the relative pose of the spacecraft to the problem of predicting trajectories stemming from the motion of the spacecraft in the vicinity of the small body. We demonstrate the excellent performance of AstroSLAM using both real legacy mission imagery and trajectory data courtesy of NASA's Planetary Data System, as well as real in-lab imagery data generated on a 3 degree-of-freedom spacecraft simulator test-bed.

We propose a multisensor fusion framework for onboard real-time navigation of a quadrotor in an indoor environment, by integrating sensor readings from an Inertial Measurement Unit (IMU), a camera-based object detection algorithm, and an Ultra-WideBand (UWB) localization system. The sensor readings from the camera-based object detection algorithm and the UWB localization system arrive intermittently, since the measurements are not readily available. We design a Kalman filter that manages intermittent observations in order to handle and fuse the readings and estimate the pose of the quadrotor for tracking a predefined trajectory. The system is implemented via a Hardware-in-the-loop (HIL) simulation technique, in which the dynamic model of the quadrotor is simulated in an open-source 3D robotics simulator tool, and the whole navigation system is implemented on Artificial Intelligence (AI) enabled edge GPU. The simulation results show that our proposed framework offers low positioning and trajectory errors, while handling intermittent sensor measurements.

本文提出了一种控制操纵器系统，掌握刚体有效载荷的方法，因此，由于外部施加的力与另一个自由浮动的刚体（具有不同的惯性特性）相同，因此组合系统的运动与另一个相同。这允许在1-G实验室环境中测试下的缩放航天器原型的零G仿真。由运动反馈和力量/力矩反馈组成的控制器调整了测试航天器的运动，以匹配飞行航天器的运动，即使后者具有灵活的附属物（例如太阳能电池板），而前者则是刚性的。整体系统的稳定性进行了分析研究，结果表明，只要两个航天器的惯性特性不同，并且尊重有效载荷与操纵器的惯性比率的上行，则该系统保持稳定。还提出了重要的实际问题，例如校准和对传感器噪声和量化的敏感性分析。

自由飞行机器人的应用范围从娱乐目的到航空航天应用。用于这种系统的控制算法需要基于传感器反馈准确地估计它们的状态。本文的目的是设计和验证一个轻型状态估计算法，用于自由飞行开放运动链，估计其质量中心及其姿势的状态。该研究而不是利用非线性动力学模型，提出了两个卡尔曼滤波器（KF）的级联结构，其依赖于自由落体多体系的弹道运动以及来自惯性测量单元（IMU）和编码器的反馈。在模拟中验证了多种算法，以模拟使用Simulink模拟实际情况。改变了几个不确定的物理参数，结果表明，所提出的估计器在跟踪性能和计算时间方面优于EKF和UKF。

该论文提出了两种控制方法，用于用微型四轮驱动器进行反弹式操纵。首先，对专门为反转设计设计的现有前馈控制策略进行了修订和改进。使用替代高斯工艺模型的贝叶斯优化通过在模拟环境中反复执行翻转操作来找到最佳运动原语序列。第二种方法基于闭环控制，它由两个主要步骤组成：首先，即使在模型不确定性的情况下，自适应控制器也旨在提供可靠的参考跟踪。控制器是通过通过测量数据调整的高斯过程来增强无人机的标称模型来构建的。其次，提出了一种有效的轨迹计划算法，该算法仅使用二次编程来设计可行的轨迹为反弹操作设计。在模拟和使用BitCraze Crazyflie 2.1四肢旋转器中对两种方法进行了分析。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

This book provides a solution to the control and motion planning design for an octocopter system. It includes a particular choice of control and motion planning algorithms which is based on the authors' previous research work, so it can be used as a reference design guidance for students, researchers as well as autonomous vehicles hobbyists. The control is constructed based on a fault tolerant approach aiming to increase the chances of the system to detect and isolate a potential failure in order to produce feasible control signals to the remaining active motors. The used motion planning algorithm is risk-aware by means that it takes into account the constraints related to the fault-dependant and mission-related maneuverability analysis of the octocopter system during the planning stage. Such a planner generates only those reference trajectories along which the octocopter system would be safe and capable of good tracking in case of a single motor fault and of majority of double motor fault scenarios. The control and motion planning algorithms presented in the book aim to increase the overall reliability of the system for completing the mission.

在本文中，我们开辟了基于路径积分（PI）最优控制理论的可视伺服系统的新途径，其中可以将非线性部分微分方程（PDE）转换为使用Feynman的所有可能的轨迹的期望-KAC（FK）引理。更精确地，我们提出了基于采样的模型预测控制（即，模型预测路径积分（MPPI）控制）算法，提出了MPPI-VS控制策略，实时和无反转控制策略（即，模型预测路径积分（MPPI）控制）算法 - 基于，3D点和基于位置的可视伺服技术，考虑到系统约束（例如可见性，3D和控制约束）以及与机器人和相机模型相关联的参数不确定性以及测量噪声。与经典的视觉伺服控制方案相反，我们的控制策略直接利用交互矩阵的近似，而无需估计交互矩阵反转或执行伪反转。我们在带有引导摄像机的6-DOF笛卡尔机器人上验证MPPI-VS控制策略以及基于图像平面中的四个点作为视觉特征的常规摄像机。与经典计划相比，更好地评估和展示所提出的控制策略的鲁棒性和潜在优势，进行了各种操作条件下的密集模拟，然后讨论。所获得的结果证明了所提出的方案在容易与系统限制中应对的有效性和能力，以及在相机参数和测量中存在大误差的鲁棒性。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

The performance of inertial navigation systems is largely dependent on the stable flow of external measurements and information to guarantee continuous filter updates and bind the inertial solution drift. Platforms in different operational environments may be prevented at some point from receiving external measurements, thus exposing their navigation solution to drift. Over the years, a wide variety of works have been proposed to overcome this shortcoming, by exploiting knowledge of the system current conditions and turning it into an applicable source of information to update the navigation filter. This paper aims to provide an extensive survey of information aided navigation, broadly classified into direct, indirect, and model aiding. Each approach is described by the notable works that implemented its concept, use cases, relevant state updates, and their corresponding measurement models. By matching the appropriate constraint to a given scenario, one will be able to improve the navigation solution accuracy, compensate for the lost information, and uncover certain internal states, that would otherwise remain unobservable.

我们提出了一种基于直接质心控制的人形机器人的运动和平衡的综合方法。我们的方法使用人形生物的五质量描述。它从机器人的所需脚部轨迹和质心参数产生全身运动。一组简化的模型用于制定一般和直观的控制定律，然后实时应用它们，以估算和调节质量位置的中心和多体惯性主轴的方向。所提出的算法的组合产生了一条伸展的步态，并具有自然的上身运动。由于仅需要6轴IMU和关节编码器才能实现，因此机器人之间的可移植性很高。我们的方法已通过类人类开放式平台对实验进行了实验验证，证明了全身运动和推动排斥能力。

几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。

敏捷飞行或穿越不规则地形的激进运动会导致激光扫描中的运动失真，从而降低状态估计和映射。存在一些减轻这种效果的方法，但是对于资源受限的移动机器人来说，它们仍然太简单或计算成本高。为此，本文介绍了直接的激光惯性进程（DLIO），这是一种轻巧的激光惯性射击算法，采用新的粗到精细方法来构建连续的时间轨迹进行精确运动校正。我们方法的关键在于构建一组分析方程，这些方程仅通过时间来参数化，从而实现快速和可行的点。此方法之所以可行，仅仅是因为我们新颖的非线性几何观察者具有强大的收敛性能，该观察者提供了可证明正确的状态估计值来初始化敏感的IMU整合步骤。此外，通过同时执行运动校正和前期，并直接将每次扫描注册到地图并绕过扫描到扫描，DLIO的凝结体系结构在计算上的计算效率比当前最新的ART高20％精度提高12％。我们通过多种公共基准和自收集的数据集进行了广泛的测试，证明了DLIO的出色本地化精度，地图质量和较低的计算开销，与四种最先进的算法相比。