基于视觉的相对本地化可以为空中群体的合作提供有效的反馈，并在以前的作品中得到了广泛的调查。但是，有限的视野（FOV）本身限制了其性能。要应对这个问题，这封信提出了一种新的分布式主动视觉相关的相对本地化框架，并将其应用于空中群中的形成控制。灵感来自鸟群本质上，我们设计了基于图形的注意力计划（GAP），以改善群体中活跃视觉的观察质量。然后，主动检测结果与来自超宽带（UWB）的板载测量和视觉惯性内径（VIO）融合，以获得实时相对位置，从而进一步改善了群体的形成控制性能。模拟和实验表明，所提出的主动视觉系统在估计和形成准确性方面优于固定视觉系统。

去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一，但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm，一种分散的全向视觉惯性-UWB状态估计系统，用于解决这一研究利基市场。为了解决可观察性，复杂的初始化，准确性不足和缺乏全球一致性的问题，我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器，视觉惯性探测器，基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度，同时确保空中群中的全球一致性，这是实验结果证明的。此外，在没有任何外部设备的情况下，可以在全面的无人机间碰撞方面支持，表明全旋转的潜力是自动空中群的基础。

In recent years, aerial swarm technology has developed rapidly. In order to accomplish a fully autonomous aerial swarm, a key technology is decentralized and distributed collaborative SLAM (CSLAM) for aerial swarms, which estimates the relative pose and the consistent global trajectories. In this paper, we propose $D^2$SLAM: a decentralized and distributed ($D^2$) collaborative SLAM algorithm. This algorithm has high local accuracy and global consistency, and the distributed architecture allows it to scale up. $D^2$SLAM covers swarm state estimation in two scenarios: near-field state estimation for high real-time accuracy at close range and far-field state estimation for globally consistent trajectories estimation at the long-range between UAVs. Distributed optimization algorithms are adopted as the backend to achieve the $D^2$ goal. $D^2$SLAM is robust to transient loss of communication, network delays, and other factors. Thanks to the flexible architecture, $D^2$SLAM has the potential of applying in various scenarios.

准确的自我和相对状态估计是完成群体任务的关键前提，例如协作自主探索，目标跟踪，搜索和救援。本文提出了一种全面分散的状态估计方法，用于空中群体系统，其中每个无人机执行精确的自我状态估计，通过无线通信交换自我状态和相互观察信息，并估算相对状态（W.R.T.）（W.R.T.）无人机，全部实时，仅基于激光惯性测量。提出了一种基于3D激光雷达的新型无人机检测，识别和跟踪方法，以获得队友无人机的观察。然后，将相互观察测量与IMU和LIDAR测量紧密耦合，以实时和准确地估计自我状态和相对状态。广泛的现实世界实验显示了对复杂场景的广泛适应性，包括被GPS贬低的场景，摄影机的退化场景（漆黑的夜晚）或激光雷达（面对单个墙）。与运动捕获系统提供的地面真相相比，结果显示了厘米级的定位精度，该精度优于单个无人机系统的其他最先进的激光惯性射测。

移动机器人和无人机的异构团队在对环境的自主探索方面提供了可观的好处。然而，尽管广泛讨论了此类系统的联合勘探方案，但它们仍未对无人机对接过程中外部条件变化和群体断层的适应性低。当一个代理商失去其位置信号时，我们提出了一种基于视觉的无人机群对接系统，以在移动平台上稳健地着陆。拟议的蜂鹰系统依靠基于视觉的检测来进行移动平台跟踪和导航其代理。群的每架无人机都带有RGB摄像头和APRILTAG3 QR代码标记。 Swarmhawk可以在两种操作模式之间切换，在全球无人机本地化的情况下充当均匀的群，或者在一个无人机或全球本地化故障中出现相机故障的情况下，将领导者的无人机指向其邻居。进行了两项实验，以通过静态和移动平台在全球和本地定位下评估Swarmhawk的性能。实验结果表明，静态移动平台上的群体着陆任务具有足够的准确性（均匀地层的4.2 cm误差为4.2厘米，领导者 - 追随者形成中的1.9厘米）和移动平台（同质地层中的6.9厘米和4.7 cm的误差为6.9 cm，在4.7 cm中的误差领导者追随者组）。此外，无人机在领导者追随者组中沿着复杂的轨迹（平均误差为19.4 cm）移动的平台上显示出良好的降落。拟议的蜂鹰技术可以潜在地应用于各种群情景中，包括复杂的环境勘探，检查和无人机交付。

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体

该论文着重于无人机的异质群，以实现移动机器人上层的动态着陆。科学家尚未实现这项具有挑战性的任务。关键技术是，我们没有用计算机视觉来促进无人机群的每个代理，这大大增加了有效载荷并缩短飞行时间，而是建议在领导者无人机上仅安装一台摄像头。追随者无人机从无人机中接收命令，并保持无冲突的轨迹。实验结果表明，群体降落在静态移动平台上（4.48厘米的RMSE）上很高。 RMSE群落在移动平台上的降落，最大速度为1.0 m/s和1.5 m/s，分别为8.76厘米和8.98厘米。拟议的蜂群技术将允许蜂群的省时降落，以进一步充电。这将使可以在救援操作，检查和维护，自主仓库库存，货物交付等方面实现多代理机器人系统的自我维护操作。

本文在移动平台上介绍了四摩托车的自动起飞和着陆系统。设计的系统解决了三个具有挑战性的问题：快速姿势估计，受限的外部定位和有效避免障碍物。具体而言，首先，我们基于Aruco标记设计了着陆识别和定位系统，以帮助四极管快速计算相对姿势。其次，我们利用基于梯度的本地运动计划者快速生成无冲突的参考轨迹；第三，我们构建了一台自主状态机器，使四极管能够完全自治完成其起飞，跟踪和着陆任务；最后，我们在模拟，现实世界和室外环境中进行实验，以验证系统的有效性并证明其潜力。

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

Many aerial robotic applications require the ability to land on moving platforms, such as delivery trucks and marine research boats. We present a method to autonomously land an Unmanned Aerial Vehicle on a moving vehicle. A visual servoing controller approaches the ground vehicle using velocity commands calculated directly in image space. The control laws generate velocity commands in all three dimensions, eliminating the need for a separate height controller. The method has shown the ability to approach and land on the moving deck in simulation, indoor and outdoor environments, and compared to the other available methods, it has provided the fastest landing approach. Unlike many existing methods for landing on fast-moving platforms, this method does not rely on additional external setups, such as RTK, motion capture system, ground station, offboard processing, or communication with the vehicle, and it requires only the minimal set of hardware and localization sensors. The videos and source codes are also provided.

在本文中，我们使用单个摄像头和惯性测量单元（IMU）以及相应的感知共识问题（即，所有观察者的独特性和相同的ID）来解决基于视觉的检测和跟踪多个航空车的问题。我们设计了几种基于视觉的分散贝叶斯多跟踪滤波策略，以解决视觉探测器算法获得的传入的未分类测量与跟踪剂之间的关联。我们根据团队中代理的数量在不同的操作条件以及可扩展性中比较它们的准确性。该分析提供了有关给定任务最合适的设计选择的有用见解。我们进一步表明，提出的感知和推理管道包括深度神经网络（DNN），因为视觉目标检测器是轻量级的，并且能够同时运行控制和计划，并在船上进行大小，重量和功率（交换）约束机器人。实验结果表明，在各种具有挑战性的情况（例如重闭）中，有效跟踪了多个无人机。

Autonomous Micro Aerial Vehicles are deployed for a variety tasks including surveillance and monitoring. Perching and staring allow the vehicle to monitor targets without flying, saving battery power and increasing the overall mission time without the need to frequently replace batteries. This paper addresses the Active Visual Perching (AVP) control problem to autonomously perch on inclined surfaces up to $90^\circ$. Our approach generates dynamically feasible trajectories to navigate and perch on a desired target location, while taking into account actuator and Field of View (FoV) constraints. By replanning in mid-flight, we take advantage of more accurate target localization increasing the perching maneuver's robustness to target localization or control errors. We leverage the Karush-Kuhn-Tucker (KKT) conditions to identify the compatibility between planning objectives and the visual sensing constraint during the planned maneuver. Furthermore, we experimentally identify the corresponding boundary conditions that maximizes the spatio-temporal target visibility during the perching maneuver. The proposed approach works on-board in real-time with significant computational constraints relying exclusively on cameras and an Inertial Measurement Unit (IMU). Experimental results validate the proposed approach and shows the higher success rate as well as increased target interception precision and accuracy with respect to a one-shot planning approach, while still retaining aggressive capabilities with flight envelopes that include large excursions from the hover position on inclined surfaces up to 90$^\circ$, angular speeds up to 750~deg/s, and accelerations up to 10~m/s$^2$.

We propose a multisensor fusion framework for onboard real-time navigation of a quadrotor in an indoor environment, by integrating sensor readings from an Inertial Measurement Unit (IMU), a camera-based object detection algorithm, and an Ultra-WideBand (UWB) localization system. The sensor readings from the camera-based object detection algorithm and the UWB localization system arrive intermittently, since the measurements are not readily available. We design a Kalman filter that manages intermittent observations in order to handle and fuse the readings and estimate the pose of the quadrotor for tracking a predefined trajectory. The system is implemented via a Hardware-in-the-loop (HIL) simulation technique, in which the dynamic model of the quadrotor is simulated in an open-source 3D robotics simulator tool, and the whole navigation system is implemented on Artificial Intelligence (AI) enabled edge GPU. The simulation results show that our proposed framework offers low positioning and trajectory errors, while handling intermittent sensor measurements.

在这项工作中，研究了使用板载探测仪和机器人间距离测量值的4个自由度（3D位置和标题）机器人对机器人相对框架转换估计的问题。首先，我们对问题进行了理论分析，即CRAMER-RAO下限（CRLB），Fisher Information Matrix（FIM）及其决定因素的推导和解释。其次，我们提出了基于优化的方法来解决该问题，包括二次约束二次编程（QCQP）和相应的半决赛编程（SDP）放松。此外，我们解决了以前的工作中忽略的实际问题，例如对超宽带（UWB）和轨道仪传感器之间的空间偏移的核算，拒绝UWB异常值并在开始操作之前检查单数配置。最后，对空中机器人进行的广泛的模拟和现实生活实验表明，所提出的QCQP和SDP方法的表现优于最先进的方法，尤其是在几何差或大的测量噪声条件下。通常，QCQP方法以计算时间为代价提供了最佳结果，而SDP方法运行得更快，并且在大多数情况下非常准确。

纳米大小的无人机具有探索未知和复杂环境的巨大潜力。它们的尺寸很小，使它们敏捷且安全地靠近人类，并使他们能够穿过狭窄的空间。但是，它们的尺寸很小和有效载荷限制了板载计算和传感的可能性，从而使完全自主的飞行极具挑战性。迈向完全自主权的第一步是可靠的避免障碍，这在通用的室内环境中被证明在技术上具有挑战性。当前的方法利用基于视觉或一维传感器来支持纳米无人机感知算法。这项工作为基于新颖的毫米尺寸64像素多区域飞行时间（TOF）传感器和通用的无模型控制策略提供了轻巧的避免障碍系统。报告的现场测试基于Crazyflie 2.1，该测试由定制的多区TOF甲板扩展，总质量为35克。该算法仅使用0.3％的车载处理能力（210US执行时间），帧速率为15fps，为许多未来应用提供了绝佳的基础。运行提出的感知系统（包括抬起和操作传感器）所需的总无人机功率不到10％。在通用且以前未开发的室内环境中，提出的自动纳米大小无人机以0.5m/s的速度达到100％可靠性。所提出的系统释放出具有广泛数据集的开源，包括TOF和灰度摄像头数据，并与运动捕获中的无人机位置地面真相结合在一起。

我们提出了通过现实的模拟和现实世界实验来支持可复制研究的多运动无人机控制（UAV）和估计系统。我们提出了一个独特的多帧本地化范式，用于同时使用多个传感器同时估算各种参考框架中的无人机状态。该系统可以在GNSS和GNSS贬低的环境中进行复杂的任务，包括室外室内过渡和执行冗余估计器，以备份不可靠的本地化源。提出了两种反馈控制设计：一个用于精确和激进的操作，另一个用于稳定和平稳的飞行，并进行嘈杂的状态估计。拟议的控制和估计管道是在3D中使用Euler/Tait-Bryan角度表示的，而无需使用Euler/Tait-Bryan角度表示。取而代之的是，我们依靠旋转矩阵和一个新颖的基于标题的惯例来代表标准多电流直升机3D中的一个自由旋转自由度。我们提供了积极维护且有据可查的开源实现，包括对无人机，传感器和本地化系统的现实模拟。拟议的系统是多年应用系统，空中群，空中操纵，运动计划和遥感的多年研究产物。我们所有的结果都得到了现实世界中的部署的支持，该系统部署将系统塑造成此处介绍的表单。此外，该系统是在我们团队从布拉格的CTU参与期间使用的，该系统在享有声望的MBZIRC 2017和2020 Robotics竞赛中，还参加了DARPA SubT挑战赛。每次，我们的团队都能在世界各地最好的竞争对手中获得最高位置。在每种情况下，挑战都促使团队改善系统，并在紧迫的期限内获得大量高质量的体验。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

太空探索目睹了毅力漫游者登陆火星表面，并展示了火星直升机超越地球以外的第一次飞行。在他们在火星上的任务中，毅力漫游者和Ingenuity合作探索了火星表面，Ingenuity侦察员地形信息为Rover的安全穿越。因此，确定两个平台之间的相对姿势对于此任务的成功至关重要。在这种必要性的驱动下，这项工作提出了基于基于神经形态视觉测量（NVBM）和惯性测量的融合的强大相对定位系统。神经形态视觉的出现引发了计算机视觉社区的范式转变，这是由于其独特的工作原理由现场发生的光强度变化触发的异步事件所划定。这意味着由于照明不变性而无法在静态场景中获取观察结果。为了规避这一限制，在场景中插入了高频活动地标，以确保一致的事件射击。这些地标被用作促进相对定位的显着特征。开发了一种新型的基于事件的地标识别算法，使用高斯混合模型（GMM），用于匹配我们NVBM的地标对应。 NVBM与提议的状态估计器中的惯性测量，地标跟踪Kalman滤波器（LTKF）和翻译解耦的Kalman Filter（TDKF）分别用于地标跟踪和相对定位。该系统在各种实验中进行了测试，并且在准确性和范围方面具有优于最先进的方法。

在过去的十年中，自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外，改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法，以检测无人机（UAV）环境中的关键特征。在这项调查中，对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先，详细讨论了各种类型的操纵器和握手，以及动态建模和控制方法。然后，讨论了降落在静态和动态平台上的。随后，诸如天气状况，州估计和避免碰撞之类的风险以确保安全过境。最后，调查了交付的UAV路由，该路由将主题分为两个领域：无人机操作和无人机合作操作。

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。