没有全球导航卫星系统（GNSS）的本地化是无人驾驶汽车（UAVS）自动操作中的关键功能。在已知地图上基于视觉的本地化可以是一个有效的解决方案，但是它受到两个主要问题的负担：根据天气和季节的不同，位置的外观不同，以及无人机相机图像和地图之间的透视差异使匹配变得难以匹配。在这项工作中，我们提出了一种本地化解决方案，该解决方案依靠无人机相机图像匹配，以与训练有素的卷积神经网络模型进行地理参与的正射击图，该模型与相机图像和地图之间的季节性外观差异（冬季夏季）不变。我们将解决方案的收敛速度和本地化精度与六种参考方法进行比较。结果表明，参考方法的重大改善，尤其是在较高的季节性变化下。我们最终证明了该方法成功本地无人机的能力，表明所提出的方法对透视变化是可靠的。

Localization of autonomous unmanned aerial vehicles (UAVs) relies heavily on Global Navigation Satellite Systems (GNSS), which are susceptible to interference. Especially in security applications, robust localization algorithms independent of GNSS are needed to provide dependable operations of autonomous UAVs also in interfered conditions. Typical non-GNSS visual localization approaches rely on known starting pose, work only on a small-sized map, or require known flight paths before a mission starts. We consider the problem of localization with no information on initial pose or planned flight path. We propose a solution for global visual localization on a map at scale up to 100 km2, based on matching orthoprojected UAV images to satellite imagery using learned season-invariant descriptors. We show that the method is able to determine heading, latitude and longitude of the UAV at 12.6-18.7 m lateral translation error in as few as 23.2-44.4 updates from an uninformed initialization, also in situations of significant seasonal appearance difference (winter-summer) between the UAV image and the map. We evaluate the characteristics of multiple neural network architectures for generating the descriptors, and likelihood estimation methods that are able to provide fast convergence and low localization error. We also evaluate the operation of the algorithm using real UAV data and evaluate running time on a real-time embedded platform. We believe this is the first work that is able to recover the pose of an UAV at this scale and rate of convergence, while allowing significant seasonal difference between camera observations and map.

视觉摄像头是超越视觉线（B-VLOS）无人机操作的吸引人的设备，因为它们的尺寸，重量，功率和成本较低，并且可以为GPS失败提供多余的方式。但是，最新的视觉定位算法无法匹配由于照明或观点而导致外观明显不同的视觉数据。本文介绍了Isimloc，这是一种条件/观点一致的层次结构全局重新定位方法。 Isimloc的位置功能可用于在不断变化的外观和观点下搜索目标图像。此外，我们的分层全局重新定位模块以粗到精细的方式完善，使Isimloc可以执行快速准确的估计。我们在一个数据集上评估了我们的方法，其中具有外观变化和一个数据集，该数据集的重点是在复杂的环境中长期飞行进行大规模匹配。在我们的两个数据集中，Isimloc在1.5s推导时间的成功检索率达到88.7 \％和83.8 \％，而使用下一个最佳方法，为45.8％和39.7％。这些结果证明了在各种环境中的强大定位。

通过将从地面视图摄像头拍摄到从卫星或飞机上拍摄的架空图像的图像，通过将代理定位在搜索区域内，将代理定位在搜索区域内，将代理定位在搜索区域中。尽管地面图像和架空图像之间的观点差异使得跨视图地理定位具有挑战性，但假设地面代理可以使用全景相机，则取得了重大进展。例如，我们先前的工作（WAG）引入了搜索区域离散化，训练损失和粒子过滤器加权的变化，从而实现了城市规模的全景跨视图地理定位。但是，由于其复杂性和成本，全景相机并未在现有机器人平台中广泛使用。非Panoramic跨视图地理定位更适用于机器人技术，但也更具挑战性。本文介绍了受限的FOV广泛地理定位（Rewag），这是一种跨视图地理定位方法，通过创建姿势吸引的嵌入并提供将粒子姿势纳入暹罗网络，将其概括为与标准的非填充地面摄像机一起使用，以供与标准的非卧型地面摄像机一起使用。 Rewag是一种神经网络和粒子滤波器系统，能够在GPS下的环境中全球定位移动代理，仅具有探测仪和90度FOV摄像机，其本地化精度与使用全景相机实现并提高本地化精度相似的定位精度与基线视觉变压器（VIT）方法相比，100倍。一个视频亮点，该视频亮点在https://youtu.be/u_obqrt8qce上展示了几十公里的测试路径上的收敛。

Precise geolocalization is crucial for unmanned aerial vehicles (UAVs). However, most current deployed UAVs rely on the global navigation satellite systems (GNSS) or high precision inertial navigation systems (INS) for geolocalization. In this paper, we propose to use a lightweight visual-inertial system with a 2D georeference map to obtain accurate and consecutive geodetic positions for UAVs. The proposed system firstly integrates a micro inertial measurement unit (MIMU) and a monocular camera as odometry to consecutively estimate the navigation states and reconstruct the 3D position of the observed visual features in the local world frame. To obtain the geolocation, the visual features tracked by the odometry are further registered to the 2D georeferenced map. While most conventional methods perform image-level aerial image registration, we propose to align the reconstructed points to the map points in the geodetic frame; this helps to filter out the large portion of outliers and decouples the negative effects from the horizontal angles. The registered points are then used to relocalize the vehicle in the geodetic frame. Finally, a pose graph is deployed to fuse the geolocation from the aerial image registration and the local navigation result from the visual-inertial odometry (VIO) to achieve consecutive and drift-free geolocalization performance. We have validated the proposed method by installing the sensors to a UAV body rigidly and have conducted two flights in different environments with unknown initials. The results show that the proposed method can achieve less than 4m position error in flight at 100m high and less than 9m position error in flight about 300m high.

凭借在运动扫描系统生产的LIDAR点云注册的目的，我们提出了一种新颖的轨迹调整程序，可以利用重叠点云和关节集成之间所选可靠的3D点对应关系的自动提取。 （调整）与所有原始惯性和GNSS观察一起。这是使用紧密耦合的方式执行的动态网络方法来执行，这通过在传感器处的错误而不是轨迹等级来实现最佳补偿的轨迹。 3D对应关系被制定为该网络内的静态条件，并且利用校正的轨迹和可能在调整内确定的其他参数，以更高的精度生成注册点云。我们首先描述了选择对应关系以及将它们作为新观察模型作为动态网络插入的方法。然后，我们描述了对具有低成本MEMS惯性传感器的实用空气激光扫描场景中提出框架的性能进行评估。在进行的实验中，建议建立3D对应关系的方法在确定各种几何形状的点对点匹配方面是有效的，例如树木，建筑物和汽车。我们的结果表明，该方法提高了点云登记精度，否则在确定的平台姿态或位置（以标称和模拟的GNSS中断条件）中的错误受到强烈影响，并且可能仅使用总计的一小部分确定未知的触觉角度建立的3D对应数量。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

跨视图图像地理位置化通过将本地地面图像与高架卫星图像匹配而无需GPS，从而提供了代理的全局位置的估计。可靠地将地面图像与正确的卫星图像相匹配是具有挑战性的，因为这些图像具有显着的视点差异。现有的作品已经证明了在小区域的限制情景中的本地化，但尚未证明更广泛的定位。我们的方法称为广域地理定位（WAG），将神经网络与粒子过滤器相结合，以实现在GPS污染环境中移动的代理的全局位置估计，从而有效地扩展到城市尺度区域。 WAG引入了暹罗网络的三项损失函数，以稳健地匹配非中心的图像对，从而使较小的卫星图像数据库生成，从而使搜索区域的离散化。还提出了一种修改的粒子滤波器加权方案，以提高定位精度和收敛性。综上所述，WAG的网络训练和粒子滤清器加权方法达到了20米的阶段估计精度，与基线训练和加权方法相比，降低了98％。与文献的最新基线相比，WAG应用于较小的测试区域，将最终位置估计误差降低了64％。 WAG的搜索空间离散化可显着减少存储和处理要求。

This article proposes a method to diminish the pose (position plus attitude) drift experienced by an SVO (Semi-Direct Visual Odometry) based visual navigation system installed onboard a UAV (Unmanned Air Vehicle) by supplementing its pose estimation non linear optimizations with priors based on the outputs of a GNSS (Global Navigation Satellite System) Denied inertial navigation system. The method is inspired in a PI (Proportional Integral) control system, in which the attitude, altitude, and rate of climb inertial outputs act as targets to ensure that the visual estimations do not deviate far from their inertial counterparts. The resulting IA-VNS (Inertially Assisted Visual Navigation System) achieves major reductions in the horizontal position drift inherent to the GNSS-Denied navigation of autonomous fixed wing low SWaP (Size, Weight, and Power) UAVs. Additionally, the IA-VNS can be considered as a virtual incremental position (ground velocity) sensor capable of providing observations to the inertial filter. Stochastic high fidelity Monte Carlo simulations of two representative scenarios involving the loss of GNSS signals are employed to evaluate the results and to analyze their sensitivity to the terrain type overflown by the aircraft as well as to the quality of the onboard sensors on which the priors are based. The author releases the C ++ implementation of both the navigation algorithms and the high fidelity simulation as open-source software.

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

本文提出了一种新颖的地理跟踪方法，即通过在室外环境中进行连续的度量自我定位，通过注册车辆的传感器信息，以看不见的目标区域的空中图像。地理跟踪方法为取代全球导航卫星系统（GNSS）的嘈杂信号提供了潜力，并且昂贵且难以维护通常用于此目的的先前地图。所提出的地理跟踪方法将来自板载摄像机和LiDAR传感器的数据与地理注册的正射击对准，以连续定位车辆。我们在公制学习环境中训练模型，以从地面和空中图像中提取视觉特征。地面特征通过激光雷达点投影到自上而下的视角，并与空中特征相匹配，以确定车辆和正射击之间的相对姿势。我们的方法是第一个在端到端可区分模型中使用板载摄像机在看不见的正射击上进行度量自定位。它表现出强烈的概括，对环境的变化是强大的，并且只需要地理姿势作为地面真理。我们在Kitti-360数据集上评估我们的方法，并达到平均绝对位置误差（APE）为0.94m。我们进一步与Kitti Odometry数据集的先前方法进行了比较，并在地理跟踪任务上实现了最新结果。

本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果，报道了地下大满贯的现状。特别是，本文有四个主要目标。首先，我们审查团队采用的算法，架构和系统；特别重点是以激光雷达以激光雷达为中心的SLAM解决方案（几乎所有竞争中所有团队的首选方法），异质的多机器人操作（包括空中机器人和地面机器人）和现实世界的地下操作（从存在需要处理严格的计算约束的晦涩之处）。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节，这些系统通常会从技术论文中省略。其次，我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三，我们概述了我们认为是基本的开放问题，这些问题可能需要进一步的研究才能突破。最后，我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表，并构成了研究人员和从业人员的有用资源。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

农业行业不断寻求农业生产中涉及的不同过程的自动化，例如播种，收获和杂草控制。使用移动自主机器人执行这些任务引起了极大的兴趣。耕地面向同时定位和映射（SLAM）系统（移动机器人技术的关键）面临着艰巨的挑战，这是由于视觉上的难度，这是由于高度重复的场景而引起的。近年来，已经开发了几种视觉惯性遗传（VIO）和SLAM系统。事实证明，它们在室内和室外城市环境中具有很高的准确性。但是，在农业领域未正确评估它们。在这项工作中，我们从可耕地上的准确性和处理时间方面评估了最相关的最新VIO系统，以便更好地了解它们在这些环境中的行为。特别是，该评估是在我们的车轮机器人记录的大豆领域记录的传感器数据集中进行的，该田间被公开发行为Rosario数据集。评估表明，环境的高度重复性外观，崎terrain的地形产生的强振动以及由风引起的叶子的运动，暴露了当前最新的VIO和SLAM系统的局限性。我们分析了系统故障并突出观察到的缺点，包括初始化故障，跟踪损失和对IMU饱和的敏感性。最后，我们得出的结论是，即使某些系统（例如Orb-Slam3和S-MSCKF）在其他系统方面表现出良好的结果，但应采取更多改进，以使其在某些申请中的农业领域可靠，例如作物行的土壤耕作和农药喷涂。 。

在这项工作中，我们提出了一个端到端的异质多机器人系统框架，地面机器人能够在高空四个四极管实时创建的语义图中进行本地化，计划和导航。地面机器人在没有任何外部干预的情况下独立选择并解散目标。此外，他们通过使用语义将其本地地图与高架图匹配，执行跨视图本地化。通信主链是机会主义的，并且可以分配，使整个系统除了四型四型GPS之外没有外部基础架构，没有外部基础架构。我们通过在不同环境中的多个实验上执行不同的任务，通过执行不同的任务，对系统进行了广泛的测试。我们的地面机器人在现实世界中最少的干预和96公里的模拟无需干预即可自主行驶以上超过6公里。

我们提出了一种系统解决方案，以实现使用热图像和惯性测量的飞行机器人团队的数据效率，分散的状态估计。每个机器人可以独立飞行，并在可能的情况下交换数据以完善其状态估计。我们的系统前端应用在线光度校准以完善热图像，从而增强功能跟踪并放置识别。我们的系统后端使用协方差融合策略来忽略代理之间的互相关，以降低内存使用和计算成本。通信管道使用本地汇总的描述符（VLAD）的向量来构建需要较低带宽使用情况的请求响应策略。我们在合成数据和现实世界数据上测试我们的协作方法。我们的结果表明，相对于个人代理方法，该提出的方法最多可提高46％的轨迹估计，同时减少多达89％的通信交换。数据集和代码将发布给公众，扩展了已经发布的JPL XVIO库。

森林中自主冬季导航所固有的挑战包括缺乏可靠的全球导航卫星系统（GNSS）信号，低特征对比度，高照明变化和变化环境。这种类型的越野环境是一个极端的情况，自治车可能会在北部地区遇到。因此，了解对自动导航系统对这种恶劣环境的影响非常重要。为此，我们介绍了一个现场报告分析亚曲率区域中的教导和重复导航，同时受到气象条件的大变化。首先，我们描述了系统，它依赖于点云注册来通过北方林地定位移动机器人，同时构建地图。我们通过在教学和重复模式下在自动导航中进行了在实验中评估了该系统。我们展示了密集的植被扰乱了GNSS信号，使其不适合在森林径中导航。此外，我们突出了在森林走廊中使用点云登记的定位相关的不确定性。我们证明它不是雪降水，而是影响我们系统在环境中定位的能力的积雪。最后，我们从我们的实地运动中揭示了一些经验教训和挑战，以支持在冬季条件下更好的实验工作。