视觉摄像头是超越视觉线（B-VLOS）无人机操作的吸引人的设备，因为它们的尺寸，重量，功率和成本较低，并且可以为GPS失败提供多余的方式。但是，最新的视觉定位算法无法匹配由于照明或观点而导致外观明显不同的视觉数据。本文介绍了Isimloc，这是一种条件/观点一致的层次结构全局重新定位方法。 Isimloc的位置功能可用于在不断变化的外观和观点下搜索目标图像。此外，我们的分层全局重新定位模块以粗到精细的方式完善，使Isimloc可以执行快速准确的估计。我们在一个数据集上评估了我们的方法，其中具有外观变化和一个数据集，该数据集的重点是在复杂的环境中长期飞行进行大规模匹配。在我们的两个数据集中，Isimloc在1.5s推导时间的成功检索率达到88.7 \％和83.8 \％，而使用下一个最佳方法，为45.8％和39.7％。这些结果证明了在各种环境中的强大定位。

位置识别是可以协助同时定位和映射（SLAM）进行循环闭合检测和重新定位以进行长期导航的基本模块。在过去的20美元中，该地点认可社区取得了惊人的进步，这吸引了在计算机视觉和机器人技术等多个领域的广泛研究兴趣和应用。但是，在复杂的现实世界情景中，很少有方法显示出有希望的位置识别性能，在复杂的现实世界中，长期和大规模的外观变化通常会导致故障。此外，在最先进的方法之间缺乏集成框架，可以应对所有挑战，包括外观变化，观点差异，对未知区域的稳健性以及现实世界中的效率申请。在这项工作中，我们调查针对长期本地化并讨论未来方向和机会的最先进方法。首先，我们研究了长期自主权中的位置识别以及在现实环境中面临的主要挑战。然后，我们回顾了最新的作品，以应对各种位置识别挑战的不同传感器方式和当前的策略的认可。最后，我们回顾了现有的数据集以进行长期本地化，并为不同的方法介绍了我们的数据集和评估API。本文可以成为该地点识别界新手的研究人员以及关心长期机器人自主权的研究人员。我们还对机器人技术中的常见问题提供了意见：机器人是否需要准确的本地化来实现长期自治？这项工作以及我们的数据集和评估API的摘要可向机器人社区公开，网址为：https：//github.com/metaslam/gprs。

我们提出了BioSlam，这是一个终生的SLAM框架，用于逐步学习各种新出现，并在先前访问的地区保持准确的位置识别。与人类不同，人工神经网络遭受灾难性遗忘的困扰，并在接受新来者训练时可能会忘记先前访问的地区。对于人类而言，研究人员发现，大脑中存在一种记忆重播机制，可以使神经元保持活跃。受到这一发现的启发，Bioslam设计了一个封闭式的生成重播，以根据反馈奖励来控制机器人的学习行为。具体而言，BioSlam提供了一种新型的双记忆机制来维护：1）动态记忆有效地学习新观察结果，以及2）平衡新老知识的静态记忆。当与基于视觉/激光雷达的SLAM系统结合使用时，完整的处理管道可以帮助代理逐步更新位置识别能力，从而强大，从而增强长期位置识别的复杂性。我们在两个渐进式猛击场景中展示了Bioslam。在第一种情况下，基于激光雷达的特工不断穿越具有120公里轨迹的城市尺度环境，并遇到了不同类型的3D几何形状（开放街，住宅区，商业建筑）。我们表明，BioSlam可以逐步更新代理商的位置识别能力，并优于最先进的增量方法，即生成重播24％。在第二种情况下，基于激光镜的代理商在4.5公里的轨迹上反复穿越校园规模区域。 Bioslam可以保证在不同外观下的最先进方法上优于15％的地方识别精度。据我们所知，BioSlam是第一个具有记忆力增强的终身大满贯系统，可以帮助长期导航任务中的逐步识别。

我们提出Automerge，这是一种LIDAR数据处理框架，用于将大量地图段组装到完整的地图中。传统的大规模地图合并方法对于错误的数据关联是脆弱的，并且主要仅限于离线工作。 Automerge利用多观点的融合和自适应环路闭合检测来进行准确的数据关联，并且它使用增量合并来从随机顺序给出的单个轨迹段组装大图，没有初始估计。此外，在组装段后，自动制度可以执行良好的匹配和姿势图片优化，以在全球范围内平滑合并的地图。我们展示了城市规模合并（120公里）和校园规模重复合并（4.5公里x 8）的汽车。该实验表明，自动化（i）在段检索中超过了第二和第三最佳方法的14％和24％的召回，（ii）在120 km大尺度地图组件（III）中实现了可比较的3D映射精度，IT对于暂时的重新审视是强大的。据我们所知，Automerge是第一种映射方法，它可以在无GPS的帮助下合并数百公里的单个细分市场。

基于激光雷达的本地化方法是用于大规模导航任务的基本模块，例如最后一英里交付和自动驾驶，并且本地化鲁棒性高度依赖于观点和3D功能提取。我们以前的工作提供了一个观点不变的描述符来处理观点差异；但是，全局描述符在无监督聚类中的信号噪声比率低，从而降低了可区分的特征提取能力。我们开发了SphereVlad ++，这是这项工作中一种引起注意的观点不变的位置识别方法。 SphereVlad ++在每个唯一区域的球形视角上投射点云，并通过全局3D几何分布捕获本地特征及其依赖关系之间的上下文连接。作为回报，全局描述符中的群集元素以本地和全球几何形式为条件，并支持SphereVlad的原始视点不变属性。在实验中，我们评估了SphereVlad ++在匹兹堡市的公共Kitti360数据集和自我生成的数据集上的本地化性能。实验结果表明，SphereVlad ++在小甚至完全逆转的视点差异下优于所有相对最新的3D位置识别方法，并显示0.69％和15.81％的成功检索率，比第二好的检索率更好。低计算要求和高时间效率也有助于其用于低成本机器人的应用。

没有全球导航卫星系统（GNSS）的本地化是无人驾驶汽车（UAVS）自动操作中的关键功能。在已知地图上基于视觉的本地化可以是一个有效的解决方案，但是它受到两个主要问题的负担：根据天气和季节的不同，位置的外观不同，以及无人机相机图像和地图之间的透视差异使匹配变得难以匹配。在这项工作中，我们提出了一种本地化解决方案，该解决方案依靠无人机相机图像匹配，以与训练有素的卷积神经网络模型进行地理参与的正射击图，该模型与相机图像和地图之间的季节性外观差异（冬季夏季）不变。我们将解决方案的收敛速度和本地化精度与六种参考方法进行比较。结果表明，参考方法的重大改善，尤其是在较高的季节性变化下。我们最终证明了该方法成功本地无人机的能力，表明所提出的方法对透视变化是可靠的。

Localization of autonomous unmanned aerial vehicles (UAVs) relies heavily on Global Navigation Satellite Systems (GNSS), which are susceptible to interference. Especially in security applications, robust localization algorithms independent of GNSS are needed to provide dependable operations of autonomous UAVs also in interfered conditions. Typical non-GNSS visual localization approaches rely on known starting pose, work only on a small-sized map, or require known flight paths before a mission starts. We consider the problem of localization with no information on initial pose or planned flight path. We propose a solution for global visual localization on a map at scale up to 100 km2, based on matching orthoprojected UAV images to satellite imagery using learned season-invariant descriptors. We show that the method is able to determine heading, latitude and longitude of the UAV at 12.6-18.7 m lateral translation error in as few as 23.2-44.4 updates from an uninformed initialization, also in situations of significant seasonal appearance difference (winter-summer) between the UAV image and the map. We evaluate the characteristics of multiple neural network architectures for generating the descriptors, and likelihood estimation methods that are able to provide fast convergence and low localization error. We also evaluate the operation of the algorithm using real UAV data and evaluate running time on a real-time embedded platform. We believe this is the first work that is able to recover the pose of an UAV at this scale and rate of convergence, while allowing significant seasonal difference between camera observations and map.

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

尽管外观和观点的显着变化，视觉地点识别（VPR）通常是能够识别相同的地方。 VPR是空间人工智能的关键组成部分，使机器人平台和智能增强平台，例如增强现实设备，以察觉和理解物理世界。在本文中，我们观察到有三个“驱动程序”，它对空间智能代理有所要求，因此vpr系统：1）特定代理包括其传感器和计算资源，2）该代理的操作环境，以及3）人造工具执行的具体任务。在本文中，考虑到这些驱动因素，包括他们的位置代表和匹配选择，在VPR区域中表征和调查关键作品。我们还基于视觉重叠的VPR提供了一种新的VPR - 类似于大脑中的空间视图单元格 - 这使我们能够找到对机器人和计算机视觉领域的其他研究领域的相似之处和差异。我们确定了许多开放的挑战，并建议未来工作需要更深入的关注的领域。

In this paper, we present a novel visual SLAM and long-term localization benchmark for autonomous driving in challenging conditions based on the large-scale 4Seasons dataset. The proposed benchmark provides drastic appearance variations caused by seasonal changes and diverse weather and illumination conditions. While significant progress has been made in advancing visual SLAM on small-scale datasets with similar conditions, there is still a lack of unified benchmarks representative of real-world scenarios for autonomous driving. We introduce a new unified benchmark for jointly evaluating visual odometry, global place recognition, and map-based visual localization performance which is crucial to successfully enable autonomous driving in any condition. The data has been collected for more than one year, resulting in more than 300 km of recordings in nine different environments ranging from a multi-level parking garage to urban (including tunnels) to countryside and highway. We provide globally consistent reference poses with up to centimeter-level accuracy obtained from the fusion of direct stereo-inertial odometry with RTK GNSS. We evaluate the performance of several state-of-the-art visual odometry and visual localization baseline approaches on the benchmark and analyze their properties. The experimental results provide new insights into current approaches and show promising potential for future research. Our benchmark and evaluation protocols will be available at https://www.4seasons-dataset.com/.

位置识别在机器人和车辆的重新定位和循环封闭检测任务中起着至关重要的作用。本文为基于激光雷达的位置识别寻求明确定义的全球描述符。与本地描述符相比，全球描述符在城市道路场景中表现出色，但通常依赖于观点。为此，我们提出了一个简单而坚固的全局描述符，称为壁画，通过利用傅立叶变换和圆形转移技术，可以分解重新访问期间的视点差异，并实现翻译和旋转不变性。此外，还提出了一种快速的两阶段姿势估计方法，以利用从场景中提取的紧凑型2D点云来估计位置回收后的相对姿势。实验表明，在来自多个数据集的不同场景的序列上，壁画表现出比同期方法表现出更好的性能。该代码将在https://github.com/soytony/fresco上公开获取。

对于长期自治，大多数位置识别方法主要在简化的方案或模拟数据集上进行评估，该数据集无法提供可靠的证据来评估当前同时定位和映射的准备就绪（SLAM）。在本文中，我们提出了一个长期的位置识别数据集，用于在大规模动态环境下用于移动定位。该数据集包括一个校园规模的轨道和城市规模的轨道：1）校园轨道重点关注长期财产，我们在10个轨迹上记录Lidar设备和一个全向相机，并且每个轨迹在变体下重复记录8次照明条件。 2）城市轨道聚焦大型物业，我们将激光雷达设备安装在车辆上，并穿过120公里种类在城市环境中。每个轨迹都提供了两个轨道的地面真实位置，这是从全球位置系统中获得的，具有额外的基于ICP的点云的细化。为了简化评估程序，我们还为Python-API提供了一组地点识别指标，以快速加载我们的数据集并根据不同方法评估识别性能。该数据集的目标是寻找具有高位置识别精度和鲁棒性的方法，并提供长期自治的真正机器人系统。可以从https://github.com/metaslam/alita访问数据集和提供的工具。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

自动驾驶汽车的现有空间定位技术主要使用预先建造的3D-HD地图，通常使用调查级3D映射车制造，这不仅昂贵，而且还费力。本文表明，通过使用现成的高清卫星图像作为现成的地图，我们能够实现跨视图的定位，直至令人满意的精度，从而提供了更便宜，更实用的方法本土化。尽管将卫星图像用于跨视图本地化的想法并不是什么新鲜事物，但以前的方法几乎只将任务视为图像检索，即将车辆捕获的地面视图与卫星图像匹配。本文提出了一种新颖的跨视图定位方法，该方法与图像检索的共同智慧背道而驰。具体而言，我们的方法开发（1）几何形状 - 分配特征提取器（GAFE），该提取器（GAFE）利用了3D点来弥合地面视图和高架视图之间的几何差距，（2）采用三重态分支，以鼓励姿势感知的特征提取，（3）使用Levenberg-Marquardt（LM）算法的递归姿势精炼分支（RPRB），将初始姿势与真实车辆的效果对齐。我们的方法在Kitti和Ford Multi-AV季节性数据集上被验证为地面视图和Google Maps作为卫星视图。结果表明，我们的方法在跨视图定位方面具有优势，分别在1米和$ 2^\ circ $之内与空间和角度误差。该代码将公开可用。

由于点云数据的稀缺性质，在大规模环境中使用激光雷达识别使用激光雷达的地方是具有挑战性的。在本文中，我们提出了BVMATCH，基于LIDAR的帧到帧位置识别框架，其能够估计2D相对姿势。基于地面区域可以近似作为平面的假设，我们将地面区域统一地分散到网格和项目3D LIDAR扫描到鸟瞰图（BV）图像。我们进一步使用了一组Log-Gabor过滤器来构建一个最大索引图（MIM），用于编码图像中结构的方向信息。我们从理论上分析MIM的方向特征，并引入了一种名为鸟瞰图特征变换（BVFT）的新颖描述符。所提出的BVFT对BV图像的旋转和强度变化不敏感。利用BVFT描述符，统一LIDAR将识别和将估算任务统一到BVMATCT框架中。在三个大规模数据集上进行的实验表明，BVMATCH在召回的位置识别和姿势估计精度的召回速率方面优于最先进的方法。

由于它可能对粮食安全，可持续性，资源利用效率，化学处理的降低以及人类努力和产量的优化，因此，自主机器人在农业中的应用正在越来越受欢迎。有了这一愿景，蓬勃发展的研究项目旨在开发一种适应性的机器人解决方案，用于精确耕作，该解决方案结合了小型自动无人驾驶飞机（UAV）（UAV）的空中调查能力以及由多功能无人驾驶的无人接地车（UGV）执行的针对性干预措施。本文概述了该项目中获得的科学和技术进步和结果。我们引入了多光谱感知算法以及空中和地面系统，用于监测农作物密度，杂草压力，作物氮营养状况，并准确地对杂草进行分类和定位。然后，我们介绍了针对我们在农业环境中机器人身份量身定制的导航和映射系统，以及用于协作映射的模块。我们最终介绍了我们在不同的现场条件和不同农作物中实施和测试的地面干预硬件，软件解决方案以及接口。我们描述了一个真正的用例，在该案例中，无人机与UGV合作以监视该领域并进行选择性喷涂而无需人工干预。

我们提出了一种视觉本地化系统，这些系统在合成数据的帮助下学习在现实世界中估算相机姿势。尽管近年来取得了重大进展，但大多数基于学习的学习方法在单个域中的视觉定位目标，并需要良好的地理标记图像的密集数据库运行。为了减轻数据稀缺问题并提高神经定位模型的可扩展性，我们介绍了Topo-Datagen，这是一个多功能合成数据生成工具，在真实和虚拟世界之间平稳地遍历，铰接在地理相机视点。建议新的大型SIM-to-Real基准数据集展示并评估所述合成数据的效用。我们的实验表明，合成数据在实际上提高了真实数据的神经网络性能。此外，我们介绍Crossloc，一种跨模型视觉表示学习方法来姿态估计，可以通过自我监督充分利用现场坐标地面真理。在没有任何额外数据的情况下，Crossloc显着优于最先进的方法，并实现了更高的实际数据样本效率。我们的代码可在https://github.com/topo-epfl/crossloc获得。

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

强大而准确的本地化是移动自主系统的基本要求。类似杆状的物体，例如交通标志，杆子和灯，由于其局部独特性和长期稳定性，经常使用地标在城市环境中定位。在本文中，我们基于在线运行并且几乎没有计算需求的几何特征，提出了一种新颖，准确，快速的杆提取方法。我们的方法直接对3D LIDAR扫描生成的范围图像执行所有计算，该图像避免了显式处理3D点云，并为每次扫描启用快速的极点提取。我们进一步使用提取的杆子作为伪标签来训练深层神经网络，以基于图像的极点分割。我们测试了我们的几何和基于学习的极点提取方法，用于在不同的扫描仪，路线和季节性变化的不同数据集上定位。实验结果表明，我们的方法表现优于其他最先进的方法。此外，通过从多个数据集提取的伪极标签增强，我们基于学习的方法可以跨不同的数据集运行，并且与基于几何的方法相比，可以实现更好的本地化结果。我们向公众发布了杆数据集，以评估杆的性能以及我们的方法的实施。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。