全球定位系统（GPS）已成为我们日常生活的一部分，其主要目标是提供地理位置服务。对于无人驾驶系统（UAS），地理定位能力是极为重要的必要性，使用惯性导航系统（INS）伴随着GPS的心脏而实现。没有地理位置服务，UAS将无法飞往目的地或回家。不幸的是，GPS信号可能会被堵塞，并在Urban Canyons中遇到多路径问题。我们的目标是提出一种替代方法，以降级或拒绝GPS信号时地理位置化UA。考虑到UAS在其平台上具有下降摄像头，可以在平台飞行时获得实时图像，因此我们将现代深度学习技术应用于地理定位。特别是，我们执行图像匹配，以在UAS获得的图像和卫星正尾之间建立潜在特征共轭物。特征匹配的典型应用遭受高层建筑物和该领域的新结构的影响，这些建筑物将不确定性引入同型估算中，因此导致地理定位性能差。取而代之的是，我们将GIS信息从OpenStreetMap（OSM）提取到语义段匹配的功能中，以纳入建筑物和地形类。 GIS掩码在选择语义匹配的功能时可以作为过滤器，从而增强了Coplanarity条件和UAS地理定位精度。发表论文后，我们的代码将在https://github.com/osupcvlab/ubiheredrone2021上公开获得。

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

现有方法以非可分子点检测关键点，因此它们不能直接通过背部传播优化关键点的位置。为解决此问题，我们呈现了一个可差异的关键点检测模块，其输出精确的子像素键点。然后提出了再分断损耗直接优化这些子像素键点，并且呈现了分散峰值损耗以获得准确的关键点正则化。我们还以子像素方式提取描述符，并通过稳定的神经输注误差丢失训练。此外，轻量化网络被设计用于关键点检测和描述符提取，其可以在商业GPU上以每秒95帧运行为95帧。在同性记估计，相机姿态估计和视觉（重新）定位任务中，所提出的方法通过最先进的方法实现了相同的性能，而大大减少了推理时间。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。

随着自动驾驶行业正在缓慢成熟，视觉地图本地化正在迅速成为尽可能准确定位汽车的标准方法。由于相机或激光镜等视觉传感器返回的丰富数据，研究人员能够构建具有各种细节的不同类型的地图，并使用它们来实现高水平的车辆定位准确性和在城市环境中的稳定性。与流行的SLAM方法相反，视觉地图本地化依赖于预先构建的地图，并且仅通过避免误差积累或漂移来提高定位准确性。我们将视觉地图定位定义为两个阶段的过程。在位置识别的阶段，通过将视觉传感器输出与一组地理标记的地图区域进行比较，可以确定车辆在地图中的初始位置。随后，在MAP指标定位的阶段，通过连续将视觉传感器的输出与正在遍历的MAP的当前区域进行对齐，对车辆在地图上移动时进行了跟踪。在本文中，我们调查，讨论和比较两个阶段的基于激光雷达，基于摄像头和跨模式的视觉图本地化的最新方法，以突出每种方法的优势。

关键点匹配是多个图像相关应用的关键组件，例如图像拼接，视觉同时定位和映射（SLAM）等。基于手工制作和最近出现的深度学习的关键点匹配方法仅依赖于关键点和本地功能，同时在上述应用中丢失其他可用传感器（如惯性测量单元（IMU））的视觉。在本文中，我们证明IMU集成的运动估计可用于利用图像之间的关键点之前的空间分布。为此，提出了一种注意力制剂的概率视角，以自然地将空间分布集成到注意力图神经网络中。在空间分布的帮助下，可以减少用于建模隐藏特征的网络的努力。此外，我们为所提出的关键点匹配网络提出了一个投影损耗，它在匹配和未匹配的关键点之间提供了平滑的边缘。图像匹配在Visual Slam数据集上的实验表明了呈现的方法的有效性和效率。

Visual localization is the task of estimating camera pose in a known scene, which is an essential problem in robotics and computer vision. However, long-term visual localization is still a challenge due to the environmental appearance changes caused by lighting and seasons. While techniques exist to address appearance changes using neural networks, these methods typically require ground-truth pose information to generate accurate image correspondences or act as a supervisory signal during training. In this paper, we present a novel self-supervised feature learning framework for metric visual localization. We use a sequence-based image matching algorithm across different sequences of images (i.e., experiences) to generate image correspondences without ground-truth labels. We can then sample image pairs to train a deep neural network that learns sparse features with associated descriptors and scores without ground-truth pose supervision. The learned features can be used together with a classical pose estimator for visual stereo localization. We validate the learned features by integrating with an existing Visual Teach & Repeat pipeline to perform closed-loop localization experiments under different lighting conditions for a total of 22.4 km.

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

本文介绍了一种新颖的端到端无人空中系统（UAS）导航方法，用于现实世界中的远程视觉导航。受到人类本能的双过程视觉导航系统的启发：环境理解和地标识别，我们将UAS导航任务分为两个相同的阶段。我们的系统结合了增强学习（RL）和图像匹配方法。首先，代理在指定环境中使用RL学习导航策略。为了实现这一目标，我们为培训过程设计了一个交互式的UASNAV环境。一旦代理商学习了导航政策，这意味着“熟悉环境”，我们就让UAS在现实世界中飞行，以使用图像匹配方法识别地标，并根据知识渊博的政策采取行动。在导航过程中，UAS嵌入单个相机作为唯一的视觉传感器。我们证明，UAS可以学习在现实世界中最短的道路上距离起点几百米的目的地。

点云注册是许多应用程序（例如本地化，映射，跟踪和重建）的基本任务。成功的注册依赖于提取鲁棒和歧视性的几何特征。现有的基于学习的方法需要高计算能力来同时处理大量原始点。尽管这些方法取得了令人信服的结果，但由于高计算成本，它们很难在现实情况下应用。在本文中，我们介绍了一个框架，该框架使用图形注意网络有效地从经济上提取密集的特征，以进行点云匹配和注册（DFGAT）。 DFGAT的检测器负责在大型原始数据集中找到高度可靠的关键点。 DFGAT的描述符将这些关键点与邻居相结合，以提取不变的密度特征，以准备匹配。图形注意力网络使用了丰富点云之间关系的注意机制。最后，我们将其视为最佳运输问题，并使用Sinkhorn算法找到正匹配和负面匹配。我们对KITTI数据集进行了彻底的测试，并评估了该方法的有效性。结果表明，与其他最先进的方法相比，使用有效紧凑的关键点选择和描述可以实现最佳性能匹配指标，并达到99.88％注册的最高成功率。

Localization of autonomous unmanned aerial vehicles (UAVs) relies heavily on Global Navigation Satellite Systems (GNSS), which are susceptible to interference. Especially in security applications, robust localization algorithms independent of GNSS are needed to provide dependable operations of autonomous UAVs also in interfered conditions. Typical non-GNSS visual localization approaches rely on known starting pose, work only on a small-sized map, or require known flight paths before a mission starts. We consider the problem of localization with no information on initial pose or planned flight path. We propose a solution for global visual localization on a map at scale up to 100 km2, based on matching orthoprojected UAV images to satellite imagery using learned season-invariant descriptors. We show that the method is able to determine heading, latitude and longitude of the UAV at 12.6-18.7 m lateral translation error in as few as 23.2-44.4 updates from an uninformed initialization, also in situations of significant seasonal appearance difference (winter-summer) between the UAV image and the map. We evaluate the characteristics of multiple neural network architectures for generating the descriptors, and likelihood estimation methods that are able to provide fast convergence and low localization error. We also evaluate the operation of the algorithm using real UAV data and evaluate running time on a real-time embedded platform. We believe this is the first work that is able to recover the pose of an UAV at this scale and rate of convergence, while allowing significant seasonal difference between camera observations and map.

我们提出了一种新颖的方法，可以可靠地估计相机的姿势，并在极端环境中获得的一系列图像，例如深海或外星地形。在这些挑战性条件下获得的数据被无纹理表面，图像退化以及重复性和高度模棱两可的结构所破坏。当天真地部署时，最先进的方法可能会在我们的经验分析确认的那些情况下失败。在本文中，我们试图在这些极端情况下使摄像机重新定位起作用。为此，我们提出：（i）一个分层定位系统，我们利用时间信息和（ii）一种新颖的环境感知图像增强方法来提高鲁棒性和准确性。我们广泛的实验结果表明，在两个极端环境下我们的方法有利于我们的方法：将自动的水下车辆定位，并将行星漫游者定位在火星样的沙漠中。此外，我们的方法仅使用20％的培训数据就可以在室内基准（7片数据集）上使用最先进的方法（7片数据集）实现可比性的性能。

小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。

作为智能机器人的一项基本任务，Visual Slam在过去几十年中取得了长足的进步。但是，在高度弱质地的环境下，强大的大满贯仍然非常具有挑战性。在本文中，我们提出了一个名为RWT-Slam的新型视觉大满贯系统，以解决这个问题。我们修改LOFTR网络，该网络能够在低纹理的场景下产生密集的点匹配以生成特征描述符。为了将新功能集成到流行的Orb-Slam框架中，我们开发了功能面具，以滤除不可靠的功能并采用KNN策略来增强匹配的鲁棒性。我们还对新的描述符进行了视觉词汇，以有效地循环结束。在TUM和Openloris等各种公共数据集以及我们自己的数据中测试了由此产生的RWT-SLAM。结果显示在高度弱质地的环境下表现非常有希望。

建筑高度估计在许多应用中都很重要，如3D城市重建，城市规划和导航。最近，提出了一种新的建筑物高度估计方法，使用街道场景图像和2D地图。该方法比使用昂贵的高分辨率光学数据，LIDAR数据或雷达数据来获得的传统方法更具可扩展。该方法需要通过针孔相机模型来检测建筑屋顶线，然后计算建筑物高度。我们观察到这种方法在处理复杂的街道场景图像中具有局限性，其中建筑物彼此重叠并且屋顶线难以定位。我们提出CBHE，考虑到建筑角落和屋顶线的建筑高度估计算法。 CBHE首先根据来自2D地图和相机参数的建筑占地面积获得街道场景图像中的建筑角和屋顶候选。然后，我们使用一个名为BuildionNet的深神经网络来分类和过滤角落和屋顶候选。基于来自建筑物的有效角落和屋顶线，CBHE通过针孔相机模型计算建筑物高度。实验结果表明，与最先进的开放式分类器相比，该建议的建筑物对建筑角和屋顶候选滤波的准确性提高了。同时，CBHE以建筑物高度估计精度超过10％以上的基线算法。

最近的高精度亚次光学光学扫描仪的开发允许将3D键盘检测器和功能描述符在海底环境中的点云扫描上利用。但是，文献缺乏一项全面的调查，无法确定在这些挑战和新颖的环境中使用的检测器和描述符的最佳组合。本文旨在使用使用商业水下激光扫描仪收集的具有挑战性的现场数据集确定最佳的检测器/描述符对。此外，研究表明，合并纹理信息扩展几何特征为合成数据集的特征匹配增添了鲁棒性。本文还提出了一种与水下激光扫描融合图像以产生有色点云的新方法，该方法用于研究6D点云描述符的有效性。

Visual odometry is crucial for many robotic tasks such as autonomous exploration and path planning. Despite many progresses, existing methods are still not robust enough to dynamic illumination environments. In this paper, we present AirVO, an illumination-robust and accurate stereo visual odometry system based on point and line features. To be robust to illumination variation, we introduce the learning-based feature extraction and matching method and design a novel VO pipeline, including feature tracking, triangulation, key-frame selection, and graph optimization etc. We also employ long line features in the environment to improve the accuracy of the system. Different from the traditional line processing pipelines in visual odometry systems, we propose an illumination-robust line tracking method, where point feature tracking and distribution of point and line features are utilized to match lines. In the experiments, the proposed system is extensively evaluated in environments with dynamic illumination and the results show that it achieves superior performance to the state-of-the-art algorithms.

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

We propose a 6D RGB-D odometry approach that finds the relative camera pose between consecutive RGB-D frames by keypoint extraction and feature matching both on the RGB and depth image planes. Furthermore, we feed the estimated pose to the highly accurate KinectFusion algorithm, which uses a fast ICP (Iterative Closest Point) to fine-tune the frame-to-frame relative pose and fuse the depth data into a global implicit surface. We evaluate our method on a publicly available RGB-D SLAM benchmark dataset by Sturm et al. The experimental results show that our proposed reconstruction method solely based on visual odometry and KinectFusion outperforms the state-of-the-art RGB-D SLAM system accuracy. Moreover, our algorithm outputs a ready-to-use polygon mesh (highly suitable for creating 3D virtual worlds) without any postprocessing steps.