Advanced visual localization techniques encompass image retrieval challenges and 6 Degree-of-Freedom (DoF) camera pose estimation, such as hierarchical localization. Thus, they must extract global and local features from input images. Previous methods have achieved this through resource-intensive or accuracy-reducing means, such as combinatorial pipelines or multi-task distillation. In this study, we present a novel method called SuperGF, which effectively unifies local and global features for visual localization, leading to a higher trade-off between localization accuracy and computational efficiency. Specifically, SuperGF is a transformer-based aggregation model that operates directly on image-matching-specific local features and generates global features for retrieval. We conduct experimental evaluations of our method in terms of both accuracy and efficiency, demonstrating its advantages over other methods. We also provide implementations of SuperGF using various types of local features, including dense and sparse learning-based or hand-crafted descriptors.

视觉地位识别是自主驾驶导航和移动机器人定位等应用的具有挑战性的任务。分散注意力在复杂的场景中呈现的元素经常导致视觉场所的感知偏差。为了解决这个问题，必须将信息与任务相关区域中的信息集成到图像表示中至关重要。在本文中，我们介绍了一种基于视觉变压器的新型整体地点识别模型，TransVPR。它受益于变形金刚的自我关注操作的理想性能，这可以自然地聚合任务相关的特征。从多个级别的变压器的关注，重点关注不同的感兴趣区域，以产生全球图像表示。另外，由熔融注意掩模过滤的变压器层的输出令牌被认为是密钥贴片描述符，用于执行空间匹配以重新排名通过全局图像特征检索的候选。整个模型允许具有单个目标和图像级监控的端到端培训。 TransVPR在几个现实世界基准上实现最先进的性能，同时保持低计算时间和存储要求。

We introduce a lightweight network to improve descriptors of keypoints within the same image. The network takes the original descriptors and the geometric properties of keypoints as the input, and uses an MLP-based self-boosting stage and a Transformer-based cross-boosting stage to enhance the descriptors. The enhanced descriptors can be either real-valued or binary ones. We use the proposed network to boost both hand-crafted (ORB, SIFT) and the state-of-the-art learning-based descriptors (SuperPoint, ALIKE) and evaluate them on image matching, visual localization, and structure-from-motion tasks. The results show that our method significantly improves the performance of each task, particularly in challenging cases such as large illumination changes or repetitive patterns. Our method requires only 3.2ms on desktop GPU and 27ms on embedded GPU to process 2000 features, which is fast enough to be applied to a practical system.

本地功能匹配是在子像素级别上的计算密集任务。尽管基于检测器的方法和特征描述符在低文本场景中遇到了困难，但具有顺序提取到匹配管道的基于CNN的方法无法使用编码器的匹配能力，并且倾向于覆盖用于匹配的解码器。相比之下，我们提出了一种新型的层次提取和匹配变压器，称为火柴场。在层次编码器的每个阶段，我们将自我注意事项与特征提取和特征匹配的交叉注意相结合，从而产生了人直觉提取和匹配方案。这种匹配感知的编码器释放了过载的解码器，并使该模型高效。此外，将自我交叉注意在分层体系结构中的多尺度特征结合起来，可以提高匹配的鲁棒性，尤其是在低文本室内场景或更少的室外培训数据中。得益于这样的策略，MatchFormer是效率，鲁棒性和精度的多赢解决方案。与以前的室内姿势估计中的最佳方法相比，我们的Lite MatchFormer只有45％的Gflops，但获得了 +1.3％的精度增益和41％的运行速度提升。大型火柴构造器以四个不同的基准达到最新的基准，包括室内姿势估计（SCANNET），室外姿势估计（Megadepth），同型估计和图像匹配（HPATCH）和视觉定位（INLOC）。

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

视觉定位通过使用查询图像和地图之间的对应分析来解决估计摄像机姿势的挑战。此任务是计算和数据密集型，这在彻底评估各种数据集上的方法攻击挑战。然而，为了进一步进一步前进，我们声称应该在覆盖广域品种的多个数据集上进行稳健的视觉定位算法。为了促进这一点，我们介绍了Kapture，一种新的，灵活，统一的数据格式和工具箱，用于视觉本地化和结构 - 来自运动（SFM）。它可以轻松使用不同的数据集以及有效和可重复使用的数据处理。为了证明这一点，我们提出了一种多功能管道，用于视觉本地化，促进使用不同的本地和全局特征，3D数据（例如深度图），非视觉传感器数据（例如IMU，GPS，WiFi）和各种处理算法。使用多种管道配置，我们在我们的实验中显示出Kapture的巨大功能性。此外，我们在八个公共数据集中评估我们的方法，在那里他们排名第一，并在其中许多上排名第一。为了促进未来的研究，我们在允许BSD许可证下释放本文中使用的代码，模型和本文中使用的所有数据集。 github.com/naver/kapture，github.com/naver/kapture-localization.

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods. Code is available at our project page: https://zju3dv.github.io/loftr/.

本地图像功能匹配，旨在识别图像对的识别和相应的相似区域，是计算机视觉中的重要概念。大多数现有的图像匹配方法遵循一对一的分配原则，并采用共同最近的邻居来确保跨图像之间本地特征之间的独特对应关系。但是，来自不同条件的图像可能会容纳大规模变化或观点多样性，以便一对一的分配可能在密集匹配中导致模棱两可或丢失的表示形式。在本文中，我们介绍了一种新颖的无探测器本地特征匹配方法Adamatcher，该方法首先通过轻巧的特征交互模块与密集的特征相关联，并估算了配对图像的可见面积，然后执行贴片级多到 - 一个分配可以预测匹配建议，并最终根据一对一的完善模块进行完善。广泛的实验表明，Adamatcher的表现优于固体基线，并在许多下游任务上实现最先进的结果。此外，多对一分配和一对一的完善模块可以用作其他匹配方法（例如Superglue）的改进网络，以进一步提高其性能。代码将在出版时提供。

This paper introduces SuperGlue, a neural network that matches two sets of local features by jointly finding correspondences and rejecting non-matchable points. Assignments are estimated by solving a differentiable optimal transport problem, whose costs are predicted by a graph neural network. We introduce a flexible context aggregation mechanism based on attention, enabling SuperGlue to reason about the underlying 3D scene and feature assignments jointly. Compared to traditional, hand-designed heuristics, our technique learns priors over geometric transformations and regularities of the 3D world through end-to-end training from image pairs. SuperGlue outperforms other learned approaches and achieves state-of-the-art results on the task of pose estimation in challenging real-world indoor and outdoor environments. The proposed method performs matching in real-time on a modern GPU and can be readily integrated into modern SfM or SLAM systems. The code and trained weights are publicly available at github.com/magicleap/SuperGluePretrainedNetwork.

近年来，已经产生了大量的视觉内容，并从许多领域共享，例如社交媒体平台，医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战，特别是在寻找类似内容内容的图像检索（CBIR）-A的数据库中，即长期建立的研究区域，其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展，并大大促进了实例搜索过程。在本调查中，我们审查了最近基于深度学习算法和技术开发的实例检索工作，通过深网络架构类型，深度功能，功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法，在那里，我们识别里程碑工作，揭示各种方法之间的联系，并呈现常用的基准，评估结果，共同挑战，并提出未来的未来方向。

在3D视觉中，视觉重新定位已被广泛讨论：鉴于预构建的3D视觉图，估计查询图像的6 DOF（自由度）姿势。大规模室内环境中的重新定位可实现有吸引力的应用程序，例如增强现实和机器人导航。但是，当相机移动时，在这种环境中，外观变化很快，这对于重新定位系统来说是具有挑战性的。为了解决这个问题，我们建议一种基于虚拟视图综合方法Rendernet，以丰富有关此特定情况的数据库和完善姿势。我们选择直接渲染虚拟观点的必要全局和本地特征，而不是渲染需要高质量3D模型的真实图像，并分别将它们应用于后续图像检索和功能匹配操作中。所提出的方法在很大程度上可以改善大规模室内环境中的性能，例如，在INLOC数据集中获得7.1 \％和12.2 \％的改善。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

近年来，机器人社区已经广泛检查了关于同时定位和映射应用范围内的地点识别任务的方法。这篇文章提出了一种基于外观的循环闭合检测管道，命名为“fild ++”（快速和增量环闭合检测） .First，系统由连续图像馈送，并且通过通过单个卷积神经网络通过两次，通过单个卷积神经网络来提取全局和局部深度特征。灵活，分级导航的小世界图逐步构建表示机器人遍历路径的可视数据库基于计算的全局特征。最后，每个时间步骤抓取查询映像，被设置为在遍历的路线上检索类似的位置。遵循的图像到图像配对，它利用本地特征来评估空间信息。因此，在拟议的文章中，我们向全球和本地特征提取提出了一个网络与我们之前的一个网络工作（FILD），而在生成的深度本地特征上采用了彻底搜索验证过程，避免利用哈希代码。关于11个公共数据集的详尽实验表现出系统的高性能（实现其中八个的最高召回得分）和低执行时间（在新学院平均22.05毫秒，这是与其他国家相比包含52480图像的最大版本） - 最艺术方法。

人类的姿势估计旨在弄清不同场景中所有人的关键。尽管结果有希望，但目前的方法仍然面临一些挑战。现有的自上而下的方法单独处理一个人，而没有不同的人与所在的场景之间的相互作用。因此，当发生严重闭塞时，人类检测的表现会降低。另一方面，现有的自下而上方法同时考虑所有人，并捕获整个图像的全局知识。但是，由于尺度变化，它们的准确性不如自上而下的方法。为了解决这些问题，我们通过整合自上而下和自下而上的管道来探索不同接受场的视觉线索并实现其互补性，提出了一种新颖的双皮线整合变压器（DPIT）。具体而言，DPIT由两个分支组成，自下而上的分支介绍了整个图像以捕获全局视觉信息，而自上而下的分支则从单人类边界框中提取本地视觉的特征表示。然后，从自下而上和自上而下的分支中提取的特征表示形式被馈入变压器编码器，以交互融合全局和本地知识。此外，我们定义了关键点查询，以探索全景和单人类姿势视觉线索，以实现两个管道的相互互补性。据我们所知，这是将自下而上和自上而下管道与变压器与人类姿势估计的变压器相结合的最早作品之一。关于可可和MPII数据集的广泛实验表明，我们的DPIT与最先进的方法相当。

在许多视觉应用程序中，查找跨图像的对应是一项重要任务。最新的最新方法着重于以粗到精细的方式设计的基于端到端学习的架构。他们使用非常深的CNN或多块变压器来学习强大的表示，这需要高计算能力。此外，这些方法在不理解对象，图像内部形状的情况下学习功能，因此缺乏解释性。在本文中，我们提出了一个用于图像匹配的体系结构，该体系结构高效，健壮且可解释。更具体地说，我们介绍了一个名为toblefm的新型功能匹配模块，该模块可以大致将图像跨图像的空间结构大致组织到一个主题中，然后扩大每个主题内部的功能以进行准确的匹配。为了推断主题，我们首先学习主题的全局嵌入，然后使用潜在变量模型来检测图像结构将图像结构分配到主题中。我们的方法只能在共同可见性区域执行匹配以减少计算。在室外和室内数据集中进行的广泛实验表明，我们的方法在匹配性能和计算效率方面优于最新方法。该代码可在https://github.com/truongkhang/topicfm上找到。

This work addresses cross-view camera pose estimation, i.e., determining the 3-DoF camera pose of a given ground-level image w.r.t. an aerial image of the local area. We propose SliceMatch, which consists of ground and aerial feature extractors, feature aggregators, and a pose predictor. The feature extractors extract dense features from the ground and aerial images. Given a set of candidate camera poses, the feature aggregators construct a single ground descriptor and a set of rotational equivariant pose-dependent aerial descriptors. Notably, our novel aerial feature aggregator has a cross-view attention module for ground-view guided aerial feature selection, and utilizes the geometric projection of the ground camera's viewing frustum on the aerial image to pool features. The efficient construction of aerial descriptors is achieved by using precomputed masks and by re-assembling the aerial descriptors for rotated poses. SliceMatch is trained using contrastive learning and pose estimation is formulated as a similarity comparison between the ground descriptor and the aerial descriptors. SliceMatch outperforms the state-of-the-art by 19% and 62% in median localization error on the VIGOR and KITTI datasets, with 3x FPS of the fastest baseline.

Sparse local feature extraction is usually believed to be of important significance in typical vision tasks such as simultaneous localization and mapping, image matching and 3D reconstruction. At present, it still has some deficiencies needing further improvement, mainly including the discrimination power of extracted local descriptors, the localization accuracy of detected keypoints, and the efficiency of local feature learning. This paper focuses on promoting the currently popular sparse local feature learning with camera pose supervision. Therefore, it pertinently proposes a Shared Coupling-bridge scheme with four light-weight yet effective improvements for weakly-supervised local feature (SCFeat) learning. It mainly contains: i) the \emph{Feature-Fusion-ResUNet Backbone} (F2R-Backbone) for local descriptors learning, ii) a shared coupling-bridge normalization to improve the decoupling training of description network and detection network, iii) an improved detection network with peakiness measurement to detect keypoints and iv) the fundamental matrix error as a reward factor to further optimize feature detection training. Extensive experiments prove that our SCFeat improvement is effective. It could often obtain a state-of-the-art performance on classic image matching and visual localization. In terms of 3D reconstruction, it could still achieve competitive results. For sharing and communication, our source codes are available at https://github.com/sunjiayuanro/SCFeat.git.

我们提出了一种新颖的方法，可以可靠地估计相机的姿势，并在极端环境中获得的一系列图像，例如深海或外星地形。在这些挑战性条件下获得的数据被无纹理表面，图像退化以及重复性和高度模棱两可的结构所破坏。当天真地部署时，最先进的方法可能会在我们的经验分析确认的那些情况下失败。在本文中，我们试图在这些极端情况下使摄像机重新定位起作用。为此，我们提出：（i）一个分层定位系统，我们利用时间信息和（ii）一种新颖的环境感知图像增强方法来提高鲁棒性和准确性。我们广泛的实验结果表明，在两个极端环境下我们的方法有利于我们的方法：将自动的水下车辆定位，并将行星漫游者定位在火星样的沙漠中。此外，我们的方法仅使用20％的培训数据就可以在室内基准（7片数据集）上使用最先进的方法（7片数据集）实现可比性的性能。

Transformers are powerful visual learners, in large part due to their conspicuous lack of manually-specified priors. This flexibility can be problematic in tasks that involve multiple-view geometry, due to the near-infinite possible variations in 3D shapes and viewpoints (requiring flexibility), and the precise nature of projective geometry (obeying rigid laws). To resolve this conundrum, we propose a "light touch" approach, guiding visual Transformers to learn multiple-view geometry but allowing them to break free when needed. We achieve this by using epipolar lines to guide the Transformer's cross-attention maps, penalizing attention values outside the epipolar lines and encouraging higher attention along these lines since they contain geometrically plausible matches. Unlike previous methods, our proposal does not require any camera pose information at test-time. We focus on pose-invariant object instance retrieval, where standard Transformer networks struggle, due to the large differences in viewpoint between query and retrieved images. Experimentally, our method outperforms state-of-the-art approaches at object retrieval, without needing pose information at test-time.

In this paper, we propose an end-to-end framework that jointly learns keypoint detection, descriptor representation and cross-frame matching for the task of image-based 3D localization. Prior art has tackled each of these components individually, purportedly aiming to alleviate difficulties in effectively train a holistic network. We design a self-supervised image warping correspondence loss for both feature detection and matching, a weakly-supervised epipolar constraints loss on relative camera pose learning, and a directional matching scheme that detects key-point features in a source image and performs coarse-to-fine correspondence search on the target image. We leverage this framework to enforce cycle consistency in our matching module. In addition, we propose a new loss to robustly handle both definite inlier/outlier matches and less-certain matches. The integration of these learning mechanisms enables end-to-end training of a single network performing all three localization components. Bench-marking our approach on public data-sets, exemplifies how such an end-to-end framework is able to yield more accurate localization that out-performs both traditional methods as well as state-of-the-art weakly supervised methods.