对绝对姿势回归剂（APR）网络进行训练，以估计给定捕获图像的相机姿势。他们计算了摄像机位置和方向回归的潜在图像表示。与提供最新精度的基于结构的本地化方案相比，APRS在本地化精度，运行时和内存之间提供了不同的权衡。在这项工作中，我们介绍了相机姿势自动编码器（PAE），多层感知器通过教师学生的方法进行培训，以用APR作为老师来编码相机姿势。我们表明，由此产生的潜在姿势表示可以密切复制APR性能，并证明其对相关任务的有效性。具体而言，我们提出了一个轻巧的测试时间优化，其中最接近火车的姿势编码并用于完善摄像头位置估计。该过程在剑桥大标记和7Scenes基准上都达到了APRS的新最新位置精度。我们还表明，可以从学到的姿势编码中重建火车图像，为以低内存成本以较低的存储器成本整合火车的视觉信息铺平了道路。我们的代码和预培训模型可在https://github.com/yolish/camera-pose-auto-coders上找到。

Camera relocalization involving a prior 3D reconstruction plays a crucial role in many mixed reality and robotics applications. Estimating the camera pose directly with respect to pre-built 3D models can be prohibitively expensive for several applications with limited storage and/or communication bandwidth. Although recent scene and absolute pose regression methods have become popular for efficient camera localization, most of them are computation-resource intensive and difficult to obtain a real-time inference with high accuracy constraints. This study proposes a simple scene regression method that requires only a multi-layer perceptron network for mapping scene coordinates to achieve accurate camera pose estimations. The proposed approach uses sparse descriptors to regress the scene coordinates, instead of a dense RGB image. The use of sparse features provides several advantages. First, the proposed regressor network is substantially smaller than those reported in previous studies. This makes our system highly efficient and scalable. Second, the pre-built 3D models provide the most reliable and robust 2D-3D matches. Therefore, learning from them can lead to an awareness of equivalent features and substantially improve the generalization performance. A detailed analysis of our approach and extensive evaluations using existing datasets are provided to support the proposed method. The implementation detail is available at https://github.com/aislab/feat2map

我们引入了一个相机重新定位管道，该管道结合了绝对姿势回归（APR）和直接功能匹配。通过结合曝光自适应的新视图综合，我们的方法成功地解决了现有基于光度法方法无法处理的室外环境中的光度扭曲。借助域不变的功能匹配，我们的解决方案通过对未标记数据的半监督学习提高了姿势回归精度。特别是，该管道由两个组成部分组成：新型视图合成器和DFNET。前者综合了新的视图，以补偿暴露的变化，后者会回归摄像头的姿势，并提取了可靠的功能，这些特征弥补了真实图像和合成图像之间的域间隙。此外，我们引入了在线合成数据生成方案。我们表明，这些方法有效地增强了室内和室外场景中的相机姿势估计。因此，我们的方法通过优于现有的单位图APR方法高达56％，可与基于3D结构的方法相当。

This paper proposes a generalizable, end-to-end deep learning-based method for relative pose regression between two images. Given two images of the same scene captured from different viewpoints, our algorithm predicts the relative rotation and translation between the two respective cameras. Despite recent progress in the field, current deep-based methods exhibit only limited generalization to scenes not seen in training. Our approach introduces a network architecture that extracts a grid of coarse features for each input image using the pre-trained LoFTR network. It subsequently relates corresponding features in the two images, and finally uses a convolutional network to recover the relative rotation and translation between the respective cameras. Our experiments indicate that the proposed architecture can generalize to novel scenes, obtaining higher accuracy than existing deep-learning-based methods in various settings and datasets, in particular with limited training data.

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

新型视图合成是一个长期存在的问题。在这项工作中，我们考虑了一个问题的变体，在这种变体中，只有几个上下文视图稀疏地涵盖了场景或对象。目的是预测现场的新观点，这需要学习先验。当前的艺术状态基于神经辐射场（NERF），在获得令人印象深刻的结果的同时，这些方法遭受了较长的训练时间，因为它们需要通过每个图像来评估数百万个3D点样品。我们提出了一种仅限2D方法，该方法将多个上下文视图映射，并在神经网络的单个通过中映射到新图像。我们的模型使用由密码簿和变压器模型组成的两阶段体系结构。该密码手册用于将单个图像嵌入较小的潜在空间中，而变压器在此更紧凑的空间中求解了视图综合任务。为了有效地训练我们的模型，我们引入了一种新颖的分支注意机制，该机制使我们不仅可以将相同的模型用于神经渲染，还可以用于摄像头姿势估计。现实世界场景的实验结果表明，与基于NERF的方法相比，我们的方法具有竞争力，而在3D中没有明确推理，并且训练速度更快。

准确的相机姿势估计是许多应用程序（例如自动驾驶，移动机器人技术和增强现实）的基本要求。在这项工作中，我们解决了在给定环境中从单个RGB图像中估算全局6 DOF摄像头的问题。以前的作品考虑图像的每个部分都有价值对于本地化。但是，许多图像区域，例如天空，遮挡和重复的非固定模式，不能用于本地化。除了添加不必要的计算工作外，从此类地区提取和匹配功能还会产生许多错误的匹配，从而降低了本地化准确性和效率。我们的工作解决了这一特定问题，并通过利用有趣的3D模型的有趣概念来显示，我们可以利用歧视性环境零件并避免出于单个图像本地化而避免无用的图像区域。有趣的是，通过避免从树木，灌木丛，汽车，行人和遮挡等不可靠的图像区域中选择关键点，我们的工作自然而然地作为离群过滤器。这使我们的系统高效，在最小的对应关系中，由于异常值的数量很少，因此需要高度准确。我们的工作超过了室外剑桥地标数据集的最新方法。仅在推理上依靠单个图像，它的精度方法超过了构成姿势先验和/或参考3D模型的精度方法，同时更快。通过选择仅100个对应关系，它超过了从数千个对应关系进行定位的类似方法，同时更有效。特别是，与这些方法相比，它实现了，在旧院面场景中，本地化提高了33％。此外，它甚至可以从图像顺序中学习的直接姿势回归器

相对摄像头姿势估计，即使用在不同位置拍摄的一对图像来估算翻译和旋转向量，是增强现实和机器人技术系统中系统的重要组成部分。在本文中，我们使用独立于摄像机参数的暹罗体系结构提出了端到端的相对摄像头姿势估计网络。使用剑桥地标数据和四个单独的场景数据集和一个结合四个场景的数据集对网络进行培训。为了改善概括，我们提出了一种新颖的两阶段训练，以减轻超参数以平衡翻译和旋转损失量表的需求。将提出的方法与基于CNN的一阶段培训方法（例如RPNET和RCPNET）进行了比较，并证明了所提出的模型在Kings College，Old Hospital和St Marys上提出的翻译量估计提高了16.11％，28.88％和52.27％教堂场景分别。为了证明纹理不变性，我们使用生成的对抗网络研究了提出的方法的概括，将数据集扩展到不同场景样式，作为消融研究。此外，我们对网络预测和地面真相构成的异性线进行定性评估。

我们提出了一种新颖的方法，可以可靠地估计相机的姿势，并在极端环境中获得的一系列图像，例如深海或外星地形。在这些挑战性条件下获得的数据被无纹理表面，图像退化以及重复性和高度模棱两可的结构所破坏。当天真地部署时，最先进的方法可能会在我们的经验分析确认的那些情况下失败。在本文中，我们试图在这些极端情况下使摄像机重新定位起作用。为此，我们提出：（i）一个分层定位系统，我们利用时间信息和（ii）一种新颖的环境感知图像增强方法来提高鲁棒性和准确性。我们广泛的实验结果表明，在两个极端环境下我们的方法有利于我们的方法：将自动的水下车辆定位，并将行星漫游者定位在火星样的沙漠中。此外，我们的方法仅使用20％的培训数据就可以在室内基准（7片数据集）上使用最先进的方法（7片数据集）实现可比性的性能。

视觉（RE）本地化解决了估计已知场景中捕获的查询图像的6-DOF（自由度）摄像头的问题，该镜头是许多计算机视觉和机器人应用程序的关键构建块。基于结构的本地化的最新进展通过记住从图像像素到场景坐标的映射与神经网络的映射来构建相机姿势优化的2D-3D对应关系。但是，这种记忆需要在每个场景中训练大量的图像，这是沉重效率降低的。相反，通常很少的图像足以覆盖场景的主要区域，以便人类操作员执行视觉定位。在本文中，我们提出了一种场景区域分类方法，以实现几乎没有拍摄图像的快速有效的场景记忆。我们的见解是利用a）预测的特征提取器，b）场景区域分类器和c）元学习策略，以加速培训，同时缓解过度拟合。我们在室内和室外基准上评估了我们的方法。该实验验证了我们方法在几次设置中的有效性，并且训练时间大大减少到只有几分钟。代码可用：\ url {https://github.com/siyandong/src}

在3D视觉中，视觉重新定位已被广泛讨论：鉴于预构建的3D视觉图，估计查询图像的6 DOF（自由度）姿势。大规模室内环境中的重新定位可实现有吸引力的应用程序，例如增强现实和机器人导航。但是，当相机移动时，在这种环境中，外观变化很快，这对于重新定位系统来说是具有挑战性的。为了解决这个问题，我们建议一种基于虚拟视图综合方法Rendernet，以丰富有关此特定情况的数据库和完善姿势。我们选择直接渲染虚拟观点的必要全局和本地特征，而不是渲染需要高质量3D模型的真实图像，并分别将它们应用于后续图像检索和功能匹配操作中。所提出的方法在很大程度上可以改善大规模室内环境中的性能，例如，在INLOC数据集中获得7.1 \％和12.2 \％的改善。

相机的估计与一组图像相关联的估计通常取决于图像之间的特征匹配。相比之下，我们是第一个通过使用对象区域来指导姿势估计问题而不是显式语义对象检测来应对这一挑战的人。我们提出了姿势炼油机网络（PosErnet），一个轻量级的图形神经网络，以完善近似的成对相对摄像头姿势。posernet利用对象区域之间的关联（简洁地表示为边界框），跨越了多个视图到全球完善的稀疏连接的视图图。我们在不同尺寸的图表上评估了7个尺寸的数据集，并展示了该过程如何有益于基于优化的运动平均算法，从而相对于基于边界框获得的初始估计，将旋转的中值误差提高了62度。代码和数据可在https://github.com/iit-pavis/posernet上找到。

Figure 1: PoseNet: Convolutional neural network monocular camera relocalization. Relocalization results for an input image (top), the predicted camera pose of a visual reconstruction (middle), shown again overlaid in red on the original image (bottom). Our system relocalizes to within approximately 2m and 6 • for large outdoor scenes spanning 50, 000m 2 . For an online demonstration, please see our project webpage: mi.eng.cam.ac.uk/projects/relocalisation/

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

This paper introduces SuperGlue, a neural network that matches two sets of local features by jointly finding correspondences and rejecting non-matchable points. Assignments are estimated by solving a differentiable optimal transport problem, whose costs are predicted by a graph neural network. We introduce a flexible context aggregation mechanism based on attention, enabling SuperGlue to reason about the underlying 3D scene and feature assignments jointly. Compared to traditional, hand-designed heuristics, our technique learns priors over geometric transformations and regularities of the 3D world through end-to-end training from image pairs. SuperGlue outperforms other learned approaches and achieves state-of-the-art results on the task of pose estimation in challenging real-world indoor and outdoor environments. The proposed method performs matching in real-time on a modern GPU and can be readily integrated into modern SfM or SLAM systems. The code and trained weights are publicly available at github.com/magicleap/SuperGluePretrainedNetwork.

Erroneous feature matches have severe impact on subsequent camera pose estimation and often require additional, time-costly measures, like RANSAC, for outlier rejection. Our method tackles this challenge by addressing feature matching and pose optimization jointly. To this end, we propose a graph attention network to predict image correspondences along with confidence weights. The resulting matches serve as weighted constraints in a differentiable pose estimation. Training feature matching with gradients from pose optimization naturally learns to down-weight outliers and boosts pose estimation on image pairs compared to SuperGlue by 6.7% on ScanNet. At the same time, it reduces the pose estimation time by over 50% and renders RANSAC iterations unnecessary. Moreover, we integrate information from multiple views by spanning the graph across multiple frames to predict the matches all at once. Multi-view matching combined with end-to-end training improves the pose estimation metrics on Matterport3D by 18.8% compared to SuperGlue.

现代的3D计算机视觉利用学习来增强几何推理，将图像数据映射到经典结构，例如成本量或外观限制，以改善匹配。这些体系结构根据特定问题进行了专门化，因此需要进行大量任务的调整，通常会导致域的泛化性能差。最近，通才变压器架构通过编码几何学先验作为输入而不是执行约束，在诸如光流和深度估计等任务中取得了令人印象深刻的结果。在本文中，我们扩展了这一想法，并建议学习一个隐式，多视图一致的场景表示，并在增加视图多样性之前引入了一系列3D数据增强技术作为几何感应。我们还表明，引入视图合成作为辅助任务进一步改善了深度估计。我们的深度磁场网络（定义）实现了最新的目的，可以实现立体声和视频深度估计，而无需明确的几何约束，并通过广泛的边距改善了零局部域的概括。

视觉定位通过使用查询图像和地图之间的对应分析来解决估计摄像机姿势的挑战。此任务是计算和数据密集型，这在彻底评估各种数据集上的方法攻击挑战。然而，为了进一步进一步前进，我们声称应该在覆盖广域品种的多个数据集上进行稳健的视觉定位算法。为了促进这一点，我们介绍了Kapture，一种新的，灵活，统一的数据格式和工具箱，用于视觉本地化和结构 - 来自运动（SFM）。它可以轻松使用不同的数据集以及有效和可重复使用的数据处理。为了证明这一点，我们提出了一种多功能管道，用于视觉本地化，促进使用不同的本地和全局特征，3D数据（例如深度图），非视觉传感器数据（例如IMU，GPS，WiFi）和各种处理算法。使用多种管道配置，我们在我们的实验中显示出Kapture的巨大功能性。此外，我们在八个公共数据集中评估我们的方法，在那里他们排名第一，并在其中许多上排名第一。为了促进未来的研究，我们在允许BSD许可证下释放本文中使用的代码，模型和本文中使用的所有数据集。 github.com/naver/kapture，github.com/naver/kapture-localization.

神经辐射场（NERF）在代表具有高分辨率细节和有效记忆的复杂3D场景方面取得了巨大成功。然而，当前基于NERF的姿势估计量没有初始姿势预测，并且在优化过程中易于局部优势。在本文中，我们介绍了纬度：全球定位，具有截短的动态低通滤波器，该过滤器引入了城市规模的NERF中的两阶段定位机制。在识别阶段，我们通过训练有素的NERFS生成的图像来训练回归器，该图像为全球本地化提供了初始值。在姿势优化阶段，我们通过直接优化切线平面上的姿势来最大程度地减少观察到的图像之间的残差和渲染图像。为了避免收敛到局部最优，我们引入了一个截短的动态低通滤波器（TDLF），以进行粗到细小的姿势注册。我们在合成和现实世界中评估了我们的方法，并显示了其在大规模城市场景中高精度导航的潜在应用。代码和数据将在https://github.com/jike5/latitude上公开获取。

Camera pose estimation is a key step in standard 3D reconstruction pipelines that operate on a dense set of images of a single object or scene. However, methods for pose estimation often fail when only a few images are available because they rely on the ability to robustly identify and match visual features between image pairs. While these methods can work robustly with dense camera views, capturing a large set of images can be time-consuming or impractical. We propose SparsePose for recovering accurate camera poses given a sparse set of wide-baseline images (fewer than 10). The method learns to regress initial camera poses and then iteratively refine them after training on a large-scale dataset of objects (Co3D: Common Objects in 3D). SparsePose significantly outperforms conventional and learning-based baselines in recovering accurate camera rotations and translations. We also demonstrate our pipeline for high-fidelity 3D reconstruction using only 5-9 images of an object.