Camera relocalization involving a prior 3D reconstruction plays a crucial role in many mixed reality and robotics applications. Estimating the camera pose directly with respect to pre-built 3D models can be prohibitively expensive for several applications with limited storage and/or communication bandwidth. Although recent scene and absolute pose regression methods have become popular for efficient camera localization, most of them are computation-resource intensive and difficult to obtain a real-time inference with high accuracy constraints. This study proposes a simple scene regression method that requires only a multi-layer perceptron network for mapping scene coordinates to achieve accurate camera pose estimations. The proposed approach uses sparse descriptors to regress the scene coordinates, instead of a dense RGB image. The use of sparse features provides several advantages. First, the proposed regressor network is substantially smaller than those reported in previous studies. This makes our system highly efficient and scalable. Second, the pre-built 3D models provide the most reliable and robust 2D-3D matches. Therefore, learning from them can lead to an awareness of equivalent features and substantially improve the generalization performance. A detailed analysis of our approach and extensive evaluations using existing datasets are provided to support the proposed method. The implementation detail is available at https://github.com/aislab/feat2map

对绝对姿势回归剂（APR）网络进行训练，以估计给定捕获图像的相机姿势。他们计算了摄像机位置和方向回归的潜在图像表示。与提供最新精度的基于结构的本地化方案相比，APRS在本地化精度，运行时和内存之间提供了不同的权衡。在这项工作中，我们介绍了相机姿势自动编码器（PAE），多层感知器通过教师学生的方法进行培训，以用APR作为老师来编码相机姿势。我们表明，由此产生的潜在姿势表示可以密切复制APR性能，并证明其对相关任务的有效性。具体而言，我们提出了一个轻巧的测试时间优化，其中最接近火车的姿势编码并用于完善摄像头位置估计。该过程在剑桥大标记和7Scenes基准上都达到了APRS的新最新位置精度。我们还表明，可以从学到的姿势编码中重建火车图像，为以低内存成本以较低的存储器成本整合火车的视觉信息铺平了道路。我们的代码和预培训模型可在https://github.com/yolish/camera-pose-auto-coders上找到。

准确的相机姿势估计是许多应用程序（例如自动驾驶，移动机器人技术和增强现实）的基本要求。在这项工作中，我们解决了在给定环境中从单个RGB图像中估算全局6 DOF摄像头的问题。以前的作品考虑图像的每个部分都有价值对于本地化。但是，许多图像区域，例如天空，遮挡和重复的非固定模式，不能用于本地化。除了添加不必要的计算工作外，从此类地区提取和匹配功能还会产生许多错误的匹配，从而降低了本地化准确性和效率。我们的工作解决了这一特定问题，并通过利用有趣的3D模型的有趣概念来显示，我们可以利用歧视性环境零件并避免出于单个图像本地化而避免无用的图像区域。有趣的是，通过避免从树木，灌木丛，汽车，行人和遮挡等不可靠的图像区域中选择关键点，我们的工作自然而然地作为离群过滤器。这使我们的系统高效，在最小的对应关系中，由于异常值的数量很少，因此需要高度准确。我们的工作超过了室外剑桥地标数据集的最新方法。仅在推理上依靠单个图像，它的精度方法超过了构成姿势先验和/或参考3D模型的精度方法，同时更快。通过选择仅100个对应关系，它超过了从数千个对应关系进行定位的类似方法，同时更有效。特别是，与这些方法相比，它实现了，在旧院面场景中，本地化提高了33％。此外，它甚至可以从图像顺序中学习的直接姿势回归器

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

视觉（RE）本地化解决了估计已知场景中捕获的查询图像的6-DOF（自由度）摄像头的问题，该镜头是许多计算机视觉和机器人应用程序的关键构建块。基于结构的本地化的最新进展通过记住从图像像素到场景坐标的映射与神经网络的映射来构建相机姿势优化的2D-3D对应关系。但是，这种记忆需要在每个场景中训练大量的图像，这是沉重效率降低的。相反，通常很少的图像足以覆盖场景的主要区域，以便人类操作员执行视觉定位。在本文中，我们提出了一种场景区域分类方法，以实现几乎没有拍摄图像的快速有效的场景记忆。我们的见解是利用a）预测的特征提取器，b）场景区域分类器和c）元学习策略，以加速培训，同时缓解过度拟合。我们在室内和室外基准上评估了我们的方法。该实验验证了我们方法在几次设置中的有效性，并且训练时间大大减少到只有几分钟。代码可用：\ url {https://github.com/siyandong/src}

在这项研究中，我们提出了一种新型的视觉定位方法，以根据RGB摄像机的可视数据准确估计机器人在3D激光镜头内的六个自由度（6-DOF）姿势。使用基于先进的激光雷达的同时定位和映射（SLAM）算法，可获得3D地图，能够收集精确的稀疏图。将从相机图像中提取的功能与3D地图的点进行了比较，然后解决了几何优化问题，以实现精确的视觉定位。我们的方法允许使用配备昂贵激光雷达的侦察兵机器人一次 - 用于映射环境，并且仅使用RGB摄像头的多个操作机器人 - 执行任务任务，其本地化精度高于常见的基于相机的解决方案。该方法在Skolkovo科学技术研究所（Skoltech）收集的自定义数据集上进行了测试。在评估本地化准确性的过程中，我们设法达到了厘米级的准确性；中间翻译误差高达1.3厘米。仅使用相机实现的确切定位使使用自动移动机器人可以解决需要高度本地化精度的最复杂的任务。

跨场型模型适应对于在实际场景中的摄像机重新定位至关重要。通常，最好将预学的模型快速适应新颖的场景，并尽可能少地训练样本。但是，由于图像特征提取和场景坐标回归的纠缠，现有的最新方法几乎不能支持如此少的场景适应。为了解决此问题，我们使用解耦的解决方案接近摄像机重新定位，在该解决方案中，分别执行特征提取，坐标回归和姿势估计。我们的关键见解是，应通过删除坐标系的分心因子来学习用于坐标回归的功能编码器，从而从多个场景中学到了特征编码器，以获得一般特征表示和更重要的，不敏感的功能。具有此功能先验，并与坐标回归器结合使用，与现有集成解决方案相比，新场景中几乎没有射击的观测比3D世界更容易。实验表明，与最先进的方法相比，我们的方法的优越性，在具有不同的视觉外观和观点分布的几个场景上产生了更高的精度。

相对摄像头姿势估计，即使用在不同位置拍摄的一对图像来估算翻译和旋转向量，是增强现实和机器人技术系统中系统的重要组成部分。在本文中，我们使用独立于摄像机参数的暹罗体系结构提出了端到端的相对摄像头姿势估计网络。使用剑桥地标数据和四个单独的场景数据集和一个结合四个场景的数据集对网络进行培训。为了改善概括，我们提出了一种新颖的两阶段训练，以减轻超参数以平衡翻译和旋转损失量表的需求。将提出的方法与基于CNN的一阶段培训方法（例如RPNET和RCPNET）进行了比较，并证明了所提出的模型在Kings College，Old Hospital和St Marys上提出的翻译量估计提高了16.11％，28.88％和52.27％教堂场景分别。为了证明纹理不变性，我们使用生成的对抗网络研究了提出的方法的概括，将数据集扩展到不同场景样式，作为消融研究。此外，我们对网络预测和地面真相构成的异性线进行定性评估。

我们引入了一个相机重新定位管道，该管道结合了绝对姿势回归（APR）和直接功能匹配。通过结合曝光自适应的新视图综合，我们的方法成功地解决了现有基于光度法方法无法处理的室外环境中的光度扭曲。借助域不变的功能匹配，我们的解决方案通过对未标记数据的半监督学习提高了姿势回归精度。特别是，该管道由两个组成部分组成：新型视图合成器和DFNET。前者综合了新的视图，以补偿暴露的变化，后者会回归摄像头的姿势，并提取了可靠的功能，这些特征弥补了真实图像和合成图像之间的域间隙。此外，我们引入了在线合成数据生成方案。我们表明，这些方法有效地增强了室内和室外场景中的相机姿势估计。因此，我们的方法通过优于现有的单位图APR方法高达56％，可与基于3D结构的方法相当。

我们提出了一种称为DPODV2（密集姿势对象检测器）的三个阶段6 DOF对象检测方法，该方法依赖于致密的对应关系。我们将2D对象检测器与密集的对应关系网络和多视图姿势细化方法相结合，以估计完整的6 DOF姿势。与通常仅限于单眼RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像方式（RGB或DEPTH）。此外，我们提出了一种基于可区分渲染的新型姿势改进方法。主要概念是在多个视图中比较预测并渲染对应关系，以获得与所有视图中预测的对应关系一致的姿势。我们提出的方法对受控设置中的不同数据方式和培训数据类型进行了严格的评估。主要结论是，RGB在对应性估计中表现出色，而如果有良好的3D-3D对应关系，则深度有助于姿势精度。自然，他们的组合可以实现总体最佳性能。我们进行广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。 DPODV2在所有这些方面都取得了出色的成果，同时仍然保持快速和可扩展性，独立于使用的数据模式和培训数据的类型

在本文中，我们介绍了一种新的端到端学习的LIDAR重新定位框架，被称为Pointloc，其仅使用单点云直接姿势作为输入，不需要预先构建的地图。与RGB基于图像的重建化相比，LIDAR帧可以提供有关场景的丰富和强大的几何信息。然而，LIDAR点云是无序的并且非结构化，使得难以为此任务应用传统的深度学习回归模型。我们通过提出一种具有自我关注的小说点风格架构来解决这个问题，从而有效地估计660 {\ DEG} LIDAR输入框架的6-DOF姿势。关于最近发布的巨大恐怖雷达机器人数据集和现实世界机器人实验的扩展实验表明ProposedMethod可以实现准确的重定位化性能。

深度学习的关键批评之一是，需要大量昂贵且难以获得的训练数据，以便培训具有高性能和良好的概率功能的模型。专注于通过场景坐标回归（SCR）的单眼摄像机姿势估计的任务，我们描述了一种新的方法，用于相机姿势估计（舞蹈）网络的域改编，这使得培训模型无需访问目标任务上的任何标签。舞蹈需要未标记的图像（没有已知的姿势，订购或场景坐标标签）和空间的3D表示（例如，扫描点云），这两者都可以使用现成的商品硬件最少的努力来捕获。舞蹈渲染从3D模型标记的合成图像，通过应用无监督的图像级域适应技术（未配对图像到图像转换）来桥接合成和实图像之间的不可避免的域间隙。在实际图像上进行测试时，舞蹈培训的SCR模型在成本的一小部分中对其完全监督的对应物（在两种情况下使用PNP-RANSAC进行最终姿势估算的情况下）进行了相当的性能。我们的代码和数据集可以在https://github.com/jacklangerman/dance获得

This paper proposes a generalizable, end-to-end deep learning-based method for relative pose regression between two images. Given two images of the same scene captured from different viewpoints, our algorithm predicts the relative rotation and translation between the two respective cameras. Despite recent progress in the field, current deep-based methods exhibit only limited generalization to scenes not seen in training. Our approach introduces a network architecture that extracts a grid of coarse features for each input image using the pre-trained LoFTR network. It subsequently relates corresponding features in the two images, and finally uses a convolutional network to recover the relative rotation and translation between the respective cameras. Our experiments indicate that the proposed architecture can generalize to novel scenes, obtaining higher accuracy than existing deep-learning-based methods in various settings and datasets, in particular with limited training data.

现有方法以非可分子点检测关键点，因此它们不能直接通过背部传播优化关键点的位置。为解决此问题，我们呈现了一个可差异的关键点检测模块，其输出精确的子像素键点。然后提出了再分断损耗直接优化这些子像素键点，并且呈现了分散峰值损耗以获得准确的关键点正则化。我们还以子像素方式提取描述符，并通过稳定的神经输注误差丢失训练。此外，轻量化网络被设计用于关键点检测和描述符提取，其可以在商业GPU上以每秒95帧运行为95帧。在同性记估计，相机姿态估计和视觉（重新）定位任务中，所提出的方法通过最先进的方法实现了相同的性能，而大大减少了推理时间。

我们提出了一种视觉本地化系统，这些系统在合成数据的帮助下学习在现实世界中估算相机姿势。尽管近年来取得了重大进展，但大多数基于学习的学习方法在单个域中的视觉定位目标，并需要良好的地理标记图像的密集数据库运行。为了减轻数据稀缺问题并提高神经定位模型的可扩展性，我们介绍了Topo-Datagen，这是一个多功能合成数据生成工具，在真实和虚拟世界之间平稳地遍历，铰接在地理相机视点。建议新的大型SIM-to-Real基准数据集展示并评估所述合成数据的效用。我们的实验表明，合成数据在实际上提高了真实数据的神经网络性能。此外，我们介绍Crossloc，一种跨模型视觉表示学习方法来姿态估计，可以通过自我监督充分利用现场坐标地面真理。在没有任何额外数据的情况下，Crossloc显着优于最先进的方法，并实现了更高的实际数据样本效率。我们的代码可在https://github.com/topo-epfl/crossloc获得。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

我们提出了一种新颖的方法，可以可靠地估计相机的姿势，并在极端环境中获得的一系列图像，例如深海或外星地形。在这些挑战性条件下获得的数据被无纹理表面，图像退化以及重复性和高度模棱两可的结构所破坏。当天真地部署时，最先进的方法可能会在我们的经验分析确认的那些情况下失败。在本文中，我们试图在这些极端情况下使摄像机重新定位起作用。为此，我们提出：（i）一个分层定位系统，我们利用时间信息和（ii）一种新颖的环境感知图像增强方法来提高鲁棒性和准确性。我们广泛的实验结果表明，在两个极端环境下我们的方法有利于我们的方法：将自动的水下车辆定位，并将行星漫游者定位在火星样的沙漠中。此外，我们的方法仅使用20％的培训数据就可以在室内基准（7片数据集）上使用最先进的方法（7片数据集）实现可比性的性能。

大多数最先进的定位算法都依赖于稳健的相对姿势估计和几何验证来获得移动的对象不可知的摄像机在复杂的室内环境中姿势。但是，如果场景包含重复的结构，例如书桌，桌子，盒子或移动的人，则这种方法容易犯错。我们表明，可移动对象包含了不可忽略的本地化误差，并提出了一种新的直接方法，以预测六度自由（6DOF）更加坚固。我们为定位管道INLOC配备了实例分割网络yolact ++。动态对象的口罩用于相对姿势估计步骤和摄像头姿势建议的最终分类中。首先，我们过滤出放置在动态对象的掩模上的匹配。其次，我们跳过了与移动对象相关的区域上查询和合成图像的比较。此过程导致更强大的本地化。最后，我们描述并改善了由合成图像和查询图像之间的基于梯度的比较引起的错误，并发布了新的管道，以模拟MatterPort扫描中具有可移动对象的环境。所有代码均可在github.com/dubenma/d-inlocpp上获得。

视觉定位，即相机姿势估计的问题，是应用程序和增强现实系统等应用的核心组成部分。文献中的主要方法是基于从图像中提取的局部特征来扩展到大型场景并处理复杂的照明和季节性变化。场景表示形式是与特定本地特征相关的稀疏结构云。切换到另一种功能类型需要在用于构造点云的数据库图像之间昂贵的功能匹配步骤。在这项工作中，我们基于密集的3D网格探索了一个更灵活的替代方案，该替代方案不需要在数据库图像之间匹配的功能来构建场景表示。我们表明，这种方法可以实现最新的结果。我们进一步表明，当在没有任何神经渲染阶段的渲染效果上提取功能时，即使在没有颜色或纹理的原始场景几何形状时，也可以获得令人惊讶的竞争结果。我们的结果表明，基于3D模型的密集表示是现有表示形式的有希望的替代方法，并指出了未来研究的有趣且具有挑战性的方向。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。