长期度量自我定位是自动移动机器人的重要能力，但由于照明，天气或季节性变化引起的外观变化，对于基于视觉的系统仍然具有挑战性。尽管事实证明，基于经验的映射是弥合“外观差距”的有效技术，但在几天或几个月内可靠的度量定位所需的经验数量可能非常大，并且需要减少必要的经验数量的方法这种规模的方法。我们从色彩恒定理论中汲取灵感，我们学习一个非线性RGB到式映射的映射，该映射明确地最大化了在不同照明和天气条件下捕获的图像的Inlier功能匹配的数量，并将其用作传统单个单一的预处理步骤体验本地化管道，以提高其对外观变化的稳健性。我们通过使用深层神经网络近似目标的非差异性定位管道来训练此映射，并发现合并学习的低维环境功能可以进一步改善交叉认可功能匹配。使用合成和现实世界数据集，我们证明了跨夜晚周期的本地化性能的实质性改善，使用单个映射体验在30小时内实现连续的度量定位，并允许基于经验的本地化以巨大的部署来扩展。减少了数据要求。

廉价移动计算能力的可用性不断提高，直接视觉本地化最近享有普及。与基于最新功能的方法相比，这些算法的竞争精度和鲁棒性以及它们产生密集地图的自然能力，使它们成为各种移动机器人应用程序的吸引人选择。然而，由于其基本假设的光度一致性，直接方法在外观变化时仍然脆弱，这在实践中通常违反。在本文中，我们建议通过训练深卷积编码器模型来转换场景的图像，使它们对应于以前的规范外观，以减轻此问题。我们使用高保真综合RGB-D数据集验证了多种环境和照明条件的方法，并将训练有素的模型集成到直接的视觉定位管道中，从而通过时间变化的照明条件来提高视觉探测器（VO）精度（VO）准确性随着传统方法通常失败的照明变化，随着指标重新定位的改善。我们进一步提供了对本地化环境中从合成到真实环境的转移学习的初步研究。我们使用Pytorch的方法的开源实现可在https://github.com/utiasstars/cat-net上获得。

Visual localization is the task of estimating camera pose in a known scene, which is an essential problem in robotics and computer vision. However, long-term visual localization is still a challenge due to the environmental appearance changes caused by lighting and seasons. While techniques exist to address appearance changes using neural networks, these methods typically require ground-truth pose information to generate accurate image correspondences or act as a supervisory signal during training. In this paper, we present a novel self-supervised feature learning framework for metric visual localization. We use a sequence-based image matching algorithm across different sequences of images (i.e., experiences) to generate image correspondences without ground-truth labels. We can then sample image pairs to train a deep neural network that learns sparse features with associated descriptors and scores without ground-truth pose supervision. The learned features can be used together with a classical pose estimator for visual stereo localization. We validate the learned features by integrating with an existing Visual Teach & Repeat pipeline to perform closed-loop localization experiments under different lighting conditions for a total of 22.4 km.

成功的视觉导航取决于捕获包含足够有用信息的图像。在这封信中，我们探索了一种数据驱动的方法来说明环境照明的变化，改善了在视觉探测器（VO）或视觉同时定位和映射（SLAM）中使用的图像质量。我们训练深层卷积神经网络模型，以预测地调整相机增益和曝光时间参数，以便连续图像包含最大数量的可匹配功能。训练过程是完全自我监督的：我们的训练信号来自基础VO或SLAM管道，因此，对模型进行了优化，可以通过该特定管道进行良好的操作。我们通过广泛的现实世界实验证明，我们的网络可以预期并补偿急剧的照明变化（例如，过渡到道路隧道的过渡），比竞争摄像机参数控制算法保持了更高数量的Inlier功能匹配。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

在本文中，我们学习了我们使用首先构建地图的可视化功能，然后在整天的照明变化中，包括在暗中驾驶的机器人。我们训练一个神经网络，以预测具有相关描述符和分数的稀疏关键点，可以与古典姿势估计器一起使用以进行本地化。我们的培训管道包括一个可差化的姿势估计，使得培训可以通过预先收集的数据，从预先收集的数据姿势进行监督，从2016年和2017年聚集使用多体验视觉教学和重复（VT＆R）。我们将学习功能插入现有的VT＆R管道，以在非结构化的户外环境中执行闭环路径。我们在所有照明条件下都显示出在所有照明条件的成功路径，尽管是使用日光条件构建的机器人的地图。此外，我们通过在特征训练数据集中不存在的新区域中的所有照明条件下驱动机器人来探讨特征的普遍性。总而言之，我们在具有挑战性条件下进行了35.5公里处以35.5公里的自主途径进行了验证。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

In this paper, we present a novel visual SLAM and long-term localization benchmark for autonomous driving in challenging conditions based on the large-scale 4Seasons dataset. The proposed benchmark provides drastic appearance variations caused by seasonal changes and diverse weather and illumination conditions. While significant progress has been made in advancing visual SLAM on small-scale datasets with similar conditions, there is still a lack of unified benchmarks representative of real-world scenarios for autonomous driving. We introduce a new unified benchmark for jointly evaluating visual odometry, global place recognition, and map-based visual localization performance which is crucial to successfully enable autonomous driving in any condition. The data has been collected for more than one year, resulting in more than 300 km of recordings in nine different environments ranging from a multi-level parking garage to urban (including tunnels) to countryside and highway. We provide globally consistent reference poses with up to centimeter-level accuracy obtained from the fusion of direct stereo-inertial odometry with RTK GNSS. We evaluate the performance of several state-of-the-art visual odometry and visual localization baseline approaches on the benchmark and analyze their properties. The experimental results provide new insights into current approaches and show promising potential for future research. Our benchmark and evaluation protocols will be available at https://www.4seasons-dataset.com/.

尽管外观和观点的显着变化，视觉地点识别（VPR）通常是能够识别相同的地方。 VPR是空间人工智能的关键组成部分，使机器人平台和智能增强平台，例如增强现实设备，以察觉和理解物理世界。在本文中，我们观察到有三个“驱动程序”，它对空间智能代理有所要求，因此vpr系统：1）特定代理包括其传感器和计算资源，2）该代理的操作环境，以及3）人造工具执行的具体任务。在本文中，考虑到这些驱动因素，包括他们的位置代表和匹配选择，在VPR区域中表征和调查关键作品。我们还基于视觉重叠的VPR提供了一种新的VPR - 类似于大脑中的空间视图单元格 - 这使我们能够找到对机器人和计算机视觉领域的其他研究领域的相似之处和差异。我们确定了许多开放的挑战，并建议未来工作需要更深入的关注的领域。

6-DOF的视觉定位系统利用植根于3D几何形状的原则方法来对图像进行准确的摄像头姿势估计图。当前的技术使用层次管道并学到了2D功能提取器来提高可扩展性并提高性能。但是，尽管典型召回@0.25m类型的指标获得了，但由于其“最差”性能领域，这些系统仍然对实际应用（如自动驾驶汽车）的实用性有限 - 在某种程度上提供不足的召回率的位置。在这里，我们研究了使用“位置特定配置”的实用性，其中将地图分割为多个位置，每个位置都有自己的配置，用于调节姿势估计步骤，在这种情况下，在多摄像机系统中选择摄像机。在福特AV基准数据集上，我们证明了与使用现成管道相比，我们证明了最大的最差案例定位性能 - 最小化数据集的百分比，该数据集的百分比降低了一定的误差耐受性，并提高了整体定位性能。我们提出的方法尤其适用于自动驾驶汽车部署的众群体模型，在该模型中，AV机队定期穿越已知的路线。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

This paper introduces SuperGlue, a neural network that matches two sets of local features by jointly finding correspondences and rejecting non-matchable points. Assignments are estimated by solving a differentiable optimal transport problem, whose costs are predicted by a graph neural network. We introduce a flexible context aggregation mechanism based on attention, enabling SuperGlue to reason about the underlying 3D scene and feature assignments jointly. Compared to traditional, hand-designed heuristics, our technique learns priors over geometric transformations and regularities of the 3D world through end-to-end training from image pairs. SuperGlue outperforms other learned approaches and achieves state-of-the-art results on the task of pose estimation in challenging real-world indoor and outdoor environments. The proposed method performs matching in real-time on a modern GPU and can be readily integrated into modern SfM or SLAM systems. The code and trained weights are publicly available at github.com/magicleap/SuperGluePretrainedNetwork.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

共同监督的深度学习方法的关节深度和自我运动估计可以产生准确的轨迹，而无需地面真相训练数据。但是，由于通常会使用光度损失，因此当这些损失所产生的假设（例如时间照明一致性，静态场景以及缺少噪声和遮挡）时，它们的性能会显着降解。这限制了它们用于例如夜间序列倾向于包含许多点光源（包括在动态对象上）和较暗图像区域中的低信噪比（SNR）。在本文中，我们展示了如何使用三种技术的组合来允许现有的光度损失在白天和夜间图像中起作用。首先，我们引入了每个像素神经强度转化，以补偿连续帧之间发生的光变化。其次，我们预测了每个像素的残差流图，我们用来纠正由网络估计的自我运动和深度引起的重新注入对应关系。第三，我们将训练图像降低，以提高方法的鲁棒性和准确性。这些更改使我们可以在白天和夜间图像中训练单个模型，而无需单独的编码器或诸如现有方法（例如现有方法）的额外功能网络。我们对具有挑战性的牛津机器人数据集进行了广泛的实验和消融研究，以证明我们方法对白天和夜间序列的疗效。

This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.

This paper presents a self-supervised framework for training interest point detectors and descriptors suitable for a large number of multiple-view geometry problems in computer vision. As opposed to patch-based neural networks, our fully-convolutional model operates on full-sized images and jointly computes pixel-level interest point locations and associated descriptors in one forward pass. We introduce Homographic Adaptation, a multi-scale, multihomography approach for boosting interest point detection repeatability and performing cross-domain adaptation (e.g., synthetic-to-real). Our model, when trained on the MS-COCO generic image dataset using Homographic Adaptation, is able to repeatedly detect a much richer set of interest points than the initial pre-adapted deep model and any other traditional corner detector. The final system gives rise to state-of-the-art homography estimation results on HPatches when compared to LIFT, SIFT and ORB.

位置识别是可以协助同时定位和映射（SLAM）进行循环闭合检测和重新定位以进行长期导航的基本模块。在过去的20美元中，该地点认可社区取得了惊人的进步，这吸引了在计算机视觉和机器人技术等多个领域的广泛研究兴趣和应用。但是，在复杂的现实世界情景中，很少有方法显示出有希望的位置识别性能，在复杂的现实世界中，长期和大规模的外观变化通常会导致故障。此外，在最先进的方法之间缺乏集成框架，可以应对所有挑战，包括外观变化，观点差异，对未知区域的稳健性以及现实世界中的效率申请。在这项工作中，我们调查针对长期本地化并讨论未来方向和机会的最先进方法。首先，我们研究了长期自主权中的位置识别以及在现实环境中面临的主要挑战。然后，我们回顾了最新的作品，以应对各种位置识别挑战的不同传感器方式和当前的策略的认可。最后，我们回顾了现有的数据集以进行长期本地化，并为不同的方法介绍了我们的数据集和评估API。本文可以成为该地点识别界新手的研究人员以及关心长期机器人自主权的研究人员。我们还对机器人技术中的常见问题提供了意见：机器人是否需要准确的本地化来实现长期自治？这项工作以及我们的数据集和评估API的摘要可向机器人社区公开，网址为：https：//github.com/metaslam/gprs。

本文介绍了一种用于水下车辆机械手系统（UVMS）的新型视野映射方法，具有特定强调自然海底环境中的鲁棒映射。水下场景映射的先前方法通常会离线处理数据，而实时运行的现有水下SLAM方法通常会集中在本地化上而不是映射。我们的方法使用GPU加速SIFT功能在图形优化框架中构建一个特征映射。地图刻度由车辆安装的立体声相机的特征约束，我们通过将机械手系统的动态定位能力从手腕安装的Fisheye摄像机融合到地图中，以将其延伸到车辆安装摄像机的有限视点之外。我们的混合SLAM方法是在Costa rican Continental Shelf级别的自然深海环境中采用UVMS收集的挑战性图像序列，我们还在浅礁调查数据集中评估立体声的立体声。这些数据集的结果证明了我们的系统的高准确性，适合于在不同的自然海底环境中运营。

小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。