我们提出了一种视觉本地化系统，这些系统在合成数据的帮助下学习在现实世界中估算相机姿势。尽管近年来取得了重大进展，但大多数基于学习的学习方法在单个域中的视觉定位目标，并需要良好的地理标记图像的密集数据库运行。为了减轻数据稀缺问题并提高神经定位模型的可扩展性，我们介绍了Topo-Datagen，这是一个多功能合成数据生成工具，在真实和虚拟世界之间平稳地遍历，铰接在地理相机视点。建议新的大型SIM-to-Real基准数据集展示并评估所述合成数据的效用。我们的实验表明，合成数据在实际上提高了真实数据的神经网络性能。此外，我们介绍Crossloc，一种跨模型视觉表示学习方法来姿态估计，可以通过自我监督充分利用现场坐标地面真理。在没有任何额外数据的情况下，Crossloc显着优于最先进的方法，并实现了更高的实际数据样本效率。我们的代码可在https://github.com/topo-epfl/crossloc获得。

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

深度学习的关键批评之一是，需要大量昂贵且难以获得的训练数据，以便培训具有高性能和良好的概率功能的模型。专注于通过场景坐标回归（SCR）的单眼摄像机姿势估计的任务，我们描述了一种新的方法，用于相机姿势估计（舞蹈）网络的域改编，这使得培训模型无需访问目标任务上的任何标签。舞蹈需要未标记的图像（没有已知的姿势，订购或场景坐标标签）和空间的3D表示（例如，扫描点云），这两者都可以使用现成的商品硬件最少的努力来捕获。舞蹈渲染从3D模型标记的合成图像，通过应用无监督的图像级域适应技术（未配对图像到图像转换）来桥接合成和实图像之间的不可避免的域间隙。在实际图像上进行测试时，舞蹈培训的SCR模型在成本的一小部分中对其完全监督的对应物（在两种情况下使用PNP-RANSAC进行最终姿势估算的情况下）进行了相当的性能。我们的代码和数据集可以在https://github.com/jacklangerman/dance获得

跨场型模型适应对于在实际场景中的摄像机重新定位至关重要。通常，最好将预学的模型快速适应新颖的场景，并尽可能少地训练样本。但是，由于图像特征提取和场景坐标回归的纠缠，现有的最新方法几乎不能支持如此少的场景适应。为了解决此问题，我们使用解耦的解决方案接近摄像机重新定位，在该解决方案中，分别执行特征提取，坐标回归和姿势估计。我们的关键见解是，应通过删除坐标系的分心因子来学习用于坐标回归的功能编码器，从而从多个场景中学到了特征编码器，以获得一般特征表示和更重要的，不敏感的功能。具有此功能先验，并与坐标回归器结合使用，与现有集成解决方案相比，新场景中几乎没有射击的观测比3D世界更容易。实验表明，与最先进的方法相比，我们的方法的优越性，在具有不同的视觉外观和观点分布的几个场景上产生了更高的精度。

商业深度传感器通常会产生嘈杂和缺失的深度，尤其是在镜面和透明的对象上，这对下游深度或基于点云的任务构成了关键问题。为了减轻此问题，我们提出了一个强大的RGBD融合网络Swindrnet，以进行深度修复。我们进一步提出了域随机增强深度模拟（DREDS）方法，以使用基于物理的渲染模拟主动的立体声深度系统，并生成一个大规模合成数据集，该数据集包含130k Photorealistic RGB图像以及其模拟深度带有现实主义的传感器。为了评估深度恢复方法，我们还策划了一个现实世界中的数据集，即STD，该数据集捕获了30个混乱的场景，这些场景由50个对象组成，具有不同的材料，从透明，透明，弥漫性。实验表明，提议的DREDS数据集桥接了SIM到实地域间隙，因此，经过训练，我们的Swindrnet可以无缝地概括到其他真实的深度数据集，例如。 ClearGrasp，并以实时速度优于深度恢复的竞争方法。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级别的姿势估计和掌握任务。我们的数据和代码可从https://github.com/pku-epic/dreds获得

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

The goal of this paper is to estimate the 6D pose and dimensions of unseen object instances in an RGB-D image. Contrary to "instance-level" 6D pose estimation tasks, our problem assumes that no exact object CAD models are available during either training or testing time. To handle different and unseen object instances in a given category, we introduce Normalized Object Coordinate Space (NOCS)-a shared canonical representation for all possible object instances within a category. Our region-based neural network is then trained to directly infer the correspondence from observed pixels to this shared object representation (NOCS) along with other object information such as class label and instance mask. These predictions can be combined with the depth map to jointly estimate the metric 6D pose and dimensions of multiple objects in a cluttered scene. To train our network, we present a new contextaware technique to generate large amounts of fully annotated mixed reality data. To further improve our model and evaluate its performance on real data, we also provide a fully annotated real-world dataset with large environment and instance variation. Extensive experiments demonstrate that the proposed method is able to robustly estimate the pose and size of unseen object instances in real environments while also achieving state-of-the-art performance on standard 6D pose estimation benchmarks.

我们提出了一种称为DPODV2（密集姿势对象检测器）的三个阶段6 DOF对象检测方法，该方法依赖于致密的对应关系。我们将2D对象检测器与密集的对应关系网络和多视图姿势细化方法相结合，以估计完整的6 DOF姿势。与通常仅限于单眼RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像方式（RGB或DEPTH）。此外，我们提出了一种基于可区分渲染的新型姿势改进方法。主要概念是在多个视图中比较预测并渲染对应关系，以获得与所有视图中预测的对应关系一致的姿势。我们提出的方法对受控设置中的不同数据方式和培训数据类型进行了严格的评估。主要结论是，RGB在对应性估计中表现出色，而如果有良好的3D-3D对应关系，则深度有助于姿势精度。自然，他们的组合可以实现总体最佳性能。我们进行广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。 DPODV2在所有这些方面都取得了出色的成果，同时仍然保持快速和可扩展性，独立于使用的数据模式和培训数据的类型

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

Paris-Carla-3d是由移动激光器和相机系统构建的几个浓彩色点云的数据集。数据由两组具有来自开源Carla模拟器（700百万分）的合成数据和在巴黎市中获取的真实数据（6000万分），因此Paris-Carla-3d的名称。此数据集的一个优点是在开源Carla模拟器中模拟了相同的LIDAR和相机平台，因为用于生产真实数据的开源Carla Simulator。此外，使用Carla的语义标记的手动注释在真实数据上执行，允许将转移方法从合成到实际数据进行测试。该数据集的目的是提供一个具有挑战性的数据集，以评估和改进户外环境3D映射的困难视觉任务的方法：语义分段，实例分段和场景完成。对于每项任务，我们描述了评估协议以及建立基线的实验。

视觉（RE）本地化解决了估计已知场景中捕获的查询图像的6-DOF（自由度）摄像头的问题，该镜头是许多计算机视觉和机器人应用程序的关键构建块。基于结构的本地化的最新进展通过记住从图像像素到场景坐标的映射与神经网络的映射来构建相机姿势优化的2D-3D对应关系。但是，这种记忆需要在每个场景中训练大量的图像，这是沉重效率降低的。相反，通常很少的图像足以覆盖场景的主要区域，以便人类操作员执行视觉定位。在本文中，我们提出了一种场景区域分类方法，以实现几乎没有拍摄图像的快速有效的场景记忆。我们的见解是利用a）预测的特征提取器，b）场景区域分类器和c）元学习策略，以加速培训，同时缓解过度拟合。我们在室内和室外基准上评估了我们的方法。该实验验证了我们方法在几次设置中的有效性，并且训练时间大大减少到只有几分钟。代码可用：\ url {https://github.com/siyandong/src}

在这项工作中，我们通过利用3D Suite Blender生产具有6D姿势的合成RGBD图像数据集来提出数据生成管道。提出的管道可以有效地生成大量的照片现实的RGBD图像，以了解感兴趣的对象。此外，引入了域随机化技术的集合来弥合真实数据和合成数据之间的差距。此外，我们通过整合对象检测器Yolo-V4微型和6D姿势估计算法PVN3D来开发实时的两阶段6D姿势估计方法，用于时间敏感的机器人应用。借助提出的数据生成管道，我们的姿势估计方法可以仅使用没有任何预训练模型的合成数据从头开始训练。在LineMod数据集评估时，与最先进的方法相比，所得网络显示出竞争性能。我们还证明了在机器人实验中提出的方法，在不同的照明条件下从混乱的背景中抓住家用物体。

This work addresses cross-view camera pose estimation, i.e., determining the 3-DoF camera pose of a given ground-level image w.r.t. an aerial image of the local area. We propose SliceMatch, which consists of ground and aerial feature extractors, feature aggregators, and a pose predictor. The feature extractors extract dense features from the ground and aerial images. Given a set of candidate camera poses, the feature aggregators construct a single ground descriptor and a set of rotational equivariant pose-dependent aerial descriptors. Notably, our novel aerial feature aggregator has a cross-view attention module for ground-view guided aerial feature selection, and utilizes the geometric projection of the ground camera's viewing frustum on the aerial image to pool features. The efficient construction of aerial descriptors is achieved by using precomputed masks and by re-assembling the aerial descriptors for rotated poses. SliceMatch is trained using contrastive learning and pose estimation is formulated as a similarity comparison between the ground descriptor and the aerial descriptors. SliceMatch outperforms the state-of-the-art by 19% and 62% in median localization error on the VIGOR and KITTI datasets, with 3x FPS of the fastest baseline.

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

神经辐射场（NERF）在代表具有高分辨率细节和有效记忆的复杂3D场景方面取得了巨大成功。然而，当前基于NERF的姿势估计量没有初始姿势预测，并且在优化过程中易于局部优势。在本文中，我们介绍了纬度：全球定位，具有截短的动态低通滤波器，该过滤器引入了城市规模的NERF中的两阶段定位机制。在识别阶段，我们通过训练有素的NERFS生成的图像来训练回归器，该图像为全球本地化提供了初始值。在姿势优化阶段，我们通过直接优化切线平面上的姿势来最大程度地减少观察到的图像之间的残差和渲染图像。为了避免收敛到局部最优，我们引入了一个截短的动态低通滤波器（TDLF），以进行粗到细小的姿势注册。我们在合成和现实世界中评估了我们的方法，并显示了其在大规模城市场景中高精度导航的潜在应用。代码和数据将在https://github.com/jike5/latitude上公开获取。

视觉定位，即相机姿势估计的问题，是应用程序和增强现实系统等应用的核心组成部分。文献中的主要方法是基于从图像中提取的局部特征来扩展到大型场景并处理复杂的照明和季节性变化。场景表示形式是与特定本地特征相关的稀疏结构云。切换到另一种功能类型需要在用于构造点云的数据库图像之间昂贵的功能匹配步骤。在这项工作中，我们基于密集的3D网格探索了一个更灵活的替代方案，该替代方案不需要在数据库图像之间匹配的功能来构建场景表示。我们表明，这种方法可以实现最新的结果。我们进一步表明，当在没有任何神经渲染阶段的渲染效果上提取功能时，即使在没有颜色或纹理的原始场景几何形状时，也可以获得令人惊讶的竞争结果。我们的结果表明，基于3D模型的密集表示是现有表示形式的有希望的替代方法，并指出了未来研究的有趣且具有挑战性的方向。

球形摄像机以整体方式捕获场景，并已用于房间布局估计。最近，随着适当数据集的可用性，从单个全向图像中的深度估计也取得了进展。尽管这两个任务是互补的，但很少有作品能够并行探索它们以提高室内几何感知，而那些这样做的人则依靠合成数据或使用过的小型数据集，因为很少有选项可供选择，包括两个布局。在真实场景中的注释和密集的深度图。这部分是由于需要对房间布局进行手动注释。在这项工作中，我们超越了此限制，并生成360几何视觉（360V）数据集，该数据集包括多种模式，多视图立体声数据并自动生成弱布局提示。我们还探索了两个任务之间的明确耦合，以将它们集成到经过单打的训练模型中。我们依靠基于深度的布局重建和基于布局的深度注意，这表明了两项任务的性能提高。通过使用单个360摄像机扫描房间，出现了便利和快速建筑规模3D扫描的机会。