我们介绍了一种从单视图检测3D镜面的几何启发深度学习方法。我们通过明确地将3D镜几何形状作为学习作为电感来减少对大规模培训数据的需求。我们提取语义特征，计算帧内像素相关性，并为每个平面构建3D相关体积。相关体积指示输入在各种深度以其镜子类似的程度，允许我们识别给定平面是镜面平面的可能性。随后，我们将相关卷视为用于采样平面的特征描述符，并将其映射到单位半球，其中采样平面的正常呈现。最后，我们设计了多级球面卷曲，以粗糙的方式识别最佳镜面。合成和现实世界数据集的实验显示了3D镜像几何形状的好处，以提高数据效率和推论速度（最多25 FPS）。

我们提出了一种准确的3D重建方法的方法。我们基于神经重建和渲染（例如神经辐射场（NERF））的最新进展的优势。这种方法的一个主要缺点是，它们未能重建对象的任何部分，这些部分在训练图像中不明确可见，这通常是野外图像和视频的情况。当缺乏证据时，可以使用诸如对称的结构先验来完成缺失的信息。但是，在神经渲染中利用此类先验是高度不平凡的：虽然几何和非反射材料可能是对称的，但环境场景的阴影和反射通常不是对称的。为了解决这个问题，我们将软对称性约束应用于3D几何和材料特性，并将外观纳入照明，反照率和反射率。我们在最近引入的CO3D数据集上评估了我们的方法，这是由于重建高度反射材料的挑战，重点是汽车类别。我们表明，它可以用高保真度重建未观察到的区域，并渲染高质量的新型视图图像。

3D扫描是一种复杂的多级进程，它产生了由于遮挡，反射，阴影，扫描仪运动，物体表面的特定属性，对象曲线的特定属性，Imperfect重建算法等指向云完成而产生损坏部件的对象的点云。填写对象的缺失部分并获得其高质量的3D表示。现有的完成方法在学术数据集中表现良好，具有预定义的对象类和非常特定的缺陷类型;然而，它们的性能在真实的环境中下降，并在以前看不见的对象类上进一步降低。我们提出了一种在对称物体上表现良好的新颖框架，这些框架在人造环境中普遍存在。与基于学习的方法不同，所提出的框架不需要培训数据，并且能够使用例如在客户3D扫描过程中完成非关键损坏。 kinect，飞行时间或结构化光扫描仪。通过彻底的实验，我们表明拟议的框架在云完成现实世界客户扫描的点云完成时实现了最先进的效率。我们在两种类型的数据集中基准框架性能：正确增强现有的学术数据集和各种对象的实际3D扫描。

类别级别的姿势估计是由于类内形状变化而导致的一个具有挑战性的问题。最近的方法变形了预计的形状先验，将观察到的点云映射到归一化对象坐标空间中，然后通过后处理（即Umeyama的算法）检索姿势。这种两阶段策略的缺点在于两个方面：1）中间结果的替代监督无法直接指导姿势的学习，从而导致后期处理后造成了较大的姿势错误。 2）推理速度受后处理步骤的限制。在本文中，为了处理这些缺点，我们为类别级别的姿势估计提出了一个可端到端的可训练网络SSP置换，该网络将Shape Priors整合到直接的姿势回归网络中。 SSP置位堆栈在共享特征提取器上的四个单独分支，其中两个分支旨在变形和匹配先前的模型与观察到的实例，并应用了其他两个分支，以直接回归完全9度的自由度姿势和分别执行对称性重建和点对上的掩码预测。然后，自然利用一致性损失项，以对齐不同分支的产出并促进性能。在推断期间，仅需要直接姿势回归分支。通过这种方式，SSP置态不仅学习类别级别的姿势敏感特征以提高性能，而且还可以保持实时推理速度。此外，我们利用每个类别的对称信息来指导形状事先变形，并提出一种新颖的对称性损失来减轻匹配的歧义。公共数据集的广泛实验表明，与竞争对手相比，SSP置孔在约25Hz的实时推理速度中产生了出色的性能。

类别级的对象姿势估计旨在预测已知类别集的任意对象的6D姿势以及3D度量大小。最近的方法利用了先验改编的形状，以将观察到的点云映射到规范空间中，并应用Umeyama算法以恢复姿势和大小。然而，它们的形状先验整合策略间接增强了姿势估计，从而导致姿势敏感的特征提取和推理速度缓慢。为了解决这个问题，在本文中，我们提出了一个新颖的几何形状引导的残留对象边界框投影网络RBP置rbp置置，该框架共同预测对象的姿势和残留的矢量，描述了从形状优先指示的对象表面投影中的位移迈向真实的表面投影。残留矢量的这种定义本质上是零均值且相对较小，并且明确封装了3D对象的空间提示，以进行稳健和准确的姿势回归。我们强制执行几何学意识的一致性项，以使预测的姿势和残留向量对齐以进一步提高性能。

RGB图像的刚性对象的可伸缩6D构成估计旨在处理多个对象并推广到新物体。我们建立在一个著名的自动编码框架的基础上，以应对对象对称性和缺乏标记的训练数据，我们通过将自动编码器的潜在表示形状分解为形状并构成子空间来实现可伸缩性。潜在形状空间通过对比度度量学习模型不同对象的相似性，并将潜在姿势代码与旋转检索的规范旋转进行比较。由于不同的对象对称会诱导不一致的潜在姿势空间，因此我们用规范旋转重新输入形状表示，以生成形状依赖的姿势代码簿以进行旋转检索。我们在两个基准上显示了最新的性能，其中包含无类别和每日对象的无纹理CAD对象，并通过扩展到跨类别的每日对象的更具挑战性的设置，进一步证明了可扩展性。

我们提出了PlanarRecon-从摆姿势的单眼视频中对3D平面进行全球连贯检测和重建的新型框架。与以前的作品从单个图像中检测到2D的平面不同，PlanarRecon逐步检测每个视频片段中的3D平面，该片段由一组关键帧组成，由一组关键帧组成，使用神经网络的场景体积表示。基于学习的跟踪和融合模块旨在合并以前片段的平面以形成连贯的全球平面重建。这种设计使PlanarRecon可以在每个片段中的多个视图中整合观察结果，并在不同的信息中整合了时间信息，从而使场景抽象的准确且相干地重建具有低聚合物的几何形状。实验表明，所提出的方法在实时时可以在扫描仪数据集上实现最先进的性能。

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

本文介绍了一个有效的对称性和无对应框架，称为SC6D，对于单个单眼RGB图像的6D对象姿势估计。SC6D既不需要对象的3D CAD模型，也不需要对称对称的任何先验知识。姿势估计分解为三个子任务：a）对象3D旋转表示学习和匹配；b）估计对象中心的2D位置；和c）通过分类的比例不变距离估计（沿Z轴的翻译）。SC6D在三个基准数据集（T-less，YCB-V和ITODD）上进行了评估，并在T-less数据集中获得最先进的性能。此外，SC6D在计算上比以前的最新方法Surfemb更有效。实施和预培训模型可在https://github.com/dingdingcai/sc6d-pose上公开获得。

在不同观点之间找到准确的对应关系是无监督的多视图立体声（MVS）的跟腱。现有方法是基于以下假设：相应的像素具有相似的光度特征。但是，在实际场景中，多视图图像观察到非斜面的表面和经验遮挡。在这项工作中，我们提出了一种新颖的方法，即神经渲染（RC-MVSNET），以解决观点之间对应关系的歧义问题。具体而言，我们施加了一个深度渲染一致性损失，以限制靠近对象表面的几何特征以减轻遮挡。同时，我们引入了参考视图综合损失，以产生一致的监督，即使是针对非兰伯特表面。关于DTU和TANKS \＆Temples基准测试的广泛实验表明，我们的RC-MVSNET方法在无监督的MVS框架上实现了最先进的性能，并对许多有监督的方法进行了竞争性能。该代码在https://github.com/上发布。 BOESE0601/RC-MVSNET

姿势注册在视觉和机器人技术中至关重要。本文重点介绍了无初始化姿势注册的挑战性任务，最高为7DOF，用于均质和异质测量。虽然最近基于学习的方法显示了使用可区分求解器的希望，但它们要么依赖于启发式定义的对应关系，要么易于局部最小值。我们提出了一个可区分的相关（DPC）求解器，该求解器是全球收敛性且无对应的。当与简单的特征提取网络结合使用时，我们的一般框架DPCN ++允许使用任意初始化的多功能姿势注册。具体而言，特征提取网络首先从一对均质/异质测量值中学习致密特征网格。然后将这些特征网格转换为基于傅立叶变换和球形径向聚集的翻译和比例不变频谱表示形式，将翻译转换和从旋转中脱钩。接下来，使用DPC求解器在频谱中独立有效地估计旋转，比例和翻译。整个管道都是可区分和训练的端到端。我们评估了DCPN ++在多种注册任务上，以不同的输入方式，包括2D Bird的视图图像，3D对象和场景测量以及医疗图像。实验结果表明，DCPN ++的表现优于经典和基于学习的基础线，尤其是在部分观察到的异质测量方面。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

我们提出了一种称为DPODV2（密集姿势对象检测器）的三个阶段6 DOF对象检测方法，该方法依赖于致密的对应关系。我们将2D对象检测器与密集的对应关系网络和多视图姿势细化方法相结合，以估计完整的6 DOF姿势。与通常仅限于单眼RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像方式（RGB或DEPTH）。此外，我们提出了一种基于可区分渲染的新型姿势改进方法。主要概念是在多个视图中比较预测并渲染对应关系，以获得与所有视图中预测的对应关系一致的姿势。我们提出的方法对受控设置中的不同数据方式和培训数据类型进行了严格的评估。主要结论是，RGB在对应性估计中表现出色，而如果有良好的3D-3D对应关系，则深度有助于姿势精度。自然，他们的组合可以实现总体最佳性能。我们进行广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。 DPODV2在所有这些方面都取得了出色的成果，同时仍然保持快速和可扩展性，独立于使用的数据模式和培训数据的类型

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

深度学习对多视图立体声系统产生了重大影响。最先进的方法通常涉及构建成本量，然后是多个3D卷积操作来恢复输入图像的像素方面深度。虽然这种平面扫描立体声的最终学习推进了公共基准的准确性，但它们通常很慢。我们展示了一个高效的多视图立体声算法，通过注意机制将多视图约束无缝地集成到单视网中。由于\ Ouralg仅在2D卷积上建立，它比所有值得注意的对应物更快2美元。此外，我们的算法产生精确的深度估计和3D重建，实现最先进的结果，以具有挑战性的基准剪刀，Sun3D，RGBD和古典DTU数据集。我们的算法还在Inexact相机姿势的设置中进行了所有其他算法。我们的代码在\ url {https:/github.com/zhenpeiyang/mvs2d}释放

This paper studies the challenging two-view 3D reconstruction in a rigorous sparse-view configuration, which is suffering from insufficient correspondences in the input image pairs for camera pose estimation. We present a novel Neural One-PlanE RANSAC framework (termed NOPE-SAC in short) that exerts excellent capability to learn one-plane pose hypotheses from 3D plane correspondences. Building on the top of a siamese plane detection network, our NOPE-SAC first generates putative plane correspondences with a coarse initial pose. It then feeds the learned 3D plane parameters of correspondences into shared MLPs to estimate the one-plane camera pose hypotheses, which are subsequently reweighed in a RANSAC manner to obtain the final camera pose. Because the neural one-plane pose minimizes the number of plane correspondences for adaptive pose hypotheses generation, it enables stable pose voting and reliable pose refinement in a few plane correspondences for the sparse-view inputs. In the experiments, we demonstrate that our NOPE-SAC significantly improves the camera pose estimation for the two-view inputs with severe viewpoint changes, setting several new state-of-the-art performances on two challenging benchmarks, i.e., MatterPort3D and ScanNet, for sparse-view 3D reconstruction. The source code is released at https://github.com/IceTTTb/NopeSAC for reproducible research.

在本文中，我们基于我们对多视图立体声（MVS）中的特征匹配的探索来呈现TransVSNet。我们将MVS模拟返回其特征匹配任务的性质，因此提出了一个强大的功能匹配变换器（FMT），以利用（自我）和（交叉）关注（交叉）在图像内和跨越图像中聚合的长程上下文信息。为了便于更好地调整FMT，我们利用自适应接收领域（ARF）模块，以确保在特征范围内平滑过境，并使用特征途径桥接不同阶段，以通过不同尺度的转换特征和梯度。此外，我们应用配对特征相关性以测量特征之间的相似性，并采用歧义降低焦损，以加强监管。据我们所知，TransmVSNet首次尝试将变压器利用到MV的任务。因此，我们的方法在DTU数据集，坦克和寺庙基准测试和BlendedMVS数据集中实现了最先进的性能。我们的方法代码将在https://github.com/megviirobot/transmvsnet中提供。

In this paper, we present a learning-based approach for multi-view stereo (MVS), i.e., estimate the depth map of a reference frame using posed multi-view images. Our core idea lies in leveraging a "learning-to-optimize" paradigm to iteratively index a plane-sweeping cost volume and regress the depth map via a convolutional Gated Recurrent Unit (GRU). Since the cost volume plays a paramount role in encoding the multi-view geometry, we aim to improve its construction both in pixel- and frame- levels. In the pixel level, we propose to break the symmetry of the Siamese network (which is typically used in MVS to extract image features) by introducing a transformer block to the reference image (but not to the source images). Such an asymmetric volume allows the network to extract global features from the reference image to predict its depth map. In view of the inaccuracy of poses between reference and source images, we propose to incorporate a residual pose network to make corrections to the relative poses, which essentially rectifies the cost volume in the frame-level. We conduct extensive experiments on real-world MVS datasets and show that our method achieves state-of-the-art performance in terms of both within-dataset evaluation and cross-dataset generalization.

Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.

We present a learnt system for multi-view stereopsis. In contrast to recent learning based methods for 3D reconstruction, we leverage the underlying 3D geometry of the problem through feature projection and unprojection along viewing rays. By formulating these operations in a differentiable manner, we are able to learn the system end-to-end for the task of metric 3D reconstruction. End-to-end learning allows us to jointly reason about shape priors while conforming to geometric constraints, enabling reconstruction from much fewer images (even a single image) than required by classical approaches as well as completion of unseen surfaces. We thoroughly evaluate our approach on the ShapeNet dataset and demonstrate the benefits over classical approaches and recent learning based methods.