点云注册旨在估计两点云扫描之间的几何变换，在该点对应的估计中是其成功的关键。除了先前通过手工制作或学习的几何特征寻求对应的方法外，最近的点云注册方法还尝试应用RGB-D数据以实现更准确的对应关系。但是，有效地融合了这两种独特方式的几何和视觉信息并不是微不足道的，尤其是对于注册问题而言。在这项工作中，我们提出了一种新的几何感知视觉特征提取器（给出），该提取器采用多尺度的本地线性转换来逐步融合这两种方式，其中深度数据的几何特征是几何依赖于几何依赖的卷积内核来转换RGB数据的视觉功能。最终的视觉几何特征位于典型的特征空间中，由于几何变化引起的视觉差异可缓解，因此可以实现更可靠的对应关系。提出的给出的模块可以很容易地插入最近的RGB-D点云注册框架中。在3D匹配和扫描仪上进行的广泛实验表明，即使没有信件或姿势监督，我们的方法即使在没有通信或姿势的情况下也优于最先进的点云注册方法。该代码可在以下网址获得：https：//github.com/514DNA/llt。

3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

配对点云之间的低空区域使被捕获的特征非常自信，导致尖端模型以质量较差的云登记。除了传统的智慧之外，我们还提出了一个有趣的问题：是否有可能在两个低重叠点云之间利用中间却又错位的图像来增强尖端注册模型的性能？为了回答它，我们提出了一个被称为Imlovenet的低重叠点云对的未对准图像支持的注册网络。 Imlovenet首先学习跨不同模态的三重深特征，然后将这些特征导出到两个阶段分类器中，以逐步获得两个点云之间的高信心重叠区域。因此，软对应关系在预测的重叠区域中得到了很好的确定，从而导致了准确的刚性转换。 Imlovenet易于实现，但有效，因为1）未对准的图像为两个低重叠点云提供了更清晰的重叠信息，以更好地定位重叠零件； 2）它包含某些几何知识，以提取更好的深度特征； 3）它不需要成像设备的外部参数，相对于3D点云的参考框架。对各种基准的广泛定性和定量评估证明了我们的iMlovenet比最新方法的有效性和优越性。

现有的最先进的点描述符仅依赖于结构信息，从而省略纹理信息。然而，纹理信息对于我们的人类来区分场景部分至关重要。此外，基于学习的点描述符是尚不清楚原始点如何贡献到最终描述符的黑框。在本文中，我们提出了一种新的多模式融合方法，通过考虑结构和纹理信息来生成点云注册描述符。具体地，设计一种新的关注融合模块，用于提取描述符提取的加权纹理信息。此外，我们提出了一个可解释的模块来解释有助于最终描述符的原始点。我们使用描述符元素作为对目标层的丢失丢失，并将梯度视为对最终描述符的这一点的重要性。本文进一步移动了一步，以解释注册任务中的深度学习。 3DMATCH，3DLomatch和Kitti的综合实验表明，多模式融合描述符实现最先进的准确性并提高描述符的独特性。我们还表明我们的可解释模块在解释注册描述符提取时。

在本文中，我们基于我们对多视图立体声（MVS）中的特征匹配的探索来呈现TransVSNet。我们将MVS模拟返回其特征匹配任务的性质，因此提出了一个强大的功能匹配变换器（FMT），以利用（自我）和（交叉）关注（交叉）在图像内和跨越图像中聚合的长程上下文信息。为了便于更好地调整FMT，我们利用自适应接收领域（ARF）模块，以确保在特征范围内平滑过境，并使用特征途径桥接不同阶段，以通过不同尺度的转换特征和梯度。此外，我们应用配对特征相关性以测量特征之间的相似性，并采用歧义降低焦损，以加强监管。据我们所知，TransmVSNet首次尝试将变压器利用到MV的任务。因此，我们的方法在DTU数据集，坦克和寺庙基准测试和BlendedMVS数据集中实现了最先进的性能。我们的方法代码将在https://github.com/megviirobot/transmvsnet中提供。

引导过滤器是计算机视觉和计算机图形中的基本工具，旨在将结构信息从引导图像传输到目标图像。大多数现有方法构造来自指导本身的滤波器内核，而不考虑指导和目标之间的相互依赖性。然而，由于两种图像中通常存在显着不同的边沿，只需将引导的所有结构信息传送到目标即将导致各种伪像。要应对这个问题，我们提出了一个名为Deep Enterponal引导图像过滤的有效框架，其过滤过程可以完全集成两个图像中包含的互补信息。具体地，我们提出了一种注意力内核学习模块，分别从引导和目标生成双组滤波器内核，然后通过在两个图像之间建模像素方向依赖性来自适应地组合它们。同时，我们提出了一种多尺度引导图像滤波模块，以粗略的方式通过所构造的内核逐渐产生滤波结果。相应地，引入了多尺度融合策略以重用中间导点在粗略的过程中。广泛的实验表明，所提出的框架在广泛的引导图像滤波应用中，诸如引导超分辨率，横向模态恢复，纹理拆除和语义分割的最先进的方法。

点云注册是许多任务的基本步骤。在本文中，我们提出了一个名为detarnet的神经网络，将$ t $和旋转降序，以克服Point云注册的相互干扰导致的性能下降。首先，提出了一种基于暹罗网络的渐进和相干特征漂移（PCFD）模块以对准高维特征空间中的源点和目标点，并准确地从对准过程恢复转换。然后，我们提出了一种共识编码单元（CEU），以构建一组推定的对应关系的更区别特征。之后，采用空间和信道注意力（SCA）块来构建用于寻找良好通信的分类网络。最后，通过奇异值分解（SVD）获得旋转。以这种方式，所提出的网络对翻译和旋转的估计进行了解耦，导致它们两个的更好的性能。实验结果表明，拟议的Detarnet在室内和室外场景中提高了登记性能。我们的代码将在\ url {https://github.com/zhichen902/detarnet}中获得。

成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是，现有的神经描述符要么利用旋转变化的主链，其性能在较大的旋转下下降，要么编码局部几何形状，而局部几何形状不太明显。为了解决这个问题，我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征（PPF）中，旋转不变的局部几何形状被编码为几何描述符。随后，全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说，整个框架的3D结构首先由我们的全球PPF签名表示，从中学到了结构描述符，以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后，将稀疏区域的描述插值到密集的点描述符，从中提取对应关系进行注册。为了验证我们的方法，我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下，Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度，并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。

高信心重叠的预测和准确的对应关系对于以部分到派对方式对齐成对点云至关重要。但是，重叠区域和非重叠区域之间存在固有的不确定性，这些区域一直被忽略并显着影响注册绩效。除了当前的智慧之外，我们提出了一种新颖的不确定性意识到的重叠预测网络，称为Utopic，以解决模棱两可的重叠预测问题。据我们所知，这是第一个明确引入重叠不确定性以指向云注册的人。此外，我们诱导特征提取器通过完成解码器隐式感知形状知识，并为变压器提供几何关系嵌入，以获得转换 - 不变性的几何形状感知特征表示。凭借更可靠的重叠得分和更精确的密度对应关系的优点，即使对于有限的重叠区域的输入，乌托邦也可以实现稳定而准确的注册结果。关于合成和实际基准的广泛定量和定性实验证明了我们的方法优于最先进的方法。代码可从https://github.com/zhileichen99/utopic获得。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

准确的三维感知是几个计算机视觉应用程序中的一项基本任务。最近，由于其有效的深度感应能力，商用RGB深度（RGB-D）相机已被广泛用作单视深度感应设备。但是，由于单视环境的固有噪声，大多数RGB-D传感器的深度质量仍然不足。最近，一些研究集中在RGB-D摄像机的单视深度增强上。最近的研究提出了基于深度学习的方法，通常使用高质量的监督深度数据集训练网络，这表明地面真相（GT）深度数据集的质量是准确系统的最重要的重要因素。但是，这种高质量的GT数据集很难获得。在这项研究中，我们开发了一种基于RGB-D流数据集的高质量GT深度生成的新方法。首先，我们将局部空间区域中的连续深度帧定义为本地框架集。然后，使用无监督的点云注册方案将深度框架对齐到本地框架集中的某个帧。根据过度培训方案对注册参数进行了训练，该方案主要用于为每个帧集构造单个GT深度图像。最终的GT深度数据集是使用多个本地框架集构建的，每个本地框架集经过独立训练。这项研究的主要优点是，只能使用RGB-D流数据集在各种扫描环境下构建高质量的GT深度数据集。此外，我们提出的方法可以用作新的基准GT数据集，以进行准确的性能评估。我们在先前基准的GT深度数据集上评估了GT数据集，并证明我们的方法优于最新的深度增强框架。

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

在本文中，我们在短PCCC中呈现点云颜色恒定，这是利用点云的照明色度估计算法。我们利用飞行时间（TOF）传感器捕获的深度信息与RGB传感器刚性安装，并形成一个6D云，其中每个点包含坐标和RGB强度，指出为（x，y，z，r，g，b）。PCCC将注意力架构应用于色彩恒定问题，导出照明矢量点明智，然后制定关于全局照明色度的全局决定。在两个流行的RGB-D数据集上，我们使用照明信息以及新颖的基准延伸，PCCC比最先进的算法获得更低的错误。我们的方法简单且快速，仅需要16 * 16尺寸的输入和超过500 FPS的速度，包括建立点云和净推理的成本。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

我们提出了一个有效的多视角立体声（MVS）网络，用于从多个RGB图像中推断深度值。最近的研究表明，将实际空间中的几何关系映射到神经网络是MVS问题的重要主题。具体而言，这些方法着重于如何通过构造出色的成本量来表达不同视图之间的对应关系。在本文中，我们提出了一种基于吸收先前经验的更完整的成本量构建方法。首先，我们介绍了自我发挥的机制，以完全汇总输入图像的主导信息，并准确地对远程依赖性进行建模，以选择性地汇总参考特征。其次，我们将小组相关性引入特征聚合，从而大大减轻了记忆和计算负担。同时，此方法增强了不同特征通道之间的信息相互作用。通过这种方法，构建了更轻巧，更有效的成本量。最后，我们遵循粗略的策略，并借助不确定性估计，根据规模完善深度采样范围。我们进一步结合了以前的步骤，以获取注意力较薄。提出了定量和定性实验，以证明我们的模型的性能。

We present a learnt system for multi-view stereopsis. In contrast to recent learning based methods for 3D reconstruction, we leverage the underlying 3D geometry of the problem through feature projection and unprojection along viewing rays. By formulating these operations in a differentiable manner, we are able to learn the system end-to-end for the task of metric 3D reconstruction. End-to-end learning allows us to jointly reason about shape priors while conforming to geometric constraints, enabling reconstruction from much fewer images (even a single image) than required by classical approaches as well as completion of unseen surfaces. We thoroughly evaluate our approach on the ShapeNet dataset and demonstrate the benefits over classical approaches and recent learning based methods.

姿势注册在视觉和机器人技术中至关重要。本文重点介绍了无初始化姿势注册的挑战性任务，最高为7DOF，用于均质和异质测量。虽然最近基于学习的方法显示了使用可区分求解器的希望，但它们要么依赖于启发式定义的对应关系，要么易于局部最小值。我们提出了一个可区分的相关（DPC）求解器，该求解器是全球收敛性且无对应的。当与简单的特征提取网络结合使用时，我们的一般框架DPCN ++允许使用任意初始化的多功能姿势注册。具体而言，特征提取网络首先从一对均质/异质测量值中学习致密特征网格。然后将这些特征网格转换为基于傅立叶变换和球形径向聚集的翻译和比例不变频谱表示形式，将翻译转换和从旋转中脱钩。接下来，使用DPC求解器在频谱中独立有效地估计旋转，比例和翻译。整个管道都是可区分和训练的端到端。我们评估了DCPN ++在多种注册任务上，以不同的输入方式，包括2D Bird的视图图像，3D对象和场景测量以及医疗图像。实验结果表明，DCPN ++的表现优于经典和基于学习的基础线，尤其是在部分观察到的异质测量方面。

我们提出了一种对类别级别的6D对象姿势和大小估计的新方法。为了解决类内的形状变化，我们学习规范形状空间（CASS），统一表示，用于某个对象类别的各种情况。特别地，CASS被建模为具有标准化姿势的规范3D形状深度生成模型的潜在空间。我们训练变形式自动编码器（VAE），用于从RGBD图像中的规范空间中生成3D点云。 VAE培训以跨类方式培训，利用公开的大型3D形状存储库。由于3D点云在归一化姿势（具有实际尺寸）中生成，因此VAE的编码器学习视图分解RGBD嵌入。它将RGBD图像映射到任意视图中以独立于姿势的3D形状表示。然后通过将对象姿势与用单独的深神经网络提取的输入RGBD的姿势相关的特征进行对比姿势估计。我们将CASS和姿势和大小估计的学习集成到最终的培训网络中，实现了最先进的性能。