高信心重叠的预测和准确的对应关系对于以部分到派对方式对齐成对点云至关重要。但是，重叠区域和非重叠区域之间存在固有的不确定性，这些区域一直被忽略并显着影响注册绩效。除了当前的智慧之外，我们提出了一种新颖的不确定性意识到的重叠预测网络，称为Utopic，以解决模棱两可的重叠预测问题。据我们所知，这是第一个明确引入重叠不确定性以指向云注册的人。此外，我们诱导特征提取器通过完成解码器隐式感知形状知识，并为变压器提供几何关系嵌入，以获得转换 - 不变性的几何形状感知特征表示。凭借更可靠的重叠得分和更精确的密度对应关系的优点，即使对于有限的重叠区域的输入，乌托邦也可以实现稳定而准确的注册结果。关于合成和实际基准的广泛定量和定性实验证明了我们的方法优于最先进的方法。代码可从https://github.com/zhileichen99/utopic获得。

3D point cloud registration is a fundamental problem in computer vision and robotics. Recently, learning-based point cloud registration methods have made great progress. However, these methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matching-based framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by a correspondence-based solver. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on object-level and scene-level benchmark datasets show that the proposed method achieves state-of-the-art performance. The code is available at: \href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}.

由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。

配对点云之间的低空区域使被捕获的特征非常自信，导致尖端模型以质量较差的云登记。除了传统的智慧之外，我们还提出了一个有趣的问题：是否有可能在两个低重叠点云之间利用中间却又错位的图像来增强尖端注册模型的性能？为了回答它，我们提出了一个被称为Imlovenet的低重叠点云对的未对准图像支持的注册网络。 Imlovenet首先学习跨不同模态的三重深特征，然后将这些特征导出到两个阶段分类器中，以逐步获得两个点云之间的高信心重叠区域。因此，软对应关系在预测的重叠区域中得到了很好的确定，从而导致了准确的刚性转换。 Imlovenet易于实现，但有效，因为1）未对准的图像为两个低重叠点云提供了更清晰的重叠信息，以更好地定位重叠零件； 2）它包含某些几何知识，以提取更好的深度特征； 3）它不需要成像设备的外部参数，相对于3D点云的参考框架。对各种基准的广泛定性和定量评估证明了我们的iMlovenet比最新方法的有效性和优越性。

成功的点云注册依赖于在强大的描述符上建立的准确对应关系。但是，现有的神经描述符要么利用旋转变化的主链，其性能在较大的旋转下下降，要么编码局部几何形状，而局部几何形状不太明显。为了解决这个问题，我们介绍Riga以学习由设计和全球了解的旋转不变的描述符。从稀疏局部区域的点对特征（PPF）中，旋转不变的局部几何形状被编码为几何描述符。随后，全球对3D结构和几何环境的认识都以旋转不变的方式合并。更具体地说，整个框架的3D结构首先由我们的全球PPF签名表示，从中学到了结构描述符，以帮助几何描述符感知本地区域以外的3D世界。然后将整个场景的几何上下文全局汇总到描述符中。最后，将稀疏区域的描述插值到密集的点描述符，从中提取对应关系进行注册。为了验证我们的方法，我们对对象和场景级数据进行了广泛的实验。在旋转较大的情况下，Riga就模型Net40的相对旋转误差而超过了最先进的方法8 \度，并将特征匹配的回忆提高了3DLOMATCH上的至少5个百分点。

我们提出了一种基于学习的刚性和可变形场景的基于学习方法的方法。LePard的关键特征是利用点云匹配的3D位置知识的以下方法：1）将点云表示分为特征空间和3D位置空间的架构。2）一种位置编码方法，其通过向量的点产品明确地明确地揭示了3D相对距离信息。3）修改交叉点云相对位置的重新定位技术。消融研究证明了上述技术的有效性。对于刚性点云匹配，Lepard在3DMatch / 3DLomatch基准上为93.6％/ 69.0％的注册召回设置了新的最先进的。在可变形的情况下，Lepard达到+ 27.1％/ + 34.8％的非刚性特征匹配召回，而不是我们新建的4dmatch / 4dlomatch基准测试的现有技术。

生成一组高质量的对应关系或匹配是点云注册中最关键的步骤之一。本文通过共同考虑点对立的结构匹配来提出学习框架COTREG，以预测3D点云登记的对应关系。具体地，我们将这两个匹配转换为基于Wasserstein距离和基于Gromov-Wasserstein距离的优化。因此，建立对应关系的任务可以自然地重塑成耦合的最佳运输问题。此外，我们设计一个网络，以预测点云的每个点的置信度，其提供重叠区域信息以产生对应关系。我们的对应预测管道可以很容易地集成到基于学习的特征，如FCGF或FPFH等传统描述符。我们在3DMATCH，KITTI，3DCSR和ModelNet40基准上进行了全面的实验，显示了所提出的方法的最先进的性能。

准确和高效的点云注册是一个挑战，因为噪音和大量积分影响了对应搜索。这一挑战仍然是一个剩余的研究问题，因为大多数现有方法都依赖于对应搜索。为了解决这一挑战，我们通过调查深生成的神经网络来点云注册来提出新的数据驱动登记算法。给定两个点云，动机是直接生成对齐的点云，这在许多应用中非常有用，如3D匹配和搜索。我们设计了一个端到端的生成神经网络，用于对齐点云生成以实现这种动机，包含三种新组件。首先，提出了一种点多感知层（MLP）混频器（PointMixer）网络以便在自点云中有效地维护全局和局部结构信息。其次，提出了一种特征交互模块来融合来自交叉点云的信息。第三，提出了一种并行和差分样本共识方法来基于所生成的登记结果计算输入点云的变换矩阵。所提出的生成神经网络通过维持数据分布和结构相似度，在GAN框架中训练。 ModelNet40和7Scene数据集的实验表明，所提出的算法实现了最先进的准确性和效率。值得注意的是，与基于最先进的对应的算法相比，我们的方法减少了注册错误（CD）的$ 2 \次数为$ 12 \倍运行时间。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

由直觉的激励，即在相应的3D点云中定位2D图像的关键步骤正在建立它们之间的2d-3d对应关系，我们提出了第一个基于特征的密度通信框架，以解决图像到点云注册问题，称为Corri2p，由三个模块组成，即特征嵌入，对称重叠区域检测和通过已建立的对应关系构成估计。具体而言，给定一对2D图像和3D点云，我们首先将它们转换为高维特征空间，并将结果特征馈入对称重叠区域检测器，以确定图像和点云相互重叠的区域。然后，我们使用重叠区域的功能在RANSAC内运行EPNP之前以估算相机的姿势，以建立2D-3D对应关系。 Kitti和Nuscenes数据集的实验结果表明，我们的Corri2p优于最先进的图像到点云注册方法。我们将公开提供代码。

最近的基于变压器的方法通过利用变压器的优势在秩序 - 不变性和建模依赖性依赖于聚合信息来实现高级云注册的高级性能。然而，它们仍然遭受模糊的特征提取，对噪音和异常值的敏感性。原因是：（1）采用CNNS由于其本地接受领域而无法模拟全球关系，导致易受噪声的提取特征; （2）变压器的浅宽度和位置编码缺乏由于效率低下的信息相互作用导致模糊的特征提取; （3）遗漏几何兼容性导致入世与异常值之间的分类不准确。为了满足以上限制，提出了一种用于点云注册的新型变压器网络，命名为深度交互式变换器（DIT），它包含：（1）点云结构提取器（PSE）来模拟全球关系，并通过变压器检索结构信息编码器; （2）深窄点特征变压器（PFT），以便于与位置编码的两个点云相互作用，使得变压器可以建立综合关联，直接学习点之间的相对位置; （3）基于几何匹配的对应置信置信度评估（GMCCE）方法来测量空间一致性，并通过设计三角形描述符来估计inlier置信度。在清洁，嘈杂，部分重叠点云注册的广泛实验表明我们的方法优于最先进的方法。

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

部分重叠点云的实时登记具有对自治车辆和多助手SLAM的合作看法的新兴应用。这些应用中点云之间的相对转换高于传统的SLAM和OCOMOTRY应用程序，这挑战了对应的识别和成功的注册。在本文中，我们提出了一种用于部分重叠点云的新颖注册方法，其中使用有效的点亮特征编码器学习对应关系，并使用基于图形的注意网络改进。这种注意网络利用关键点之间的几何关系，以改善点云中的匹配，低重叠。在推断时间下，通过通过样本共识稳健地拟合对应关系来获得相对姿态变换。在基蒂数据集和新的合成数据集上进行评估，包括低重叠点云，位移高达30米。所提出的方法在Kitti DataSet上使用最先进的方法实现了对映射性能，并且优于低重叠点云的现有方法。此外，所提出的方法可以比竞争方法更快地实现更快的推理时间，低至410ms，低至410ms。我们的代码和数据集可在https://github.com/eduardohenriquearnold/fastreg提供。

Point cloud registration is a key problem for computer vision applied to robotics, medical imaging, and other applications. This problem involves finding a rigid transformation from one point cloud into another so that they align. Iterative Closest Point (ICP) and its variants provide simple and easily-implemented iterative methods for this task, but these algorithms can converge to spurious local optima.To address local optima and other difficulties in the ICP pipeline, we propose a learning-based method, titled Deep Closest Point (DCP), inspired by recent techniques in computer vision and natural language processing. Our model consists of three parts: a point cloud embedding network, an attention-based module combined with a pointer generation layer, to approximate combinatorial matching, and a differentiable singular value decomposition (SVD) layer to extract the final rigid transformation. We train our model end-to-end on the ModelNet40 dataset and show in several settings that it performs better than ICP, its variants (e.g., Go-ICP, FGR), and the recently-proposed learning-based method PointNetLK. Beyond providing a state-of-the-art registration technique, we evaluate the suitability of our learned features transferred to unseen objects. We also provide preliminary analysis of our learned model to help understand whether domain-specific and/or global features facilitate rigid registration.

我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的，但文献仍然缺乏围绕闭塞观察到的真实，嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云，我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数，以有效地规范变形，同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息，我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能，同时可以灵活，高效，因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。

如何提取重要点云特征并估计它们之间的姿势仍然是一个具有挑战性的问题，因为点云的固有缺乏结构和暧昧的顺序排列。尽管对大多数3D计算机视觉任务的基于深度学习的方法进行了重大改进，例如对象分类，对象分割和点云注册，但功能之间的一致性在现有的基于学习的流水线上仍然没有吸引力。在本文中，我们提出了一种用于复杂对准场景的新型学习的对齐网络，标题为深度特征一致性，并由三个主模块组成：多尺度图形特征合并网络，用于将几何对应集转换为高维特征，对应加权用于构建多个候选内部子集的模块，以及命名为深度特征匹配的Procrustes方法，用于给出闭合方案来估计相对姿势。作为深度特征匹配模块的最重要步骤，构造每个Inlier子集的特征一致性矩阵以获得其主要向量作为相应子集的含义似然性。我们全面地验证了我们在3DMATCH数据集和基提ODOMOTRY数据集中的方法的鲁棒性和有效性。对于大型室内场景，3DMATCH数据集上的注册结果表明，我们的方法优于最先进的传统和基于学习的方法。对于Kitti户外场景，我们的方法仍然能够降低转换错误。我们还在交叉数据集中探讨其强大的泛化能力。

最近的3D注册方法可以有效处理大规模或部分重叠的点对。然而，尽管具有实用性，但在空间尺度和密度方面与不平衡对匹配。我们提出了一种新颖的3D注册方法，称为uppnet，用于不平衡点对。我们提出了一个层次结构框架，通过逐渐减少搜索空间，可以有效地找到近距离的对应关系。我们的方法预测目标点的子区域可能与查询点重叠。以下超点匹配模块和细粒度的细化模块估计两个点云之间的准确对应关系。此外，我们应用几何约束来完善满足空间兼容性的对应关系。对应性预测是对端到端训练的，我们的方法可以通过单个前向通行率预测适当的刚体转换，并给定点云对。为了验证提出方法的疗效，我们通过增强Kitti LiDAR数据集创建Kitti-UPP数据集。该数据集的实验表明，所提出的方法显着优于最先进的成对点云注册方法，而当目标点云大约为10 $ \ times $ higation时，注册召回率的提高了78％。比查询点云大约比查询点云更密集。

刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而，仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册，融合封闭形式的通用Mani-折叠嵌入（UME）方法和深神经网络。这两者组合成一个统一的框架，名为Deepume，训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案，我们采用So（3） - 识别的坐标系来学习点云的联合重采样策略等（3） - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数，旨在克服在对称形状的注册中出现的歧义问题，当考虑嘈杂的场景时。我们表明，我们的混合方法在各种场景中优于最先进的注册方法，并概括到未操作数据集。我们的代码公开提供。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

变压器一直是自然语言处理（NLP）和计算机视觉（CV）革命的核心。 NLP和CV的显着成功启发了探索变压器在点云处理中的使用。但是，变压器如何应对点云的不规则性和无序性质？变压器对于不同的3D表示（例如，基于点或体素）的合适性如何？各种3D处理任务的变压器有多大的能力？截至目前，仍然没有对这些问题的研究进行系统的调查。我们第一次为3D点云分析提供了越来越受欢迎的变压器的全面概述。我们首先介绍变压器体系结构的理论，并在2D/3D字段中审查其应用程序。然后，我们提出三种不同的分类法（即实现 - 数据表示和基于任务），它们可以从多个角度对当前的基于变压器的方法进行分类。此外，我们介绍了研究3D中自我注意机制的变异和改进的结果。为了证明变压器在点云分析中的优势，我们提供了基于各种变压器的分类，分割和对象检测方法的全面比较。最后，我们建议三个潜在的研究方向，为3D变压器的开发提供福利参考。