我们为从大规模数据库中清洁CAD模型的细粒度检索提供了一种新解决方案，以恢复RGBD扫描的详细对象形状几何形状。与以前的工作不同，只需使用对象形状描述符并接受顶部检索结果，将其索引到中等小的数据库中，我们认为在大规模数据库的情况下，可以在描述符的邻域中找到更准确的模型。更重要的是，我们建议，可以通过基于几何形状的重新排列其在实例级别上的形状描述符的独特性缺陷。我们的方法首先利用了学习表示的判别能力来区分不同类别的模型，然后使用一种新颖的稳健点设置距离度量度量来重新置于CAD邻域，从而在大型数据库中实现了细粒度的检索。对现实世界数据集的评估表明，我们基于几何的重新排列是一种概念上简单但高效的方法，与最先进的方法相比，检索准确性可以显着提高。

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

本文介绍了一种数据驱动的形状完成方法，该方法着重于完成3D形状缺失区域的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，可以通过复杂的几何形状和拓扑合成合理的，细粒度的细节。我们的关键见解是从部分输入复制和变形补丁以完成缺失区域。这使我们能够保留本地几何特征的风格，即使它与培训数据有很大不同。我们的全自动方法分为两个阶段。首先，我们学会从输入形状检索候选补丁。其次，我们选择并变形了一些检索到的候选者，以无缝将它们融合到完整的形状中。该方法结合了两种最常见的完成方法的优点：基于相似性的单稳定性完成，以及通过学习形状空间来完成。我们通过从部分输入中检索贴片来利用重复模式，并通过使用神经网络来指导检索和变形步骤来学习全球结构先验。实验结果表明，我们的方法在多个数据集和形状类别上的表现非常优于基线。代码和数据可在https://github.com/gitbosun/patchrd上找到。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

点云正在获得突出的突出，作为代表3D形状的方法，但其不规则结构对深度学习方法构成了挑战。在本文中，我们提出了一种使用随机散步学习3D形状的新方法。以前的作品试图调整卷积神经网络（CNNS）或将网格或网格结构强加到3D点云。这项工作提出了一种不同的方法来表示和学习特定点集的形状。关键的想法是在多个随机散步通过云设置的点上施加结构，用于探索3D对象的不同区域。然后我们学习每次和每次步行代表，并在推理时聚合多个步行预测。我们的方法实现了两个3D形状分析任务的最先进结果：分类和检索。此外，我们提出了一种形状复杂性指示器功能，该函数使用交叉步道和步行间方差措施来细分形状空间。

Point clouds captured by scanning devices are often incomplete due to occlusion. Point cloud completion aims to predict the complete shape based on its partial input. Existing methods can be classified into supervised and unsupervised methods. However, both of them require a large number of 3D complete point clouds, which are difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, compared to some supervised methods, our method achieves similar performance. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

近年来，目睹了直接建立在点云上的学识渊博的代表。尽管变得越来越表现力，但大多数现有的表示仍然很难产生有序的点集。受到球形多视图扫描仪的启发，我们提出了一种称为Spotlights的新型采样模型，代表3D形状作为深度值的紧凑型1D阵列。它模拟了均匀分布在球体上的摄像机的配置，在该球体上，每个虚拟摄像机都会通过小同心球形盖上的样品点从主要点施放光线，以探测可能与球体包围的物体的相交。因此，结构化点云被隐式地作为深度的函数。我们提供了该新样本方案的详细几何分析，并在点云完成任务的背景下证明了其有效性。合成数据和真实数据的实验结果表明，我们的方法可以达到竞争精度和一致性，同时显着降低了计算成本。此外，我们在下游点云注册任务上显示出优于最新完成方法的性能。

Point cloud is an important type of geometric data structure. Due to its irregular format, most researchers transform such data to regular 3D voxel grids or collections of images. This, however, renders data unnecessarily voluminous and causes issues. In this paper, we design a novel type of neural network that directly consumes point clouds, which well respects the permutation invariance of points in the input. Our network, named PointNet, provides a unified architecture for applications ranging from object classification, part segmentation, to scene semantic parsing. Though simple, PointNet is highly efficient and effective. Empirically, it shows strong performance on par or even better than state of the art. Theoretically, we provide analysis towards understanding of what the network has learnt and why the network is robust with respect to input perturbation and corruption.

对于许多应用程序，例如同时本地化和映射（SLAM），基于点云的大规模识别是一项重要但具有挑战性的任务。以任务为云检索问题，以前的方法取得了令人愉快的成就。但是，如何处理由旋转问题引起的灾难性崩溃仍然不足。在本文中，为了解决这个问题，我们提出了一个基于点云的新型旋转型大型位置识别网络（RPR-NET）。特别是，为了解决问题，我们建议分三个步骤学习旋转不变的功能。首先，我们设计了三种新型的旋转不变特征（RIF），它们是可以保持旋转不变属性的低级特征。其次，使用这些Rifs，我们设计了一个细心的模块来学习旋转不变的内核。第三，我们将这些内核应用于先前的点云功能，以生成新功能，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变功能。我们将上述过程称为细心的旋转不变卷积（ARICONV）。为了实现位置识别目标，我们构建了RPR-NET，它将Ariconv作为构建密集网络体系结构的基本单元。然后，可以从RPR-NET中充分提取用于基于检索的位置识别的强大全局描述符。普遍数据​​集的实验结果表明，我们的方法可以在解决旋转问题时显着优于现有的最新位置识别模型的可比结果，并显着优于其他旋转不变的基线模型。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

您将如何修复大量错过的物理物体？您可能首先恢复其全球且粗糙的形状，并逐步增加其本地细节。我们有动力模仿上述物理维修程序，以解决点云完成任务。我们为各种3D模型提出了一个新颖的逐步点云完成网络（SPCNET）。 SPCNET具有层次的底部网络体系结构。它以迭代方式实现形状完成，1）首先扩展了粗糙结果的全局特征； 2）然后在全球功能的帮助下注入本地功能； 3）最终借助局部特征和粗糙的结果来渗透详细的结果。除了模拟物理修复的智慧之外，我们还新设计了基于周期损失％的训练策略，以增强SPCNET的概括和鲁棒性。广泛的实验清楚地表明了我们的SPCNET优于3D点云上最先进的方法，但错过了很大。

最近的3D注册方法可以有效处理大规模或部分重叠的点对。然而，尽管具有实用性，但在空间尺度和密度方面与不平衡对匹配。我们提出了一种新颖的3D注册方法，称为uppnet，用于不平衡点对。我们提出了一个层次结构框架，通过逐渐减少搜索空间，可以有效地找到近距离的对应关系。我们的方法预测目标点的子区域可能与查询点重叠。以下超点匹配模块和细粒度的细化模块估计两个点云之间的准确对应关系。此外，我们应用几何约束来完善满足空间兼容性的对应关系。对应性预测是对端到端训练的，我们的方法可以通过单个前向通行率预测适当的刚体转换，并给定点云对。为了验证提出方法的疗效，我们通过增强Kitti LiDAR数据集创建Kitti-UPP数据集。该数据集的实验表明，所提出的方法显着优于最先进的成对点云注册方法，而当目标点云大约为10 $ \ times $ higation时，注册召回率的提高了78％。比查询点云大约比查询点云更密集。

基于LIDAR的位置识别是环路闭合检测和全局重川化的必要和具有挑战性的任务。我们提出了深度扫描上下文（DSC），一般和辨别的全局描述符，捕获点云的段之间的关系。与以前的方法或相邻点云的序列进行以获得更好的地方识别，我们只使用原始点云来获得竞争结果。具体而言，我们首先将点云分段为摄影云，以获取细分的质心和特征值。然后，我们介绍一个图形神经网络，将这些功能聚合到嵌入式表示中。在基提数据集上进行的广泛实验表明，DSC对场景变体具有强大，优于现有方法。

我们描述了一种新的方法，该方法是基于与高级隐式语义特征的低级颜色和几何特征的汇总颜色和几何特征的室内识别。它使用了一个2阶段的深度学习框架，其中第一阶段经过了语义分割的辅助任务的训练，第二阶段的第二阶段使用了第一阶段的层中的特征来生成区分描述符以进行位置识别。辅助任务鼓励这些功能在语义上有意义，因此将RGB点云数据中的几何形状和颜色汇总为具有隐式语义信息。我们使用从扫描仪数据集派生的室内识别数据集进行培训和评估，其中一个包括由100个不同房间生成的3,608点云的测试集。与传统的基于功能的方法和四种最先进的深度学习方法进行比较表明，我们的方法显着优于所有五种方法，例如，取得前3名平均召回率为75％，而41％的平均召回率为41％最接近的竞争对手方法。我们的代码可在以下网址找到：https：//github.com/yuhangming/semantic-indoor-place-recognition

由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。