近期云的自我监督学习最近取得了很大的关注，因为它在点云任务上解决了标签效率和域间隙问题。在本文中，我们提出了一种新颖的自我监督框架，用于学习部分点云的信息陈述。我们利用包含内容和姿势属性的LIDAR扫描的部分点云，我们表明解开部分点云等两个因素增强了特征表示学习。为此，我们的框架由三个主要部分组成：1）完成网络以捕获点云的整体语义; 2）一个姿势回归网络，了解从扫描部分数据的视角; 3）局部重建网络，以鼓励模型学习内容和构成功能。为了展示学习特征表示的稳健性，我们开展了几个下游任务，包括分类，部分分割和登记，并进行了最先进的方法的比较。我们的方法不仅优于现有的自我监督方法，而且还展示了合成和现实世界数据集的更好普遍性。

点云的学习表示是3D计算机视觉中的重要任务，尤其是没有手动注释的监督。以前的方法通常会从自动编码器中获得共同的援助，以通过重建输入本身来建立自我判断。但是，现有的基于自我重建的自动编码器仅关注全球形状，而忽略本地和全球几何形状之间的层次结构背景，这是3D表示学习的重要监督。为了解决这个问题，我们提出了一个新颖的自我监督点云表示学习框架，称为3D遮挡自动编码器（3D-OAE）。我们的关键想法是随机遮住输入点云的某些局部补丁，并通过使用剩余的可见图来恢复遮挡的补丁，从而建立监督。具体而言，我们设计了一个编码器，用于学习可见的本地贴片的特征，并设计了一个用于利用这些功能预测遮挡贴片的解码器。与以前的方法相反，我们的3D-OAE可以去除大量的斑块，并仅使用少量可见斑块进行预测，这使我们能够显着加速训练并产生非平凡的自我探索性能。训练有素的编码器可以进一步转移到各种下游任务。我们证明了我们在广泛使用基准下的不同判别和生成应用中的最先进方法的表现。

基于变压器的自我监督表示方法学习方法从未标记的数据集中学习通用功能，以提供有用的网络初始化参数，用于下游任务。最近，基于掩盖3D点云数据的局部表面斑块的自我监督学习的探索还不足。在本文中，我们提出了3D点云表示学习中的蒙版自动编码器（缩写为MAE3D），这是一种新颖的自动编码范式，用于自我监督学习。我们首先将输入点云拆分为补丁，然后掩盖其中的一部分，然后使用我们的补丁嵌入模块提取未掩盖的补丁的功能。其次，我们采用贴片的MAE3D变形金刚学习点云补丁的本地功能以及补丁之间的高级上下文关系，并完成蒙版补丁的潜在表示。我们将点云重建模块与多任务损失一起完成，从而完成不完整的点云。我们在Shapenet55上进行了自我监督的预训练，并使用点云完成前文本任务，并在ModelNet40和ScanObjectnn（PB \ _t50 \ _RS，最难的变体）上微调预训练的模型。全面的实验表明，我们的MAE3D从Point Cloud补丁提取的本地功能对下游分类任务有益，表现优于最先进的方法（$ 93.4 \％\％\％\％$和$ 86.2 \％$ $分类精度）。

The past few years have witnessed the prevalence of self-supervised representation learning within the language and 2D vision communities. However, such advancements have not been fully migrated to the community of 3D point cloud learning. Different from previous pre-training pipelines for 3D point clouds that generally fall into the scope of either generative modeling or contrastive learning, in this paper, we investigate a translative pre-training paradigm, namely PointVST, driven by a novel self-supervised pretext task of cross-modal translation from an input 3D object point cloud to its diverse forms of 2D rendered images (e.g., silhouette, depth, contour). Specifically, we begin with deducing view-conditioned point-wise embeddings via the insertion of the viewpoint indicator, and then adaptively aggregate a view-specific global codeword, which is further fed into the subsequent 2D convolutional translation heads for image generation. We conduct extensive experiments on common task scenarios of 3D shape analysis, where our PointVST shows consistent and prominent performance superiority over current state-of-the-art methods under diverse evaluation protocols. Our code will be made publicly available.

许多3D表示（例如，点云）是下面连续3D表面的离散样本。该过程不可避免地介绍了底层的3D形状上的采样变化。在学习3D表示中，应忽略应忽略变化，而应捕获基础3D形状的可转换知识。这成为现有代表学习范式的大挑战。本文在点云上自动编码。标准自动编码范例强制编码器捕获这种采样变体，因为解码器必须重建具有采样变化的原始点云。我们介绍了隐式AutoEncoder（IAE），这是一种简单而有效的方法，通过用隐式解码器替换点云解码器来解决这一挑战。隐式解码器输出与相同模型的不同点云采样之间共享的连续表示。在隐式表示下重建可以优先考虑编码器丢弃采样变体，引入更多空间以学习有用的功能。在一个简单的线性AutoEncoder下，理论上理论地证明这一索赔。此外，隐式解码器提供丰富的空间来为不同的任务设计合适的隐式表示。我们展示了IAE对3D对象和3D场景的各种自我监督学习任务的有用性。实验结果表明，IAE在每项任务中始终如一地优于最先进的。

大规模点云的注释仍然耗时，并且对于许多真实世界任务不可用。点云预训练是用于获得快速适配的可扩展模型的一个潜在解决方案。因此，在本文中，我们调查了一种新的自我监督学习方法，称为混合和解除戒（MD），用于点云预培训。顾名思义，我们探索如何将原始点云与混合点云分开，并利用这一具有挑战的任务作为模型培训的借口优化目标。考虑到原始数据集中的有限培训数据，这远低于普遍的想象，混合过程可以有效地产生更高质量的样本。我们构建一个基线网络以验证我们的直觉，只包含两个模块，编码器和解码器。给定混合点云，首先预先训练编码器以提取语义嵌入。然后，利用实例 - 自适应解码器根据嵌入来解除点云。尽管简单，编码器本质上是能够在训练后捕获点云关键点，并且可以快速适应下游任务，包括预先训练和微调范例的分类和分割。在两个数据集上的广泛实验表明编码器+我们的（MD）显着超越了从头划痕培训的编码器和快速收敛的编码器。在消融研究中，我们进一步研究了每个部件的效果，并讨论了拟议的自我监督学习策略的优势。我们希望这种自我监督的学习尝试点云可以铺平了减少对大规模标记数据的深度学习模型依赖的方式，并在将来节省了大量的注释成本。

我们呈现Point-Bert，一种用于学习变压器的新范式，以概括BERT对3D点云的概念。灵感来自BERT，我们将屏蔽点建模（MPM）任务设计为预列火车点云变压器。具体地，我们首先将点云划分为几个本地点修补程序，并且具有离散变化性AutoEncoder（DVAE）的点云标记器被设计为生成包含有意义的本地信息的离散点令牌。然后，我们随机掩盖了一些输入点云的补丁并将它们送入骨干变压器。预训练目标是在销售器获得的点代币的监督下恢复蒙面地点的原始点令牌。广泛的实验表明，拟议的BERT风格的预训练策略显着提高了标准点云变压器的性能。配备了我们的预培训策略，我们表明，纯变压器架构对ModelNet40的准确性为93.8％，在ScanObjectnn的最艰难的设置上的准确性为83.1％，超越精心设计的点云模型，手工制作的设计更少。我们还证明，Point-Bert从新的任务和域中获悉的表示，我们的模型在很大程度上推动了几个射击点云分类任务的最先进。代码和预先训练的型号可在https://github.com/lulutang0608/pint -bert上获得

蒙面自动编码是一种流行而有效的自我监督学习方法，可以指向云学习。但是，大多数现有方法仅重建掩盖点并忽略本地几何信息，这对于了解点云数据也很重要。在这项工作中，据我们所知，我们首次尝试将局部几何信息明确考虑到掩盖的自动编码中，并提出一种新颖的蒙版表面预测（Masksurf）方法。具体而言，考虑到以高比例掩盖的输入点云，我们学习一个基于变压器的编码器码头网络，通过同时预测表面位置（即点）和每条效率方向（即，正常），以估算基础掩盖的表面。 。点和正态的预测由倒角距离和新引入的位置指标的正常距离以设定的方式进行监督。在三种微调策略下，我们的Masksurf在六个下游任务上得到了验证。特别是，MaskSurf在OBJ-BG设置下的ScanoBjectNN的现实世界数据集上胜过其最接近的竞争对手Point-Mae，证明了掩盖的表面预测的优势比蒙版的预测优势比蒙版的预测。代码将在https://github.com/ybzh/masksurf上找到。

颅内动脉瘤现在是常见的，以及如何智能地检测它们在数字健康方面具有重要意义。虽然大多数现有的深度学习研究专注于医学图像的监督方式，但我们介绍了基于3D点云数据检测颅内动脉瘤的无监督方法。特别是，我们的方法由两个阶段组成：无监督的预训练和下游任务。至于前者，主要思想是将每个点云与其抖动的对应物配对并最大化它们的对应关系。然后，我们设计具有每个分支的编码器和后续公共投影头的双分支对比度网络。至于后者，我们为监督分类和分割培训设计简单网络。公共数据集（内部）的实验表明，我们的无监督方法比某些最先进的监督技术实现了可比或甚至更好的性能，并且在检测动脉瘤血管中最为突出。 ModelNet40上的实验还表明，我们的方法实现了90.79 \％的准确性，这优于现有的最先进的无监督模型。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

在城市环境中导航时，许多需要跟踪和避免的对象严重封闭。使用这些部分扫描的规划和跟踪可能具有挑战性。这项工作的目的是学习完成这些部分点云，让我们仅仅使用部分观测全面了解对象的几何。以前的方法在目标对象的完整地面注释的帮助下实现了此目的，这些方法仅适用于模拟数据集。但是，真实的真相对于现实世界的LIDAR数据不可用。在这项工作中，我们介绍了一个自我监督的点云完成算法，Pointpncnet，仅在部分扫描上培训，而无需采取完整的地面说明注释。我们的方法通过修正来实现这一目标。我们删除了一部分输入数据并培训网络以完成丢失的区域。由于难以确定在初始云中被封闭的区域并且综合地删除了哪些区域，我们的网络了解完成完整的云，包括初始部分云中的缺失区域。我们展示我们的方法优于以前在合成数据集，ShoceEnet和现实世界Lidar DataSet，语义基提上的未经监督和弱监督的方法。

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (e.g., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning. Our code is publicly available at https://github.com/facebookresearch/PointContrast

点云完成旨在从部分点云中恢复原始形状信息，引起了人们对3D Vision社区的关注。现有方法通常成功完成标准形状，同时未能生成某些非标准形状的点云的本地细节。为了获得理想的当地细节，全球形状信息的指导至关重要。在这项工作中，我们设计了一种有效的方法来借助类内部形状的原型表示区分标准/非标准形状，可以通过建议的监督形状聚类借口任务来计算，从而导致异构组件W.R.T完成网络。代表性的原型（定义为形状类别的特征质心）可以提供全局形状的指导，该指南被称为软性知识，以多尺度方式通过所需的选择性感知特征融合模块注入下游完成网络。此外，要进行有效的培训，我们考虑了基于困难的采样策略，以鼓励网络更多地关注一些部分点云，而几何信息较少。实验结果表明，我们的方法表现优于其他最新方法，并且具有完成复杂几何形状的强大能力。

随着3D扫描技术的发展，3D视觉任务已成为一个流行的研究区域。由于由传感器获得的大量数据，无监督的学习对于理解和利用点云而没有昂贵的注释过程至关重要。在本文中，我们提出了一种新颖的框架和一个名为“PSG-Net”的有效自动编码器架构，用于重建基于点云的学习。与使用固定或随机2D点使用的现有研究不同，我们的框架为潜在集合生成输入依赖的点亮功能。 PSG-Net使用编码输入来通过种子生成模块产生点明智的特征，并通过逐渐应用种子特征传播模块逐渐增加分辨率的多个阶段中提取更丰富的特征。我们通过实验证明PSG-Net的有效性; PSG-Net显示了点云重建和无监督分类的最先进的性能，并在监督完成中实现了对应于对应方法的可比性。

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

最近3D点云学习一直是计算机视觉和自主驾驶中的热门话题。由于事实上，难以手动注释一个定性的大型3D点云数据集，无监督的域适应（UDA）在3D点云学习中流行，旨在将学习知识从标记的源域转移到未标记的目标领域。然而，具有简单学习模型引起的域转移引起的泛化和重建误差是不可避免的，这基本上阻碍了模型的学习良好表示的能力。为了解决这些问题，我们提出了一个结束到底自组合网络（SEN），用于3D云域适应任务。一般来说，我们的森林度假前的含义教师和半监督学习的优势，并引入了软的分类损失和一致性损失，旨在实现一致的泛化和准确的重建。在森中，学生网络以具有监督的学习和自我监督学习的协作方式，教师网络进行时间一致性，以学习有用的表示，并确保点云重建的质量。在几个3D点云UDA基准上的广泛实验表明，我们的SEN在分类和分段任务中表现出最先进的方法。此外，进一步的分析表明，我们的森也实现了更好的重建结果。

无人监督的学习目睹了自然语言理解和最近的2D图像领域的巨大成功。如何利用无监督学习的3D点云分析的力量仍然是开放的。大多数现有方法只是简单地适应2D域中使用的技术到3D域，同时不完全利用3D数据的特殊性。在这项工作中，我们提出了一种对3D点云的无监督代表学习的点辨别学习方法，该方法专门为点云数据设计，可以学习本地和全局形状特征。我们通过对骨干网络产生的中间级别和全球层面特征进行新的点歧视损失来实现这一目标。该点歧视损失强制执行与属于相应局部形状区域的点，并且与随机采样的嘈杂点不一致。我们的方法简单，设计简单，通过添加额外的适配模块和用于骨干编码器的无监督培训的点一致性模块。培训后，可以在对下游任务的分类器或解码器的监督培训期间丢弃这两个模块。我们在各种设置中对3D对象分类，3D语义和部分分割进行了广泛的实验，实现了新的最先进的结果。我们还对我们的方法进行了详细的分析，目视证明我们所学到的无监督特征的重建本地形状与地面真理形状高度一致。

Deep learning has attained remarkable success in many 3D visual recognition tasks, including shape classification, object detection, and semantic segmentation. However, many of these results rely on manually collecting densely annotated real-world 3D data, which is highly time-consuming and expensive to obtain, limiting the scalability of 3D recognition tasks. Thus, we study unsupervised 3D recognition and propose a Self-supervised-Self-Labeled 3D Recognition (SL3D) framework. SL3D simultaneously solves two coupled objectives, i.e., clustering and learning feature representation to generate pseudo-labeled data for unsupervised 3D recognition. SL3D is a generic framework and can be applied to solve different 3D recognition tasks, including classification, object detection, and semantic segmentation. Extensive experiments demonstrate its effectiveness. Code is available at https://github.com/fcendra/sl3d.

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.