我们提出SERP，这是3D点云的自我监督学习的框架。 SERP由编码器编码器架构组成，该体系结构将被扰动或损坏的点云作为输入和旨在重建原始点云而无需损坏。编码器在低维子空间中学习了点云的高级潜在表示，并恢复原始结构。在这项工作中，我们使用了基于变压器和基于点网的自动编码器。所提出的框架还解决了基于变形金刚的掩盖自动编码器的一些局限性，这些框架容易泄漏位置信息和不均匀的信息密度。我们在完整的Shapenet数据集上训练了模型，并将它们作为下游分类任务评估。我们已经表明，审慎的模型比从头开始训练的网络实现了0.5-1％的分类精度。此外，我们还提出了VASP：对矢量定量的自动编码器，用于对点云进行自我监督的表示学习，这些学习用于基于变压器的自动编码器的离散表示学习。

点云的学习表示是3D计算机视觉中的重要任务，尤其是没有手动注释的监督。以前的方法通常会从自动编码器中获得共同的援助，以通过重建输入本身来建立自我判断。但是，现有的基于自我重建的自动编码器仅关注全球形状，而忽略本地和全球几何形状之间的层次结构背景，这是3D表示学习的重要监督。为了解决这个问题，我们提出了一个新颖的自我监督点云表示学习框架，称为3D遮挡自动编码器（3D-OAE）。我们的关键想法是随机遮住输入点云的某些局部补丁，并通过使用剩余的可见图来恢复遮挡的补丁，从而建立监督。具体而言，我们设计了一个编码器，用于学习可见的本地贴片的特征，并设计了一个用于利用这些功能预测遮挡贴片的解码器。与以前的方法相反，我们的3D-OAE可以去除大量的斑块，并仅使用少量可见斑块进行预测，这使我们能够显着加速训练并产生非平凡的自我探索性能。训练有素的编码器可以进一步转移到各种下游任务。我们证明了我们在广泛使用基准下的不同判别和生成应用中的最先进方法的表现。

基于变压器的自我监督表示方法学习方法从未标记的数据集中学习通用功能，以提供有用的网络初始化参数，用于下游任务。最近，基于掩盖3D点云数据的局部表面斑块的自我监督学习的探索还不足。在本文中，我们提出了3D点云表示学习中的蒙版自动编码器（缩写为MAE3D），这是一种新颖的自动编码范式，用于自我监督学习。我们首先将输入点云拆分为补丁，然后掩盖其中的一部分，然后使用我们的补丁嵌入模块提取未掩盖的补丁的功能。其次，我们采用贴片的MAE3D变形金刚学习点云补丁的本地功能以及补丁之间的高级上下文关系，并完成蒙版补丁的潜在表示。我们将点云重建模块与多任务损失一起完成，从而完成不完整的点云。我们在Shapenet55上进行了自我监督的预训练，并使用点云完成前文本任务，并在ModelNet40和ScanObjectnn（PB \ _t50 \ _RS，最难的变体）上微调预训练的模型。全面的实验表明，我们的MAE3D从Point Cloud补丁提取的本地功能对下游分类任务有益，表现优于最先进的方法（$ 93.4 \％\％\％\％$和$ 86.2 \％$ $分类精度）。

我们呈现Point-Bert，一种用于学习变压器的新范式，以概括BERT对3D点云的概念。灵感来自BERT，我们将屏蔽点建模（MPM）任务设计为预列火车点云变压器。具体地，我们首先将点云划分为几个本地点修补程序，并且具有离散变化性AutoEncoder（DVAE）的点云标记器被设计为生成包含有意义的本地信息的离散点令牌。然后，我们随机掩盖了一些输入点云的补丁并将它们送入骨干变压器。预训练目标是在销售器获得的点代币的监督下恢复蒙面地点的原始点令牌。广泛的实验表明，拟议的BERT风格的预训练策略显着提高了标准点云变压器的性能。配备了我们的预培训策略，我们表明，纯变压器架构对ModelNet40的准确性为93.8％，在ScanObjectnn的最艰难的设置上的准确性为83.1％，超越精心设计的点云模型，手工制作的设计更少。我们还证明，Point-Bert从新的任务和域中获悉的表示，我们的模型在很大程度上推动了几个射击点云分类任务的最先进。代码和预先训练的型号可在https://github.com/lulutang0608/pint -bert上获得

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

最近，自我监督的预训练在W.R.T.的各种任务上具有先进的视觉变压器。不同的数据模式，例如图像和3D点云数据。在本文中，我们探讨了基于变压器的3D网格数据分析的学习范式。由于将变压器体系结构应用于新模式通常是非平凡的，因此我们首先将视觉变压器适应3D网格数据处理，即网格变压器。具体而言，我们将网格分为几个非重叠的本地贴片，每个贴片包含相同数量的面部，并使用每个贴片中心点的3D位置形成位置嵌入。受MAE的启发，我们探讨了如何使用基于变压器的结构对3D网格数据进行预训练如何使下游3D网格分析任务受益。我们首先随机掩盖网格的一些补丁，并将损坏的网格馈入网格变形金刚。然后，通过重建蒙版补丁的信息，该网络能够学习网格数据的区分表示。因此，我们命名我们的方法meshmae，可以在网格分析任务（即分类和分割）上产生最先进或可比性的性能。此外，我们还进行了全面的消融研究，以显示我们方法中关键设计的有效性。

The success of deep learning heavily relies on large-scale data with comprehensive labels, which is more expensive and time-consuming to fetch in 3D compared to 2D images or natural languages. This promotes the potential of utilizing models pretrained with data more than 3D as teachers for cross-modal knowledge transferring. In this paper, we revisit masked modeling in a unified fashion of knowledge distillation, and we show that foundational Transformers pretrained with 2D images or natural languages can help self-supervised 3D representation learning through training Autoencoders as Cross-Modal Teachers (ACT). The pretrained Transformers are transferred as cross-modal 3D teachers using discrete variational autoencoding self-supervision, during which the Transformers are frozen with prompt tuning for better knowledge inheritance. The latent features encoded by the 3D teachers are used as the target of masked point modeling, wherein the dark knowledge is distilled to the 3D Transformer students as foundational geometry understanding. Our ACT pretrained 3D learner achieves state-of-the-art generalization capacity across various downstream benchmarks, e.g., 88.21% overall accuracy on ScanObjectNN. Codes will be released at https://github.com/RunpeiDong/ACT.

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.

蒙面自动编码是一种流行而有效的自我监督学习方法，可以指向云学习。但是，大多数现有方法仅重建掩盖点并忽略本地几何信息，这对于了解点云数据也很重要。在这项工作中，据我们所知，我们首次尝试将局部几何信息明确考虑到掩盖的自动编码中，并提出一种新颖的蒙版表面预测（Masksurf）方法。具体而言，考虑到以高比例掩盖的输入点云，我们学习一个基于变压器的编码器码头网络，通过同时预测表面位置（即点）和每条效率方向（即，正常），以估算基础掩盖的表面。 。点和正态的预测由倒角距离和新引入的位置指标的正常距离以设定的方式进行监督。在三种微调策略下，我们的Masksurf在六个下游任务上得到了验证。特别是，MaskSurf在OBJ-BG设置下的ScanoBjectNN的现实世界数据集上胜过其最接近的竞争对手Point-Mae，证明了掩盖的表面预测的优势比蒙版的预测优势比蒙版的预测。代码将在https://github.com/ybzh/masksurf上找到。

Pre-training by numerous image data has become de-facto for robust 2D representations. In contrast, due to the expensive data acquisition and annotation, a paucity of large-scale 3D datasets severely hinders the learning for high-quality 3D features. In this paper, we propose an alternative to obtain superior 3D representations from 2D pre-trained models via Image-to-Point Masked Autoencoders, named as I2P-MAE. By self-supervised pre-training, we leverage the well learned 2D knowledge to guide 3D masked autoencoding, which reconstructs the masked point tokens with an encoder-decoder architecture. Specifically, we first utilize off-the-shelf 2D models to extract the multi-view visual features of the input point cloud, and then conduct two types of image-to-point learning schemes on top. For one, we introduce a 2D-guided masking strategy that maintains semantically important point tokens to be visible for the encoder. Compared to random masking, the network can better concentrate on significant 3D structures and recover the masked tokens from key spatial cues. For another, we enforce these visible tokens to reconstruct the corresponding multi-view 2D features after the decoder. This enables the network to effectively inherit high-level 2D semantics learned from rich image data for discriminative 3D modeling. Aided by our image-to-point pre-training, the frozen I2P-MAE, without any fine-tuning, achieves 93.4% accuracy for linear SVM on ModelNet40, competitive to the fully trained results of existing methods. By further fine-tuning on on ScanObjectNN's hardest split, I2P-MAE attains the state-of-the-art 90.11% accuracy, +3.68% to the second-best, demonstrating superior transferable capacity. Code will be available at https://github.com/ZrrSkywalker/I2P-MAE.

纯变压器模型在自然语言处理和计算机视觉方面取得了令人印象深刻的成功。但是，变压器的一个限制是它们需要大型培训数据。在3D点云的领域中，大数据集的可用性是一个挑战，它加剧了3D任务的训练变压器问题。在这项工作中，我们凭经验研究和研究利用大量图像的知识以了解点云的理解的效果。我们制定了一条称为\ textIt {pix4point}的管道，该管道允许在图像域中利用预验证的变压器来改善下游点云任务。这是通过用于3D域专门的令牌和解码器层的帮助，通过模态无形的纯变压器主链实现。使用图像预言的变压器，我们分别在Scanobjectnn，ShapenetPart和S3DIS基准上观察到3D点云分类，部分分割和语义分割的任务的Pix4Point的显着性能提高。我们的代码和模型可在：\ url {https://github.com/guochengqian/pix4point}中获得。

Current outdoor LiDAR-based 3D object detection methods mainly adopt the training-from-scratch paradigm. Unfortunately, this paradigm heavily relies on large-scale labeled data, whose collection can be expensive and time-consuming. Self-supervised pre-training is an effective and desirable way to alleviate this dependence on extensive annotated data. Recently, masked modeling has become a successful self-supervised learning approach for point clouds. However, current works mainly focus on synthetic or indoor datasets. When applied to large-scale and sparse outdoor point clouds, they fail to yield satisfactory results. In this work, we present BEV-MAE, a simple masked autoencoder pre-training framework for 3D object detection on outdoor point clouds. Specifically, we first propose a bird's eye view (BEV) guided masking strategy to guide the 3D encoder learning feature representation in a BEV perspective and avoid complex decoder design during pre-training. Besides, we introduce a learnable point token to maintain a consistent receptive field size of the 3D encoder with fine-tuning for masked point cloud inputs. Finally, based on the property of outdoor point clouds, i.e., the point clouds of distant objects are more sparse, we propose point density prediction to enable the 3D encoder to learn location information, which is essential for object detection. Experimental results show that BEV-MAE achieves new state-of-the-art self-supervised results on both Waymo and nuScenes with diverse 3D object detectors. Furthermore, with only 20% data and 7% training cost during pre-training, BEV-MAE achieves comparable performance with the state-of-the-art method ProposalContrast. The source code and pre-trained models will be made publicly available.

由于其最近在减少监督学习的差距方面取得了成功，自我监督的学习方法正在增加计算机愿景的牵引力。在自然语言处理（NLP）中，自我监督的学习和变形金刚已经是选择的方法。最近的文献表明，变压器也在计算机愿景中越来越受欢迎。到目前为止，当使用大规模监督数据或某种共同监督时，视觉变压器已被证明可以很好地工作。在教师网络方面。这些监督的普试视觉变压器在下游任务中实现了非常好的变化，变化最小。在这项工作中，我们调查自我监督学习的预用图像/视觉变压器，然后使用它们进行下游分类任务的优点。我们提出了自我监督的视觉变压器（坐在）并讨论了几种自我监督的培训机制，以获得借口模型。静坐的架构灵活性允许我们将其用作自动统计器，并无缝地使用多个自我监控任务。我们表明，可以在小规模数据集上进行预训练，以便在小型数据集上进行下游分类任务，包括几千个图像而不是数百万的图像。使用公共协议对所提出的方法进行评估标准数据集。结果展示了变压器的强度及其对自我监督学习的适用性。我们通过大边缘表现出现有的自我监督学习方法。我们还观察到坐着很好，很少有镜头学习，并且还表明它通过简单地训练从坐的学到的学习功能的线性分类器来学习有用的表示。预先训练，FineTuning和评估代码将在以下：https://github.com/sara-ahmed/sit。

The pretraining-finetuning paradigm has demonstrated great success in NLP and 2D image fields because of the high-quality representation ability and transferability of their pretrained models. However, pretraining such a strong model is difficult in the 3D point cloud field since the training data is limited and point cloud collection is expensive. This paper introduces \textbf{E}fficient \textbf{P}oint \textbf{C}loud \textbf{L}earning (EPCL), an effective and efficient point cloud learner for directly training high-quality point cloud models with a frozen CLIP model. Our EPCL connects the 2D and 3D modalities by semantically aligning the 2D features and point cloud features without paired 2D-3D data. Specifically, the input point cloud is divided into a sequence of tokens and directly fed into the frozen CLIP model to learn point cloud representation. Furthermore, we design a task token to narrow the gap between 2D images and 3D point clouds. Comprehensive experiments on 3D detection, semantic segmentation, classification and few-shot learning demonstrate that the 2D CLIP model can be an efficient point cloud backbone and our method achieves state-of-the-art accuracy on both real-world and synthetic downstream tasks. Code will be available.

蒙面的自动编码器是可扩展的视觉学习者，因为Mae \ Cite {He2022masked}的标题表明，视觉中的自我监督学习（SSL）可能会采用与NLP中类似的轨迹。具体而言，具有蒙版预测（例如BERT）的生成借口任务已成为NLP中的事实上的标准SSL实践。相比之下，他们的歧视性对应物（例如对比度学习）掩埋了视力中的生成方法的早期尝试；但是，蒙版图像建模的成功已恢复了屏蔽自动编码器（过去通常被称为DeNosing AutoCoder）。作为在NLP中与Bert弥合差距的一个里程碑，蒙面自动编码器吸引了对SSL在视觉及其他方面的前所未有的关注。这项工作对蒙面自动编码器进行了全面的调查，以洞悉SSL的有希望的方向。作为第一个使用蒙版自动编码器审查SSL的人，这项工作通过讨论其历史发展，最新进度以及对不同应用的影响，重点介绍其在视觉中的应用。

蒙面语言建模（MLM）已成为最成功的自我保护的预训练任务之一。受其成功的启发，Point-Bert作为Point Cloud的先驱工作，提出了蒙版点建模（MPM），以便在大规模无动物数据集上预先训练点变压器。尽管表现出色，但我们发现语言和点云之间的固有区别倾向于引起点云的模棱两可的令牌化。对于点云，没有用于点云令牌化的黄金标准。尽管Point-Bert引入了离散的变异自动编码器（DVAE）作为令牌，以将令牌ID分配给本地补丁，但它倾向于为本地补丁生成模棱两可的令牌ID。我们发现，这种不完美的令牌可能会为语义相似的补丁产生不同的令牌ID，并为语义 - 差异贴片提供相同的令牌ID。为了解决上述问题，我们提出了我们的Point-Mcbert，这是一个带有缓解和精致的监督信号的预训练框架。具体而言，我们简化了对补丁的先前单选择约束，并为每个补丁作为监督提供多项选择令牌ID。此外，我们利用了Transformer学到的高级语义，以进一步完善我们的监督信号。关于点云分类，几乎没有射击分类和部分分割任务的广泛实验证明了我们方法的优势，例如，预训练的变压器在ModelNet40上实现了94.1％的精度，在ScanObjectnn和新的ScanObjectnn和新的Satactnn New State-nate Satactnn NEC中的精度为84.28％ - 几次学习的表现。我们还证明，我们的方法不仅可以提高所有下游任务上的点 - 伯特的性能，而且几乎没有额外的计算开销。

许多3D表示（例如，点云）是下面连续3D表面的离散样本。该过程不可避免地介绍了底层的3D形状上的采样变化。在学习3D表示中，应忽略应忽略变化，而应捕获基础3D形状的可转换知识。这成为现有代表学习范式的大挑战。本文在点云上自动编码。标准自动编码范例强制编码器捕获这种采样变体，因为解码器必须重建具有采样变化的原始点云。我们介绍了隐式AutoEncoder（IAE），这是一种简单而有效的方法，通过用隐式解码器替换点云解码器来解决这一挑战。隐式解码器输出与相同模型的不同点云采样之间共享的连续表示。在隐式表示下重建可以优先考虑编码器丢弃采样变体，引入更多空间以学习有用的功能。在一个简单的线性AutoEncoder下，理论上理论地证明这一索赔。此外，隐式解码器提供丰富的空间来为不同的任务设计合适的隐式表示。我们展示了IAE对3D对象和3D场景的各种自我监督学习任务的有用性。实验结果表明，IAE在每项任务中始终如一地优于最先进的。

大规模点云的注释仍然耗时，并且对于许多真实世界任务不可用。点云预训练是用于获得快速适配的可扩展模型的一个潜在解决方案。因此，在本文中，我们调查了一种新的自我监督学习方法，称为混合和解除戒（MD），用于点云预培训。顾名思义，我们探索如何将原始点云与混合点云分开，并利用这一具有挑战的任务作为模型培训的借口优化目标。考虑到原始数据集中的有限培训数据，这远低于普遍的想象，混合过程可以有效地产生更高质量的样本。我们构建一个基线网络以验证我们的直觉，只包含两个模块，编码器和解码器。给定混合点云，首先预先训练编码器以提取语义嵌入。然后，利用实例 - 自适应解码器根据嵌入来解除点云。尽管简单，编码器本质上是能够在训练后捕获点云关键点，并且可以快速适应下游任务，包括预先训练和微调范例的分类和分割。在两个数据集上的广泛实验表明编码器+我们的（MD）显着超越了从头划痕培训的编码器和快速收敛的编码器。在消融研究中，我们进一步研究了每个部件的效果，并讨论了拟议的自我监督学习策略的优势。我们希望这种自我监督的学习尝试点云可以铺平了减少对大规模标记数据的深度学习模型依赖的方式，并在将来节省了大量的注释成本。

Despite the tremendous progress of Masked Autoencoders (MAE) in developing vision tasks such as image and video, exploring MAE in large-scale 3D point clouds remains challenging due to the inherent irregularity. In contrast to previous 3D MAE frameworks, which either design a complex decoder to infer masked information from maintained regions or adopt sophisticated masking strategies, we instead propose a much simpler paradigm. The core idea is to apply a \textbf{G}enerative \textbf{D}ecoder for MAE (GD-MAE) to automatically merges the surrounding context to restore the masked geometric knowledge in a hierarchical fusion manner. In doing so, our approach is free from introducing the heuristic design of decoders and enjoys the flexibility of exploring various masking strategies. The corresponding part costs less than \textbf{12\%} latency compared with conventional methods, while achieving better performance. We demonstrate the efficacy of the proposed method on several large-scale benchmarks: Waymo, KITTI, and ONCE. Consistent improvement on downstream detection tasks illustrates strong robustness and generalization capability. Not only our method reveals state-of-the-art results, but remarkably, we achieve comparable accuracy even with \textbf{20\%} of the labeled data on the Waymo dataset. The code will be released at \url{https://github.com/Nightmare-n/GD-MAE}.

颅内动脉瘤现在是常见的，以及如何智能地检测它们在数字健康方面具有重要意义。虽然大多数现有的深度学习研究专注于医学图像的监督方式，但我们介绍了基于3D点云数据检测颅内动脉瘤的无监督方法。特别是，我们的方法由两个阶段组成：无监督的预训练和下游任务。至于前者，主要思想是将每个点云与其抖动的对应物配对并最大化它们的对应关系。然后，我们设计具有每个分支的编码器和后续公共投影头的双分支对比度网络。至于后者，我们为监督分类和分割培训设计简单网络。公共数据集（内部）的实验表明，我们的无监督方法比某些最先进的监督技术实现了可比或甚至更好的性能，并且在检测动脉瘤血管中最为突出。 ModelNet40上的实验还表明，我们的方法实现了90.79 \％的准确性，这优于现有的最先进的无监督模型。