Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (e.g., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning. Our code is publicly available at https://github.com/facebookresearch/PointContrast

由于缺乏大规模标记的3D数据集，大多数3D神经网络都是从划痕训练。在本文中，我们通过利用来自丰富的2D数据集学习的2D网络来介绍一种新的3D预预测方法。我们提出了通过将像素级和点级别特征映射到同一嵌入空间中的对比度的像素到点知识转移来有效地利用2D信息。由于2D和3D网络之间的异构性质，我们介绍了后投影功能以对准2D和3D之间的功能以使转移成为可能。此外，我们设计了一个上采样功能投影层，以增加高级2D特征图的空间分辨率，这使得能够学习细粒度的3D表示。利用普雷累染的2D网络，所提出的预介绍过程不需要额外的2D或3D标记数据，进一步缓解了昂贵的3D数据注释成本。据我们所知，我们是第一个利用现有的2D培训的权重，以预先rain 3D深度神经网络。我们的密集实验表明，使用2D知识预订的3D模型可以通过各种真实世界3D下游任务进行3D网络的性能。

3D感知最近的进展在了解3DACHAPES甚至场景的几何结构方面表现出令人印象深刻的进展。灵感来自这些进步的几何理解，我们旨在利用几何约束下学到的表示基于图像的感知。我们介绍一种基于多视图RGB-D数据学习View-Invariant的方法，用于网络预训练的网络预训练的几何感知表示，然后可以将其有效地传送到下游2D任务。我们建议在多视图IM-ysge约束和图像 - 几何约束下采用对比学习，以便在学习的2D表示中进行编码。这不仅仅是在几乎非仅对图像的语义分割，实例分段和对象检测的基于图像的基于图像的基于图像的TASK上学习而改进，而且，但是，在低数据方案中提供了显着的改进。我们对全数据的语义细分显示6.0％的显着提高，以及剪刀上的基线20％数据上的11.9％。

我们提出了一种新的方法来将4D动态对象前瞻灌输到学习的3D表示，通过无监督的预训练。我们观察到对象通过环境的动态移动提供了关于其对象的重要提示，因此提出了利用这种动态理解的学习学习的3D表示，然后可以有效地传送到下游3D语义场景中的改进性能。我们提出了一种新的数据增强方案，利用静态3D环境中移动的合成3D形状，并在3D-4D约束下采用对比学习，该约束将4D Imormces编码到学习的3D表示中。实验表明，我们无监督的代表学习导致下游3D语义分割，对象检测和实例分割任务的改进，而且，显着提高了数据稀缺方案的性能。

许多3D表示（例如，点云）是下面连续3D表面的离散样本。该过程不可避免地介绍了底层的3D形状上的采样变化。在学习3D表示中，应忽略应忽略变化，而应捕获基础3D形状的可转换知识。这成为现有代表学习范式的大挑战。本文在点云上自动编码。标准自动编码范例强制编码器捕获这种采样变体，因为解码器必须重建具有采样变化的原始点云。我们介绍了隐式AutoEncoder（IAE），这是一种简单而有效的方法，通过用隐式解码器替换点云解码器来解决这一挑战。隐式解码器输出与相同模型的不同点云采样之间共享的连续表示。在隐式表示下重建可以优先考虑编码器丢弃采样变体，引入更多空间以学习有用的功能。在一个简单的线性AutoEncoder下，理论上理论地证明这一索赔。此外，隐式解码器提供丰富的空间来为不同的任务设计合适的隐式表示。我们展示了IAE对3D对象和3D场景的各种自我监督学习任务的有用性。实验结果表明，IAE在每项任务中始终如一地优于最先进的。

We propose a new self-supervised method for pre-training the backbone of deep perception models operating on point clouds. The core idea is to train the model on a pretext task which is the reconstruction of the surface on which the 3D points are sampled, and to use the underlying latent vectors as input to the perception head. The intuition is that if the network is able to reconstruct the scene surface, given only sparse input points, then it probably also captures some fragments of semantic information, that can be used to boost an actual perception task. This principle has a very simple formulation, which makes it both easy to implement and widely applicable to a large range of 3D sensors and deep networks performing semantic segmentation or object detection. In fact, it supports a single-stream pipeline, as opposed to most contrastive learning approaches, allowing training on limited resources. We conducted extensive experiments on various autonomous driving datasets, involving very different kinds of lidars, for both semantic segmentation and object detection. The results show the effectiveness of our method to learn useful representations without any annotation, compared to existing approaches. Code is available at \href{https://github.com/valeoai/ALSO}{github.com/valeoai/ALSO}

近年来，3D视觉的自我监督预训练引起了研究的兴趣。为了学习信息的表示，许多以前的作品都利用了3D功能的不向导，\ eg，同一场景的视图之间的透视感，深度和RGB图像之间的模态侵权次数，点云和voxels之间的格式不变。尽管他们取得了令人鼓舞的结果，但以前的研究缺乏对这些不稳定的系统性比较。为了解决这个问题，我们的工作首次引入了一个统一的框架，根据该框架可以研究各种预培训方法。我们进行了广泛的实验，并仔细研究了3D预训练中不同不变的贡献。另外，我们提出了一种简单但有效的方法，该方法可以共同预先培训3D编码器和使用对比度学习的深度图编码器。通过我们的方法进行预训练的模型在下游任务方面具有显着的性能提高。例如，预先训练的投票表现优于Sun RGB-D和扫描对象检测基准的先前方法，并具有明显的利润。

我们建议在2D域中利用自我监督的技术来实现细粒度的3D形状分割任务。这是受到观察的启发：基于视图的表面表示比基于点云或体素占用率的3D对应物更有效地建模高分辨率表面细节和纹理。具体而言，给定3D形状，我们将其从多个视图中渲染，并在对比度学习框架内建立密集的对应学习任务。结果，与仅在2D或3D中使用自学的替代方案相比，学到的2D表示是视图不变和几何一致的，在对有限的标记形状进行培训时，可以更好地概括概括。对纹理（渲染peple）和未纹理（partnet）3D数据集的实验表明，我们的方法在细粒部分分割中优于最先进的替代方案。当仅一组稀疏的视图可供训练或形状纹理时，对基准的改进就会更大，这表明MVDecor受益于2D处理和3D几何推理。

Masked Modeling (MM) has demonstrated widespread success in various vision challenges, by reconstructing masked visual patches. Yet, applying MM for large-scale 3D scenes remains an open problem due to the data sparsity and scene complexity. The conventional random masking paradigm used in 2D images often causes a high risk of ambiguity when recovering the masked region of 3D scenes. To this end, we propose a novel informative-preserved reconstruction, which explores local statistics to discover and preserve the representative structured points, effectively enhancing the pretext masking task for 3D scene understanding. Integrated with a progressive reconstruction manner, our method can concentrate on modeling regional geometry and enjoy less ambiguity for masked reconstruction. Besides, such scenes with progressive masking ratios can also serve to self-distill their intrinsic spatial consistency, requiring to learn the consistent representations from unmasked areas. By elegantly combining informative-preserved reconstruction on masked areas and consistency self-distillation from unmasked areas, a unified framework called MM-3DScene is yielded. We conduct comprehensive experiments on a host of downstream tasks. The consistent improvement (e.g., +6.1 mAP@0.5 on object detection and +2.2% mIoU on semantic segmentation) demonstrates the superiority of our approach.

预训练已成为许多计算机视觉任务中的标准范式。但是，大多数方法通常都设计在RGB图像域上。由于二维图像平面和三维空间之间的差异，这种预先训练的模型无法感知空间信息，并用作3D相关任务的子最优解。为了弥合这种差距，我们的目标是学习可以描述三维空间的空间感知视觉表示，并且对这些任务更适合和有效。为了利用点云，在与图像相比提供空间信息时更有优越，我们提出了一个简单而有效的2D图像和3D点云无监督的预训练策略，称为Simipu。具体而言，我们开发了一种多模态对比学习框架，包括模态空间感知模块，用于从点云和模态特征交互模块中学习空间感知表示，以从点传输感知空间信息的能力云编码器分别到图像编码器。匹配算法和投影矩阵建立了用于对比损耗的正对。整个框架培训以无人监督的端到端时尚。据我们所知，这是第一项探索户外多模态数据集的对比学习训练策略的研究，其中包含配对的相机图像和LIDAR点云。 HTTPS：//github.com/zhever/simipu提供代码和模型。

深度神经网络的3D语义分割的最新进展已取得了显着的成功，并且可用数据集的性能快速提高。但是，当前的3D语义分割基准仅包含少数类别 - 例如，扫描仪和semantickitti少于30个类别，这些类别不足以反映真实环境的多样性（例如，语义图像涵盖数百到数千个类别的类别）。因此，我们建议研究3D语义分割的较大词汇，并在扫描仪数据上具有新的扩展基准测试，其中有200个类别类别，比以前研究的数量级要多。大量的类别类别也引起了巨大的自然级别不平衡，这两者对于现有的3D语义分割方法都具有挑战性。为了在这种情况下了解更多强大的3D功能，我们提出了一种以语言为导向的预训练方法来鼓励学习的3D功能，该方法可能有限的培训示例以靠近其预训练的文本嵌入。广泛的实验表明，我们的方法始终优于我们所提出的基准测试（ +9％相对MIOU）的3D语义分割的最先进的3D预训练，包括仅使用5％的 +25％相对MIOU的有限数据方案注释。

无人监督的学习目睹了自然语言理解和最近的2D图像领域的巨大成功。如何利用无监督学习的3D点云分析的力量仍然是开放的。大多数现有方法只是简单地适应2D域中使用的技术到3D域，同时不完全利用3D数据的特殊性。在这项工作中，我们提出了一种对3D点云的无监督代表学习的点辨别学习方法，该方法专门为点云数据设计，可以学习本地和全局形状特征。我们通过对骨干网络产生的中间级别和全球层面特征进行新的点歧视损失来实现这一目标。该点歧视损失强制执行与属于相应局部形状区域的点，并且与随机采样的嘈杂点不一致。我们的方法简单，设计简单，通过添加额外的适配模块和用于骨干编码器的无监督培训的点一致性模块。培训后，可以在对下游任务的分类器或解码器的监督培训期间丢弃这两个模块。我们在各种设置中对3D对象分类，3D语义和部分分割进行了广泛的实验，实现了新的最先进的结果。我们还对我们的方法进行了详细的分析，目视证明我们所学到的无监督特征的重建本地形状与地面真理形状高度一致。

室内场景云的无监督对比学习取得了巨大的成功。但是，室外场景中无监督的学习点云仍然充满挑战，因为以前的方法需要重建整个场景并捕获对比度目标的部分视图。这在带有移动物体，障碍物和传感器的室外场景中是不可行的。在本文中，我们提出了CO^3，即合作对比度学习和上下文形状的预测，以无监督的方式学习3D表示室外景点云。与现有方法相比，Co^3具有几种优点。 （1）它利用了从车辆侧和基础架构侧来的激光点云来构建差异，但同时维护对比度学习的通用语义信息，这比以前的方法构建的视图更合适。 （2）在对比度目标的同时，提出了形状上下文预测作为预训练目标，并为无监督的3D点云表示学习带来了更多与任务相关的信息，这在将学习的表示形式转移到下游检测任务时是有益的。 （3）与以前的方法相比，CO^3学到的表示形式可以通过不同类型的LIDAR传感器收集到不同的室外场景数据集。 （4）CO^3将一次和Kitti数据集的当前最新方法提高到2.58地图。代码和模型将发布。我们认为Co^3将有助于了解室外场景中的LiDar Point云。

现有的无监督点云预训练的方法被限制在场景级或点/体素级实例歧视上。场景级别的方法往往会失去对识别道路对象至关重要的本地细节，而点/体素级方法固有地遭受了有限的接收领域，而这种接收领域无力感知大型对象或上下文环境。考虑到区域级表示更适合3D对象检测，我们设计了一个新的无监督点云预训练框架，称为proposalcontrast，该框架通过对比的区域建议来学习强大的3D表示。具体而言，通过从每个点云中采样一组详尽的区域建议，每个提案中的几何点关系都是建模用于创建表达性建议表示形式的。为了更好地适应3D检测属性，提案contrast可以通过群体间和统一分离来优化，即提高跨语义类别和对象实例的提议表示的歧视性。在各种3D检测器（即PV-RCNN，Centerpoint，Pointpillars和Pointrcnn）和数据集（即Kitti，Waymo和一次）上验证了提案cont抗对流的概括性和可传递性。

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.

Deep learning has attained remarkable success in many 3D visual recognition tasks, including shape classification, object detection, and semantic segmentation. However, many of these results rely on manually collecting densely annotated real-world 3D data, which is highly time-consuming and expensive to obtain, limiting the scalability of 3D recognition tasks. Thus, we study unsupervised 3D recognition and propose a Self-supervised-Self-Labeled 3D Recognition (SL3D) framework. SL3D simultaneously solves two coupled objectives, i.e., clustering and learning feature representation to generate pseudo-labeled data for unsupervised 3D recognition. SL3D is a generic framework and can be applied to solve different 3D recognition tasks, including classification, object detection, and semantic segmentation. Extensive experiments demonstrate its effectiveness. Code is available at https://github.com/fcendra/sl3d.

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

大规模点云的注释仍然耗时，并且对于许多真实世界任务不可用。点云预训练是用于获得快速适配的可扩展模型的一个潜在解决方案。因此，在本文中，我们调查了一种新的自我监督学习方法，称为混合和解除戒（MD），用于点云预培训。顾名思义，我们探索如何将原始点云与混合点云分开，并利用这一具有挑战的任务作为模型培训的借口优化目标。考虑到原始数据集中的有限培训数据，这远低于普遍的想象，混合过程可以有效地产生更高质量的样本。我们构建一个基线网络以验证我们的直觉，只包含两个模块，编码器和解码器。给定混合点云，首先预先训练编码器以提取语义嵌入。然后，利用实例 - 自适应解码器根据嵌入来解除点云。尽管简单，编码器本质上是能够在训练后捕获点云关键点，并且可以快速适应下游任务，包括预先训练和微调范例的分类和分割。在两个数据集上的广泛实验表明编码器+我们的（MD）显着超越了从头划痕培训的编码器和快速收敛的编码器。在消融研究中，我们进一步研究了每个部件的效果，并讨论了拟议的自我监督学习策略的优势。我们希望这种自我监督的学习尝试点云可以铺平了减少对大规模标记数据的深度学习模型依赖的方式，并在将来节省了大量的注释成本。

转移学习是2D计算机愿景中的一种经过验证的技术，可以利用可用的大量数据并获得高性能，而数据集则由于获取或注释的成本而受到限制。在3D中，注释是一项昂贵的任务。然而，直到最近才研究转移学习方法。由于没有非常大的注释数据集，因此无监督的预培训受到了极大的青睐。在这项工作中，我们解决了稀疏室外激光扫描的实时3D语义细分的案例。这样的数据集已经上升，但是对于同一任务，也有不同的标签集。在这项工作中，我们在这里提出了一个名为“粗标签”的中级标签集，该标签允许在没有任何手动标签的情况下利用所有可用数据。这样，我们可以访问较大的数据集，以及更简单的语义分割任务。有了它，我们引入了一项新的预训练任务：粗制标签预训练，也称为可乐。我们彻底分析了可乐对各种数据集和体系结构的影响，并表明它可以提高性能，尤其是当填充任务仅访问小型数据集时。