点云的语义分割通常依赖于累累且昂贵的致密注释，因此它吸引了广泛的关注，以研究弱监督方案的解决方案，仅稀疏点注释。现有作品从给定的标签开始，并将其传播到高度相关但无标记的点，例如数据的指导，例如内部关系。但是，它遭受了（i）对数据信息的效率低下的利用，并且（ii）在给出更少的注释时，很容易抑制对标签的强烈依赖。因此，我们提出了一个新颖的框架，即DimpMatch，它通过将一致性正则化应用于数据本身的足够探测信息，并同时利用弱标签作为帮助，该框架具有数据和标签。通过这样做，可以从数据和标签中学习有意义的信息，以获得更好的表示，这也使模型可以在标签稀疏度的范围内更强大。简单而有效的是，提议的尖头竞赛在Scannet-V2和S3DIS数据集上都在各种弱监督的方案下实现了最先进的性能，尤其是在具有极为稀疏标签的设置上，例如。在0.01％和0.1％的扫描仪V2设置上，SQN超过21.2％和17.2％。

由于准备点云的标记数据用于训练语义分割网络是一个耗时的过程，因此已经引入了弱监督的方法，以从一小部分数据中学习。这些方法通常是基于对比损失的学习，同时自动从一组稀疏的用户注销标签中得出每个点伪标签。在本文中，我们的关键观察是，选择要注释的样品的选择与这些样品的使用方式一样重要。因此，我们介绍了一种对3D场景进行弱监督分割的方法，该方法将自我训练与主动学习结合在一起。主动学习选择注释点可能会导致训练有素的模型的性能改进，而自我培训则可以有效利用用户提供的标签来学习模型。我们证明我们的方法会导致一种有效的方法，该方法可改善场景细分对以前的作品和基线，同时仅需要少量的用户注释。

点云语义分割通常需要大型群体注释的培训数据，但清楚地，点明智的标签太乏味了。虽然最近的一些方法建议用小百分比点标签训练3D网络，但我们采取了一个极端的方法并提出“一件事点击”，这意味着注释只需要每对象标记一个点。为了利用这些极其稀疏的标签在网络培训中，我们设计了一种新颖的自我训练方法，其中我们迭代地进行培训和标签传播，通过图形传播模块促进。此外，我们采用关系网络来生成每个类别的原型，并明确地模拟图形节点之间的相似性，以产生伪标签以指导迭代培训。 Scannet-V2和S3DIS的实验结果表明，我们的自我训练方法具有极其稀疏的注释，优于大幅度的全部现有的3D语义细分的所有现有的弱监督方法，我们的结果也与完全监督的结果相媲美同行。

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, \textit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

弱监督的点云分段，即，由于在整个3D场景中只有几个标记点的点云，因此由于为模型训练收集丰富的密集注释的沉重负担，因此是非常可取的。但是，由于有限的注释数据可能导致标签传播的指导不足，因此现有方法仍然具有挑战性，无法准确细分3D点云。考虑到基于平滑度的方法已经取得了令人鼓舞的进步，在本文中，我们主张在各种扰动下应用一致性约束，以有效地正规化未标记的3D点。具体而言，我们提出了一个新颖的dat（\ textbf {d} ual \ textbf {a} dappive \ textbf {t} ransformations模型，用于弱监督点云进行分割，其中双重自适应转换是通过两种对敌方策略在点 - 级别和区域级别，旨在在3D点云上执行局部和结构平滑度约束。我们在大规模S3DIS和SCANNET-V2数据集上使用两个流行的骨干评估了我们提出的DAT模型。广泛的实验表明，我们的模型可以有效地利用未标记的3D点并在两个数据集上实现显着的性能增长，从而为弱监督的点云进行了新的最新性能。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

从非结构化的3D点云学习密集点语义，虽然是一个逼真的问题，但在文献中探讨了逼真的问题。虽然现有的弱监督方法可以仅具有小数点的点级注释来有效地学习语义，但我们发现香草边界箱级注释也是大规模3D点云的语义分割信息。在本文中，我们介绍了一个神经结构，称为Box2Seg，以了解3D点云的点级语义，具有边界盒级监控。我们方法的关键是通过探索每个边界框内和外部的几何和拓扑结构来生成准确的伪标签。具体地，利用基于注意的自我训练（AST）技术和点类激活映射（PCAM）来估计伪标签。通过伪标签进行进一步培训并精制网络。在两个大型基准测试中的实验，包括S3DIS和Scannet，证明了该方法的竞争性能。特别是，所提出的网络可以培训，甚至是均匀的空缺边界箱级注释和子环级标签。

Deep learning has attained remarkable success in many 3D visual recognition tasks, including shape classification, object detection, and semantic segmentation. However, many of these results rely on manually collecting densely annotated real-world 3D data, which is highly time-consuming and expensive to obtain, limiting the scalability of 3D recognition tasks. Thus, we study unsupervised 3D recognition and propose a Self-supervised-Self-Labeled 3D Recognition (SL3D) framework. SL3D simultaneously solves two coupled objectives, i.e., clustering and learning feature representation to generate pseudo-labeled data for unsupervised 3D recognition. SL3D is a generic framework and can be applied to solve different 3D recognition tasks, including classification, object detection, and semantic segmentation. Extensive experiments demonstrate its effectiveness. Code is available at https://github.com/fcendra/sl3d.

大多数现有的点云实例和语义分割方法在很大程度上依赖于强大的监督信号，这需要场景中每个点的点级标签。但是，这种强大的监督遭受了巨大的注释成本，引起了研究有效注释的需求。在本文中，我们发现实例的位置对实例和语义3D场景细分都很重要。通过充分利用位置，我们设计了一种弱监督的点云分割算法，该算法仅需要单击每个实例以指示其注释的位置。通过进行预处理过度分割，我们将这些位置注释扩展到seg级标签中。我们通过将未标记的片段分组分组到相关的附近标签段中，进一步设计一个段分组网络（SEGGROUP），以在SEG级标签下生成点级伪标签，以便现有的点级监督的分段模型可以直接消耗这些PSEUDO标签为了训练。实验结果表明，我们的SEG级监督方法（SEGGROUP）通过完全注释的点级监督方法获得了可比的结果。此外，在固定注释预算的情况下，它的表现优于最近弱监督的方法。

由于其广泛的应用，尤其是在现场理解领域，因此在3D点云上进行的实例细分一直在吸引越来越多的关注。但是，大多数现有方法都需要完全注释培训数据。在点级的手动准备地面真相标签非常繁琐且劳动密集型。为了解决这个问题，我们提出了一种新颖的弱监督方法RWSEG，该方法仅需要用一个点标记一个对象。有了这些稀疏的标签，我们使用自我注意事项和随机步行引入了一个带有两个分支的统一框架，分别将语义和实例信息分别传播到未知区域。此外，我们提出了一个跨画竞争的随机步行（CGCRW）算法，该算法鼓励不同实例图之间的竞争以解决紧密放置对象中的歧义并改善实例分配的性能。 RWSEG可以生成定性实例级伪标签。 Scannet-V2和S3DIS数据集的实验结果表明，我们的方法通过完全监督的方法实现了可比的性能，并且通过大幅度优于先前的弱监督方法。这是弥合该地区弱和全面监督之间差距的第一项工作。

点云实例分割在深度学习的出现方面取得了巨大进展。然而，这些方法通常是具有昂贵且耗时的密度云注释的数据饥饿。为了减轻注释成本，在任务中仍申请未标记或弱标记的数据。在本文中，我们使用标记和未标记的边界框作为监控，介绍第一个半监控点云实例分段框架（SPIB）。具体而言，我们的SPIB架构涉及两级学习程序。对于阶段，在具有扰动一致性正则化（SPCR）的半监控设置下培训边界框提案生成网络。正规化通过强制执行对应用于输入点云的不同扰动的边界框预测的不变性，为网络学习提供自我监督。对于阶段，使用SPCR的边界框提案被分组为某些子集，并且使用新颖的语义传播模块和属性一致性图模块中的每个子集中挖掘实例掩码。此外，我们介绍了一种新型占用比导改进模块，以优化实例掩码。对挑战队的攻击v2数据集进行了广泛的实验，证明了我们的方法可以实现与最近的完全监督方法相比的竞争性能。

当前的3D分割方法很大程度上依赖于大规模的点状数据集，众所周知，这些数据集众所周知。很少有尝试规避需要每点注释的需求。在这项工作中，我们研究了弱监督的3D语义实例分割。关键的想法是利用3D边界框标签，更容易，更快地注释。确实，我们表明只有仅使用边界框标签训练密集的分割模型。在我们方法的核心上，\ name {}是一个深层模型，灵感来自经典的霍夫投票，直接投票赞成边界框参数，并且是专门针对边界盒票的专门定制的群集方法。这超出了常用的中心票，这不会完全利用边界框注释。在扫描仪测试中，我们弱监督的模型在其他弱监督的方法中获得了领先的性能（+18 MAP@50）。值得注意的是，它还达到了当前完全监督模型的50分数的地图的97％。为了进一步说明我们的工作的实用性，我们在最近发布的Arkitscenes数据集中训练Box2mask，该数据集仅使用3D边界框注释，并首次显示引人注目的3D实例细分掩码。

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

最近，通过单一或多个表示提出了许多方法，以提高点云语义分割的性能。但是，这些作品在性能，效率和记忆消耗中没有保持良好的平衡。为了解决这些问题，我们提出了Drinet ++，通过增强点云的点云与Voxel-Point原理来扩展Drinet。为了提高效率和性能，Drinet ++主要由两个模块组成：稀疏功能编码器和稀疏几何功能增强。稀疏特征编码器提取每个点的本地上下文信息，稀疏几何特征增强功能通过多尺度稀疏投影和细心的多尺度融合增强了稀疏点云​​的几何特性。此外，我们提出了在培训阶段的深度稀疏监督，以帮助收敛并减轻内存消耗问题。我们的Drinet ++在Semantickitti和Nuscenes数据集中实现了最先进的户外点云分段，同时运行得更快，更耗费较少的内存。

密集的注释LiDAR点云是昂贵的，这限制了完全监督学习方法的可伸缩性。在这项工作中，我们研究了激光雷达分割中未充满激光的半监督学习（SSL）。我们的核心思想是利用激光点云的强烈空间提示来更好地利用未标记的数据。我们建议Lasermix混合不同激光扫描的激光束，然后鼓励模型在混合前后进行一致和自信的预测。我们的框架具有三个吸引人的属性：1）通用：Lasermix对LIDAR表示不可知（例如，范围视图和体素），因此可以普遍应用我们的SSL框架。 2）从统计上讲：我们提供详细的分析，以理论上解释所提出的框架的适用性。 3）有效：对流行激光雷达分割数据集（Nuscenes，Semantickitti和Scribblekitti）的全面实验分析证明了我们的有效性和优势。值得注意的是，我们在标签少2倍至5倍的同行中获得了竞争成果，并平均将仅监督的基线提高了10.8％。我们希望这个简洁而高性能的框架可以促进半监督的激光雷达细分的未来研究。代码将公开可用。

作为一种流行的几何表示，点云在3D视觉中引起了很多关注，导致自动驾驶和机器人中的许多应用。在点云上学习一个重要的尚未解决的问题是，如果使用不同的过程或使用不同的传感器捕获，则相同对象的点云可以具有显着的几何变化。这些不一致地诱导域间隙，使得在一个域上培训的神经网络可能无法概括他人。减少域间隙的典型技术是执行逆势训练，以便特征空间中的点云可以对齐。然而，对抗性训练易于落入退化的局部最小值，导致负适应性收益。在这里，我们提出了一种简单而有效的方法，可以通过采用学习几何感知含义的自我监督任务来提出对点云的无监督域适应的方法，这在一次拍摄中扮演两个关键角色。首先，通过对下游任务的隐式表示保留点云中的几何信息。更重要的是，可以在隐式空间中有效地学习域特定变体。我们还提出了一种自适应策略，以计算由于在实践中缺乏形状模型而计算任意点云的无符号距离场。当结合任务丢失时，所提出的优先表现出最先进的无监督域适应方法，依赖于对抗域对齐和更复杂的自我监督任务。我们的方法在PointDA-10和Graspnet数据集上进行评估。代码和培训的型号将公开可用。

手动注释复杂的场景点云数据集昂贵且容易出错。为了减少对标记数据的依赖性，提出了一种名为Snapshotnet的新模型作为自我监督的特征学习方法，它直接用于复杂3D场景的未标记点云数据。 Snapshotnet Pipleine包括三个阶段。在快照捕获阶段，从点云场景中采样被定义为本地点的快照。快照可以是直接从真实场景捕获的本地3D扫描的视图，或者从大3D 3D点云数据集中的虚拟视图。也可以在不同的采样率或视野（FOV）的不同采样率或视野（FOV）中进行对快照进行，从而从场景中捕获比例信息。在特征学习阶段，提出了一种名为Multi-FoV对比度的新的预文本任务，以识别两个快照是否来自同一对象，而不是在同一FOV中或跨不同的FOV中。快照通过两个自我监督的学习步骤：对比学习步骤与零件和比例对比度，然后是快照聚类步骤以提取更高的级别语义特征。然后，通过首先培训在学习特征上的标准SVM分类器的培训中实现了弱监督的分割阶段，其中包含少量标记的快照。训练的SVM用于预测输入快照的标签，并使用投票过程将预测标签转换为整个场景的语义分割的点明智标签分配。实验是在语义3D数据集上进行的，结果表明，该方法能够从无任何标签的复杂场景数据的快照学习有效特征。此外，当与弱监管点云语义分割的SOA方法相比，该方法已经显示了优势。

在大量标记培训数据的监督下，视频语义细分取得了巨大进展。但是，域自适应视频分割，可以通过从标记的源域对未标记的目标域进行调整来减轻数据标记约束，这很大程度上被忽略了。我们设计了时间伪监督（TPS），这是一种简单有效的方法，探讨了从未标记的目标视频学习有效表示的一致性培训的想法。与在空间空间中建立一致性的传统一致性训练不同，我们通过在增强视频框架之间执行模型一致性来探索时空空间中的一致性训练，这有助于从更多样化的目标数据中学习。具体来说，我们设计了跨框架伪标签，以从以前的视频帧中提供伪监督，同时从增强的当前视频帧中学习。跨框架伪标签鼓励网络产生高确定性预测，从而有效地通过跨框架增强来促进一致性训练。对多个公共数据集进行的广泛实验表明，与最先进的ART相比，TPS更容易实现，更稳定，并且可以实现卓越的视频细分精度。

深度学习方法在3D语义细分中取得了显着的成功。但是，收集密集注释的现实世界3D数据集非常耗时且昂贵。关于合成数据和对现实世界情景的培训模型成为一种吸引人的选择，但不幸的是，臭名昭著的领域变化。在这项工作中，我们提出了一个面向数据的域适应性（DODA）框架，以减轻由不同的感应机制和跨域的布局放置引起的模式和上下文差距。我们的DODA涵盖了虚拟扫描模拟，以模仿现实世界中的点云图案和尾声的长方体混合，以减轻基于Cuboid的中间域的内部环境差距。 3D室内语义分割上的第一个无监督的SIM到运行适应基准也构建在3D-Front，Scannet和S3DIS上，以及7种流行的无监督域适应（UDA）方法。我们的DODA在3D -Front-> scannet和3d -Front-> S3DIS上都超过了13％的UDA方法。代码可从https://github.com/cvmi-lab/doda获得。

We propose LiDAL, a novel active learning method for 3D LiDAR semantic segmentation by exploiting inter-frame uncertainty among LiDAR frames. Our core idea is that a well-trained model should generate robust results irrespective of viewpoints for scene scanning and thus the inconsistencies in model predictions across frames provide a very reliable measure of uncertainty for active sample selection. To implement this uncertainty measure, we introduce new inter-frame divergence and entropy formulations, which serve as the metrics for active selection. Moreover, we demonstrate additional performance gains by predicting and incorporating pseudo-labels, which are also selected using the proposed inter-frame uncertainty measure. Experimental results validate the effectiveness of LiDAL: we achieve 95% of the performance of fully supervised learning with less than 5% of annotations on the SemanticKITTI and nuScenes datasets, outperforming state-of-the-art active learning methods. Code release: https://github.com/hzykent/LiDAL.