由于其广泛的应用，尤其是在现场理解领域，因此在3D点云上进行的实例细分一直在吸引越来越多的关注。但是，大多数现有方法都需要完全注释培训数据。在点级的手动准备地面真相标签非常繁琐且劳动密集型。为了解决这个问题，我们提出了一种新颖的弱监督方法RWSEG，该方法仅需要用一个点标记一个对象。有了这些稀疏的标签，我们使用自我注意事项和随机步行引入了一个带有两个分支的统一框架，分别将语义和实例信息分别传播到未知区域。此外，我们提出了一个跨画竞争的随机步行（CGCRW）算法，该算法鼓励不同实例图之间的竞争以解决紧密放置对象中的歧义并改善实例分配的性能。 RWSEG可以生成定性实例级伪标签。 Scannet-V2和S3DIS数据集的实验结果表明，我们的方法通过完全监督的方法实现了可比的性能，并且通过大幅度优于先前的弱监督方法。这是弥合该地区弱和全面监督之间差距的第一项工作。

大多数现有的点云实例和语义分割方法在很大程度上依赖于强大的监督信号，这需要场景中每个点的点级标签。但是，这种强大的监督遭受了巨大的注释成本，引起了研究有效注释的需求。在本文中，我们发现实例的位置对实例和语义3D场景细分都很重要。通过充分利用位置，我们设计了一种弱监督的点云分割算法，该算法仅需要单击每个实例以指示其注释的位置。通过进行预处理过度分割，我们将这些位置注释扩展到seg级标签中。我们通过将未标记的片段分组分组到相关的附近标签段中，进一步设计一个段分组网络（SEGGROUP），以在SEG级标签下生成点级伪标签，以便现有的点级监督的分段模型可以直接消耗这些PSEUDO标签为了训练。实验结果表明，我们的SEG级监督方法（SEGGROUP）通过完全注释的点级监督方法获得了可比的结果。此外，在固定注释预算的情况下，它的表现优于最近弱监督的方法。

从非结构化的3D点云学习密集点语义，虽然是一个逼真的问题，但在文献中探讨了逼真的问题。虽然现有的弱监督方法可以仅具有小数点的点级注释来有效地学习语义，但我们发现香草边界箱级注释也是大规模3D点云的语义分割信息。在本文中，我们介绍了一个神经结构，称为Box2Seg，以了解3D点云的点级语义，具有边界盒级监控。我们方法的关键是通过探索每个边界框内和外部的几何和拓扑结构来生成准确的伪标签。具体地，利用基于注意的自我训练（AST）技术和点类激活映射（PCAM）来估计伪标签。通过伪标签进行进一步培训并精制网络。在两个大型基准测试中的实验，包括S3DIS和Scannet，证明了该方法的竞争性能。特别是，所提出的网络可以培训，甚至是均匀的空缺边界箱级注释和子环级标签。

点云语义分割通常需要大型群体注释的培训数据，但清楚地，点明智的标签太乏味了。虽然最近的一些方法建议用小百分比点标签训练3D网络，但我们采取了一个极端的方法并提出“一件事点击”，这意味着注释只需要每对象标记一个点。为了利用这些极其稀疏的标签在网络培训中，我们设计了一种新颖的自我训练方法，其中我们迭代地进行培训和标签传播，通过图形传播模块促进。此外，我们采用关系网络来生成每个类别的原型，并明确地模拟图形节点之间的相似性，以产生伪标签以指导迭代培训。 Scannet-V2和S3DIS的实验结果表明，我们的自我训练方法具有极其稀疏的注释，优于大幅度的全部现有的3D语义细分的所有现有的弱监督方法，我们的结果也与完全监督的结果相媲美同行。

由于准备点云的标记数据用于训练语义分割网络是一个耗时的过程，因此已经引入了弱监督的方法，以从一小部分数据中学习。这些方法通常是基于对比损失的学习，同时自动从一组稀疏的用户注销标签中得出每个点伪标签。在本文中，我们的关键观察是，选择要注释的样品的选择与这些样品的使用方式一样重要。因此，我们介绍了一种对3D场景进行弱监督分割的方法，该方法将自我训练与主动学习结合在一起。主动学习选择注释点可能会导致训练有素的模型的性能改进，而自我培训则可以有效利用用户提供的标签来学习模型。我们证明我们的方法会导致一种有效的方法，该方法可改善场景细分对以前的作品和基线，同时仅需要少量的用户注释。

点云实例分割在深度学习的出现方面取得了巨大进展。然而，这些方法通常是具有昂贵且耗时的密度云注释的数据饥饿。为了减轻注释成本，在任务中仍申请未标记或弱标记的数据。在本文中，我们使用标记和未标记的边界框作为监控，介绍第一个半监控点云实例分段框架（SPIB）。具体而言，我们的SPIB架构涉及两级学习程序。对于阶段，在具有扰动一致性正则化（SPCR）的半监控设置下培训边界框提案生成网络。正规化通过强制执行对应用于输入点云的不同扰动的边界框预测的不变性，为网络学习提供自我监督。对于阶段，使用SPCR的边界框提案被分组为某些子集，并且使用新颖的语义传播模块和属性一致性图模块中的每个子集中挖掘实例掩码。此外，我们介绍了一种新型占用比导改进模块，以优化实例掩码。对挑战队的攻击v2数据集进行了广泛的实验，证明了我们的方法可以实现与最近的完全监督方法相比的竞争性能。

点云的语义分割通常依赖于累累且昂贵的致密注释，因此它吸引了广泛的关注，以研究弱监督方案的解决方案，仅稀疏点注释。现有作品从给定的标签开始，并将其传播到高度相关但无标记的点，例如数据的指导，例如内部关系。但是，它遭受了（i）对数据信息的效率低下的利用，并且（ii）在给出更少的注释时，很容易抑制对标签的强烈依赖。因此，我们提出了一个新颖的框架，即DimpMatch，它通过将一致性正则化应用于数据本身的足够探测信息，并同时利用弱标签作为帮助，该框架具有数据和标签。通过这样做，可以从数据和标签中学习有意义的信息，以获得更好的表示，这也使模型可以在标签稀疏度的范围内更强大。简单而有效的是，提议的尖头竞赛在Scannet-V2和S3DIS数据集上都在各种弱监督的方案下实现了最先进的性能，尤其是在具有极为稀疏标签的设置上，例如。在0.01％和0.1％的扫描仪V2设置上，SQN超过21.2％和17.2％。

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, \textit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

现有的突出实例检测（SID）方法通常从像素级注释数据集中学习。在本文中，我们向SID问题提出了第一个弱监督的方法。虽然在一般显着性检测中考虑了弱监管，但它主要基于使用类标签进行对象本地化。然而，仅使用类标签来学习实例知识的显着性信息是不普遍的，因为标签可能不容易地分离具有高语义亲和力的显着实例。由于子化信息提供了对突出项的数量的即时判断，因此自然地与检测突出实例相关，并且可以帮助分离相同实例的不同部分的同一类别的单独实例。灵感来自这一观察，我们建议使用课程和镇展标签作为SID问题的弱监督。我们提出了一种具有三个分支的新型弱监管网络：显着性检测分支利用类一致性信息来定位候选物体;边界检测分支利用类差异信息来解除对象边界;和Firedroid检测分支，使用子化信息来检测SALICE实例质心。然后融合该互补信息以产生突出的实例图。为方便学习过程，我们进一步提出了一种渐进的培训方案，以减少标签噪声和模型中学到的相应噪声，通过往复式突出实例预测和模型刷新模型。我们广泛的评估表明，该方法对精心设计的基线方法进行了有利地竞争，这些方法适应了相关任务。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

当前的3D分割方法很大程度上依赖于大规模的点状数据集，众所周知，这些数据集众所周知。很少有尝试规避需要每点注释的需求。在这项工作中，我们研究了弱监督的3D语义实例分割。关键的想法是利用3D边界框标签，更容易，更快地注释。确实，我们表明只有仅使用边界框标签训练密集的分割模型。在我们方法的核心上，\ name {}是一个深层模型，灵感来自经典的霍夫投票，直接投票赞成边界框参数，并且是专门针对边界盒票的专门定制的群集方法。这超出了常用的中心票，这不会完全利用边界框注释。在扫描仪测试中，我们弱监督的模型在其他弱监督的方法中获得了领先的性能（+18 MAP@50）。值得注意的是，它还达到了当前完全监督模型的50分数的地图的97％。为了进一步说明我们的工作的实用性，我们在最近发布的Arkitscenes数据集中训练Box2mask，该数据集仅使用3D边界框注释，并首次显示引人注目的3D实例细分掩码。

Image instance segmentation is a fundamental research topic in autonomous driving, which is crucial for scene understanding and road safety. Advanced learning-based approaches often rely on the costly 2D mask annotations for training. In this paper, we present a more artful framework, LiDAR-guided Weakly Supervised Instance Segmentation (LWSIS), which leverages the off-the-shelf 3D data, i.e., Point Cloud, together with the 3D boxes, as natural weak supervisions for training the 2D image instance segmentation models. Our LWSIS not only exploits the complementary information in multimodal data during training, but also significantly reduces the annotation cost of the dense 2D masks. In detail, LWSIS consists of two crucial modules, Point Label Assignment (PLA) and Graph-based Consistency Regularization (GCR). The former module aims to automatically assign the 3D point cloud as 2D point-wise labels, while the latter further refines the predictions by enforcing geometry and appearance consistency of the multimodal data. Moreover, we conduct a secondary instance segmentation annotation on the nuScenes, named nuInsSeg, to encourage further research on multimodal perception tasks. Extensive experiments on the nuInsSeg, as well as the large-scale Waymo, show that LWSIS can substantially improve existing weakly supervised segmentation models by only involving 3D data during training. Additionally, LWSIS can also be incorporated into 3D object detectors like PointPainting to boost the 3D detection performance for free. The code and dataset are available at https://github.com/Serenos/LWSIS.

我们提出了一种基于动态卷积的3D点云的实例分割方法。这使其能够在推断时适应变化的功能和对象尺度。这样做避免了一些自下而上的方法的陷阱，包括对超参数调整和启发式后处理管道的依赖，以弥补物体大小的不可避免的可变性，即使在单个场景中也是如此。通过收集具有相同语义类别并为几何质心进行仔细投票的均匀点，网络的表示能力大大提高了。然后通过几个简单的卷积层解码实例，其中参数是在输入上生成的。所提出的方法是无建议的，而是利用适应每个实例的空间和语义特征的卷积过程。建立在瓶颈层上的轻重量变压器使模型可以捕获远程依赖性，并具有有限的计算开销。结果是一种简单，高效且健壮的方法，可以在各种数据集上产生强大的性能：ScannETV2，S3DIS和Partnet。基于体素和点的体系结构的一致改进意味着提出的方法的有效性。代码可在以下网址找到：https：//git.io/dyco3d

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

Deep learning has attained remarkable success in many 3D visual recognition tasks, including shape classification, object detection, and semantic segmentation. However, many of these results rely on manually collecting densely annotated real-world 3D data, which is highly time-consuming and expensive to obtain, limiting the scalability of 3D recognition tasks. Thus, we study unsupervised 3D recognition and propose a Self-supervised-Self-Labeled 3D Recognition (SL3D) framework. SL3D simultaneously solves two coupled objectives, i.e., clustering and learning feature representation to generate pseudo-labeled data for unsupervised 3D recognition. SL3D is a generic framework and can be applied to solve different 3D recognition tasks, including classification, object detection, and semantic segmentation. Extensive experiments demonstrate its effectiveness. Code is available at https://github.com/fcendra/sl3d.

带有图像级标签的弱监督语义分割（WSSS）是一项重要且具有挑战性的任务。由于高训练效率，WSS的端到端解决方案受到了社区的越来越多的关注。但是，当前方法主要基于卷积神经网络，无法正确探索全局信息，因此通常会导致不完整的对象区域。在本文中，为了解决上述问题，我们介绍了自然整合全局信息的变形金刚，以生成更具不可或缺的初始伪标签，以用于端到端WSSS。由变压器中的自我注意力与语义亲和力之间的固有一致性激发，我们提出了来自注意力（AFA）模块的亲和力，以从变形金刚中的多头自我注意力（MHSA）学习语义亲和力。然后将学习的亲和力借用以完善初始伪标签以进行分割。此外，为了有效地得出可靠的亲和力标签，用于监督AFA并确保伪标签的局部一致性，我们设计了一个像素自适应改进模块，该模块结合了低级图像外观信息，以完善伪标签。我们进行了广泛的实验，我们的方法在Pascal VOC 2012和MS Coco 2014数据集中获得了66.0％和38.9％的MIOU，大大优于最近的端到端方法和几个多阶段竞争对手。代码可在https://github.com/rulixiang/afa上找到。

植物点云的分割以获得高精度的形态特征对于植物表型和作物育种至关重要。尽管深度学习方法的绽放促进了对植物点云的分割的大量研究，但大多数作品遵循基于硬素化或基于下采样的方法的共同实践。它们仅限于细分简单的植物器官，忽略了解决具有高空间分辨率的复杂植物点云的困难。在这项研究中，我们提出了一个深度学习网络分割变压器（PST），以实现MLS（移动激光扫描）油料种子强奸点云的语义和实例分割，该强奸点云将其特征在于微小的硅酸盐和致密点作为主要特征。 PST由：（i）一个动态体素特征编码器（DVFE），可通过原始空间分辨率进行每个点特征聚集； （ii）双窗口设置注意力块以捕获上下文信息； （iii）一个密集的特征传播模块，以获得最终的致密点特征图。结果证明，PST和PST-PointGroup（PG）在语义和实例分段任务中实现了最新性能。对于语义细分，PST分别达到93.96％，97.29％，96.52％，96.88％和97.07％的平均值，平均精度，平均召回率，平均F1得分和整体准确性。例如，在MCOV，MWCOV，MPERC90和MREC90中，分割的PST-PG分别达到89.51％，89.85％，88.83％和82.53％。这项研究以端到端的方式扩展了油料强奸的表型，并证明了深度学习方法具有巨大的潜力，可以理解具有复杂形态特征的密集植物点云。

Reliable and automated 3D plant shoot segmentation is a core prerequisite for the extraction of plant phenotypic traits at the organ level. Combining deep learning and point clouds can provide effective ways to address the challenge. However, fully supervised deep learning methods require datasets to be point-wise annotated, which is extremely expensive and time-consuming. In our work, we proposed a novel weakly supervised framework, Eff-3DPSeg, for 3D plant shoot segmentation. First, high-resolution point clouds of soybean were reconstructed using a low-cost photogrammetry system, and the Meshlab-based Plant Annotator was developed for plant point cloud annotation. Second, a weakly-supervised deep learning method was proposed for plant organ segmentation. The method contained: (1) Pretraining a self-supervised network using Viewpoint Bottleneck loss to learn meaningful intrinsic structure representation from the raw point clouds; (2) Fine-tuning the pre-trained model with about only 0.5% points being annotated to implement plant organ segmentation. After, three phenotypic traits (stem diameter, leaf width, and leaf length) were extracted. To test the generality of the proposed method, the public dataset Pheno4D was included in this study. Experimental results showed that the weakly-supervised network obtained similar segmentation performance compared with the fully-supervised setting. Our method achieved 95.1%, 96.6%, 95.8% and 92.2% in the Precision, Recall, F1-score, and mIoU for stem leaf segmentation and 53%, 62.8% and 70.3% in the AP, AP@25, and AP@50 for leaf instance segmentation. This study provides an effective way for characterizing 3D plant architecture, which will become useful for plant breeders to enhance selection processes.

仅使用图像级标签的弱监督语义细分旨在降低分割任务的注释成本。现有方法通常利用类激活图（CAM）来定位伪标签生成的对象区域。但是，凸轮只能发现对象的最歧视部分，从而导致下像素级伪标签。为了解决这个问题，我们提出了一个限制的显着性和内类关系的显着性（I $^2 $ CRC）框架，以协助CAM中激活的对象区域的扩展。具体而言，我们提出了一个显着性指导的类不足的距离模块，以通过将特征对准其类原型来更接近类别内特征。此外，我们提出了一个特定的距离模块，以将类间特征推开，并鼓励对象区域的激活高于背景。除了加强分类网络激活CAM中更多积分对象区域的能力外，我们还引入了一个对象引导的标签细化模块，以完全利用分割预测和初始标签，以获取出色的伪标签。 Pascal VOC 2012和可可数据集的广泛实验很好地证明了I $^2 $ CRC的有效性，而不是其他最先进的对应物。源代码，模型和数据已在\ url {https://github.com/nust-machine-intelligence-laboratory/i2crc}提供。

弱监督的点云分段，即，由于在整个3D场景中只有几个标记点的点云，因此由于为模型训练收集丰富的密集注释的沉重负担，因此是非常可取的。但是，由于有限的注释数据可能导致标签传播的指导不足，因此现有方法仍然具有挑战性，无法准确细分3D点云。考虑到基于平滑度的方法已经取得了令人鼓舞的进步，在本文中，我们主张在各种扰动下应用一致性约束，以有效地正规化未标记的3D点。具体而言，我们提出了一个新颖的dat（\ textbf {d} ual \ textbf {a} dappive \ textbf {t} ransformations模型，用于弱监督点云进行分割，其中双重自适应转换是通过两种对敌方策略在点 - 级别和区域级别，旨在在3D点云上执行局部和结构平滑度约束。我们在大规模S3DIS和SCANNET-V2数据集上使用两个流行的骨干评估了我们提出的DAT模型。广泛的实验表明，我们的模型可以有效地利用未标记的3D点并在两个数据集上实现显着的性能增长，从而为弱监督的点云进行了新的最新性能。