Semantic segmentation in 3D indoor scenes has achieved remarkable performance under the supervision of large-scale annotated data. However, previous works rely on the assumption that the training and testing data are of the same distribution, which may suffer from performance degradation when evaluated on the out-of-distribution scenes. To alleviate the annotation cost and the performance degradation, this paper introduces the synthetic-to-real domain generalization setting to this task. Specifically, the domain gap between synthetic and real-world point cloud data mainly lies in the different layouts and point patterns. To address these problems, we first propose a clustering instance mix (CINMix) augmentation technique to diversify the layouts of the source data. In addition, we augment the point patterns of the source data and introduce non-parametric multi-prototypes to ameliorate the intra-class variance enlarged by the augmented point patterns. The multi-prototypes can model the intra-class variance and rectify the global classifier in both training and inference stages. Experiments on the synthetic-to-real benchmark demonstrate that both CINMix and multi-prototypes can narrow the distribution gap and thus improve the generalization ability on real-world datasets.

在本文中，我们研究了合成到现实域的广义语义分割的任务，该任务旨在学习一个仅使用合成数据的现实场景的强大模型。合成数据和现实世界数据之间的大域移动，包括有限的源环境变化以及合成和现实世界数据之间的较大分布差距，极大地阻碍了看不见的现实现实场景中的模型性能。在这项工作中，我们建议使用样式挂钩的双重一致性学习（Shad）框架来处理此类域转移。具体而言，阴影是基于两个一致性约束，样式一致性（SC）和回顾一致性（RC）构建的。 SC丰富了来源情况，并鼓励模型在样式多样化样本中学习一致的表示。 RC利用现实世界的知识来防止模型过度拟合到合成数据，因此在很大程度上使综合模型和现实世界模型之间的表示一致。此外，我们提出了一个新颖的样式幻觉模块（SHM），以生成对一致性学习至关重要的样式变化样本。 SHM从源分布中选择基本样式，使模型能够在训练过程中动态生成多样化和现实的样本。实验表明，我们的阴影在单个和多源设置上的三个现实世界数据集的平均MIOU的平均MIOU的平均MIOU的平均水平分别优于最先进的方法，并优于最先进的方法。

Domain shift widely exists in the visual world, while modern deep neural networks commonly suffer from severe performance degradation under domain shift due to the poor generalization ability, which limits the real-world applications. The domain shift mainly lies in the limited source environmental variations and the large distribution gap between source and unseen target data. To this end, we propose a unified framework, Style-HAllucinated Dual consistEncy learning (SHADE), to handle such domain shift in various visual tasks. Specifically, SHADE is constructed based on two consistency constraints, Style Consistency (SC) and Retrospection Consistency (RC). SC enriches the source situations and encourages the model to learn consistent representation across style-diversified samples. RC leverages general visual knowledge to prevent the model from overfitting to source data and thus largely keeps the representation consistent between the source and general visual models. Furthermore, we present a novel style hallucination module (SHM) to generate style-diversified samples that are essential to consistency learning. SHM selects basis styles from the source distribution, enabling the model to dynamically generate diverse and realistic samples during training. Extensive experiments demonstrate that our versatile SHADE can significantly enhance the generalization in various visual recognition tasks, including image classification, semantic segmentation and object detection, with different models, i.e., ConvNets and Transformer.

深度学习方法在3D语义细分中取得了显着的成功。但是，收集密集注释的现实世界3D数据集非常耗时且昂贵。关于合成数据和对现实世界情景的培训模型成为一种吸引人的选择，但不幸的是，臭名昭著的领域变化。在这项工作中，我们提出了一个面向数据的域适应性（DODA）框架，以减轻由不同的感应机制和跨域的布局放置引起的模式和上下文差距。我们的DODA涵盖了虚拟扫描模拟，以模仿现实世界中的点云图案和尾声的长方体混合，以减轻基于Cuboid的中间域的内部环境差距。 3D室内语义分割上的第一个无监督的SIM到运行适应基准也构建在3D-Front，Scannet和S3DIS上，以及7种流行的无监督域适应（UDA）方法。我们的DODA在3D -Front-> scannet和3d -Front-> S3DIS上都超过了13％的UDA方法。代码可从https://github.com/cvmi-lab/doda获得。

在本文中，我们考虑了语义分割中域概括的问题，该问题旨在仅使用标记的合成（源）数据来学习强大的模型。该模型有望在看不见的真实（目标）域上表现良好。我们的研究发现，图像样式的变化在很大程度上可以影响模型的性能，并且样式特征可以通过图像的频率平均值和标准偏差来很好地表示。受此启发，我们提出了一种新颖的对抗性增强（Advstyle）方法，该方法可以在训练过程中动态生成硬性化的图像，因此可以有效防止该模型过度适应源域。具体而言，AdvStyle将样式功能视为可学习的参数，并通过对抗培训对其进行更新。学习的对抗性风格功能用于构建用于健壮模型训练的对抗图像。 AdvStyle易于实现，并且可以轻松地应用于不同的模型。对两个合成到现实的语义分割基准的实验表明，Advstyle可以显着改善看不见的真实域的模型性能，并表明我们可以实现最新技术的状态。此外，可以将AdvStyle用于域通用图像分类，并在考虑的数据集上产生明显的改进。

我们呈现Mix3D，一种用于分割大规模3D场景的数据增强技术。由于场景上下文有助于推理对象语义，因此当前的工作侧重于具有大容量和接收字段的模型，可以完全捕获输入3D场景的全局上下文。然而，强烈的背景前瞻可能会有不利的影响，就像错过了一个穿过街道的行人。在这项工作中，我们专注于平衡全球场景和局部几何形状的重要性，以概括在培训集中的上下文前方之外的目标。特别是，我们提出了一种“混合”技术，通过组合两个增强的场景来创造新的训练样本。通过这样做，对象实例被隐式地放入新颖的外观环境中，因此模型更难地依赖场景上下文，而是从本地结构推断出语义。我们进行详细的分析以了解全球背景，局部结构，局部结构和混合场景效果的重要性。在实验中，我们展示了Mix3D培训的模型从室内（Scannet，S3DIS）和室外数据集（Semantickitti）上的显着性能提升。 Mix3D可以逐渐与任何现有方法一起使用，例如，用Mix3D培训，MinkowsWinet在SCANNet测试基准78.1 Miou的显着边际占据了所有现有最先进的方法。代码可用：https://nekrasov.dev/mix3d/

虽然对2D图像的零射击学习（ZSL）进行了许多研究，但其在3D数据中的应用仍然是最近且稀缺的，只有几种方法限于分类。我们在3D数据上介绍了ZSL和广义ZSL（GZSL）的第一代生成方法，可以处理分类，并且是第一次语义分割。我们表明它达到或胜过了INTEMNET40对归纳ZSL和归纳GZSL的ModelNet40分类的最新状态。对于语义分割，我们创建了三个基准，用于评估此新ZSL任务，使用S3DIS，Scannet和Semantickitti进行评估。我们的实验表明，我们的方法优于强大的基线，我们另外为此任务提出。

无监督的域对点云语义分割的适应性引起了极大的关注，因为它在没有标记的数据中学习有效性。大多数现有方法都使用全局级特征对齐方式将知识从源域转移到目标域，这可能会导致特征空间的语义歧义。在本文中，我们提出了一个基于图形的框架，以探索两个域之间的局部特征对齐，可以在适应过程中保留语义歧视。具体而言，为了提取本地级特征，我们首先在两个域上动态构建本地特征图，并使用来自源域的图形构建存储库。特别是，我们使用最佳传输来生成图形匹配对。然后，基于分配矩阵，我们可以将两个域之间的特征分布与基于图的本地特征损失对齐。此外，我们考虑了不同类别的特征之间的相关性，并制定了类别引导的对比损失，以指导分割模型以学习目标域上的区分特征。对不同的合成到现实和真实域的适应情景进行了广泛的实验表明，我们的方法可以实现最先进的性能。

点云的几乎没有分割仍然是一项具有挑战性的任务，因为没有有效的方法将局部点云信息转换为全局表示，这阻碍了点特征的概括能力。在这项研究中，我们提出了双向特征全球化（BFG）方法，该方法利用点特征和原型向量之间的相似性测量，以双向方式将全球感知嵌入到局部点特征中。随着点对点型全球化（PO2PRG），BFG根据从密度点特征到稀疏原型的相似权重将本地点特征汇总到原型。使用原型到点全球化（PR2POG），基于从稀疏原型到密集点特征的相似性权重，全局感知嵌入到局部点特征中。每个类嵌入全局感知的类的稀疏原型汇总到基于度量学习框架的几个原型3D分割的单个原型。对S3DIS和SCANNET的广泛实验表明，BFG显着超过了最新方法。

无监督的域适应性（UDA）旨在使在标记的源域上训练的模型适应未标记的目标域。在本文中，我们提出了典型的对比度适应（PROCA），这是一种无监督域自适应语义分割的简单有效的对比度学习方法。以前的域适应方法仅考虑跨各个域的阶级内表示分布的对齐，而阶层间结构关系的探索不足，从而导致目标域上的对齐表示可能不像在源上歧视的那样容易歧视。域了。取而代之的是，ProCA将类间信息纳入班级原型，并采用以班级为中心的分布对齐进行适应。通过将同一类原型与阳性和其他类原型视为实现以集体为中心的分配对齐方式的负面原型，Proca在经典领域适应任务上实现了最先进的性能，{\ em i.e. text {and} synthia $ \ to $ cityScapes}。代码可在\ href {https://github.com/jiangzhengkai/proca} {proca}获得代码

3D激光雷达语义细分对于自动驾驶是基础。最近已经提出了几种用于点云数据的无监督域适应性（UDA）方法，以改善不同传感器和环境的模型概括。研究图像域中研究UDA问题的研究人员表明，样品混合可以减轻域的转移。我们提出了一种针对点云UDA的样品混合的新方法，即组成语义混合（Cosmix），这是基于样品混合的第一种UDA方法。 Cosmix由一个两分支对称网络组成，该网络可以同时处理标记的合成数据（源）和现实世界中未标记的点云（目标）。每个分支通过从另一个域中混合选定的数据来在一个域上运行，并使用源标签和目标伪标签的语义信息。我们在两个大规模数据集上评估Cosmix，表明它的表现要优于最先进的方法。我们的代码可在https://github.com/saltoricristiano/cosmix-uda上找到。

我们在语义分段（NCDSS）中介绍了新型类发现的新设置，其目的在于将未标记的图像分段，其中给出了从标记的不相交类集之前知识的新类。与看起来在图像分类中的新型类发现的现有方法相比，我们专注于更具挑战性的语义细分。在NCDS中，我们需要区分对象和背景，并处理图像内的多个类的存在，这增加了使用未标记数据的难度。为了解决这个新的设置，我们利用标记的基础数据和显着模型来粗略地集群新颖的课程，以便在我们的基本框架中进行模型培训。此外，我们提出了基于熵的不确定性建模和自我培训（EUMS）框架来克服嘈杂的伪标签，进一步提高了新颖类别的模型性能。我们的欧姆斯利用熵排名技术和动态重新分配来蒸馏清洁标签，从而充分利用自我监督的学习来充分利用嘈杂的数据。我们在Pascal-5 $ ^ i $ dataSet上构建NCDSS基准。广泛的实验表明了基本框架的可行性（实现了平均Miou的49.81％）和欧姆斯框架的有效性（优于9.28％Miou的基本框架）。

在本文中，我们解决了一次性分段的单次无监督域适应（OSUDA）的问题，其中分段器在训练期间只看到一个未标记的目标图像。在这种情况下，传统的无监督域适应模型通常失败，因为它们不能适应目标域，以具有过度拟合到一个（或几个）目标样本。为了解决这个问题，现有的OSUDA方法通常集成了一种样式传输模块，基于未标记的目标样本执行域随机化，可以在训练期间探讨目标样本周围的多个域。然而，这种样式传输模块依赖于一组额外的图像作为预训练的样式参考，并且还增加了对域适应的内存需求。在这里，我们提出了一种新的奥德达方法，可以有效地缓解这种计算负担。具体而言，我们将多个样式混合层集成到分段器中，该分段器播放样式传输模块的作用，以在不引入任何学习参数的情况下使源图像进行体现。此外，我们提出了一种剪辑的原型匹配（PPM）方法来加权考虑源像素在监督训练期间的重要性，以缓解负适应。实验结果表明，我们的方法在单次设置下的两个常用基准上实现了新的最先进的性能，并且比所有比较方法更有效。

3D零件分割是高级CAM/CAD工作流程中的重要步骤。精确的3D细分有助于降低制造设备（例如计算机控制的CNC）生产的工作配件的缺陷率，从而提高了工作效率并获得了随之而来的经济利益。在3D模型分割上进行的大量现有作品主要基于完全监督的学习，该学习训练AI模型具有大型，带注释的数据集。但是，缺点是，完全监督的学习方法的最终模型高度依赖于可用数据集的完整性，并且其概括能力对新的未知细分类型（即其他新颖的类别）相对较差。在这项工作中，我们提出并开发了一种值得注意的基于学习的方法，以在CAM/CAD中进行有效的部分分割；这旨在显着增强其概括能力，并通过仅使用相对较少的样本灵活地适应新的分割任务。结果，它不仅减少了通常无法实现和详尽的监督数据集完整性的要求，而且还提高了对现实世界应用程序的灵活性。作为进一步的改进和创新，我们还采用了网络中的转换网和中心损失块。这些特征有助于提高整个工作人员各种可能实例的3D特征的理解，并确保在特征空间中同一类的密切分布。此外，我们的方法以降低空间消耗的点云格式存储数据，并且还使所涉及的各种过程变得更加容易阅读和编辑访问（从而提高了效率和有效性并降低了成本）。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

在本文中，我们介绍了全景语义细分，该分段以整体方式提供了对周围环境的全景和密集的像素的理解。由于两个关键的挑战，全景分割尚未探索：（1）全景上的图像扭曲和对象变形； （2）缺乏培训全景分段的注释。为了解决这些问题，我们提出了一个用于全景语义细分（Trans4Pass）体系结构的变压器。首先，为了增强失真意识，Trans4Pass配备了可变形的贴片嵌入（DPE）和可变形的MLP（DMLP）模块，能够在适应之前（适应之前或之后）和任何地方（浅层或深度级别的（浅层或深度））和图像变形（通过任何涉及（浅层或深层））和图像变形（通过任何地方）和图像变形设计。我们进一步介绍了升级后的Trans4Pass+模型，其中包含具有平行令牌混合的DMLPV2，以提高建模歧视性线索的灵活性和概括性。其次，我们提出了一种无监督域适应性的相互典型适应（MPA）策略。第三，除了针孔到型 - 帕诺amic（PIN2PAN）适应外，我们还创建了一个新的数据集（Synpass），其中具有9,080个全景图像，以探索360 {\ deg} Imagery中的合成对真实（Syn2real）适应方案。进行了广泛的实验，这些实验涵盖室内和室外场景，并且使用PIN2PAN和SYN2REAL方案进行了研究。 Trans4Pass+在四个域自适应的全景语义分割基准上实现最先进的性能。代码可从https://github.com/jamycheung/trans4pass获得。

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, \textit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

Point cloud analysis is receiving increasing attention, however, most existing point cloud models lack the practical ability to deal with the unavoidable presence of unknown objects. This paper mainly discusses point cloud analysis under open-set settings, where we train the model without data from unknown classes and identify them in the inference stage. Basically, we propose to solve open-set point cloud analysis using a novel Point Cut-and-Mix mechanism consisting of Unknown-Point Simulator and Unknown-Point Estimator modules. Specifically, we use the Unknown-Point Simulator to simulate unknown data in the training stage by manipulating the geometric context of partial known data. Based on this, the Unknown-Point Estimator module learns to exploit the point cloud's feature context for discriminating the known and unknown data. Extensive experiments show the plausibility of open-set point cloud analysis and the effectiveness of our proposed solutions. Our code is available at \url{https://github.com/ShiQiu0419/pointcam}.

深度学习极大地提高了语义细分的性能，但是，它的成功依赖于大量注释的培训数据的可用性。因此，许多努力致力于域自适应语义分割，重点是将语义知识从标记的源域转移到未标记的目标域。现有的自我训练方法通常需要多轮训练，而基于对抗训练的另一个流行框架已知对超参数敏感。在本文中，我们提出了一个易于训练的框架，该框架学习了域自适应语义分割的域不变原型。特别是，我们表明域的适应性与很少的学习共享一个共同的角色，因为两者都旨在识别一些从大量可见数据中学到的知识的看不见的数据。因此，我们提出了一个统一的框架，用于域适应和很少的学习。核心思想是使用从几个镜头注释的目标图像中提取的类原型来对源图像和目标图像的像素进行分类。我们的方法仅涉及一个阶段训练，不需要对大规模的未经通知的目标图像进行培训。此外，我们的方法可以扩展到域适应性和几乎没有射击学习的变体。关于适应GTA5到CITYSCAPES和合成景观的实验表明，我们的方法实现了对最先进的竞争性能。

LIDAR点云通常通过连续旋转LIDAR传感器扫描，捕获周围环境的精确几何形状，并且对于许多自主检测和导航任务至关重要。尽管已经开发了许多3D深度体系结构，但是在分析和理解点云数据中，有效收集和大量点云的注释仍然是一个主要挑战。本文介绍了Polarmix，这是一种简单且通用的点云增强技术，但可以在不同的感知任务和场景中有效地减轻数据约束。 Polarmix通过两种跨扫描扩展策略来富含点云分布，并保留点云保真度，这些杂志沿扫描方向切割，编辑和混合点云。第一个是场景级交换，它交换了两个LiDAR扫描的点云扇区，这些扫描沿方位角轴切割。第二个是实例级旋转和粘贴，它是从一个激光雷达扫描中进行的点点实例，用多个角度旋转它们（以创建多个副本），然后将旋转点实例粘贴到其他扫描中。广泛的实验表明，Polarmix在不同的感知任务和场景中始终如一地达到卓越的性能。此外，它可以用作各种3D深度体系结构的插件，并且对于无监督的域适应性也很好。