将从标记的源域中学习的知识传输到未经监督域适应的原始目标域（UDA）对于自主驱动系统的可扩展部署至关重要。 UDA中最先进的方法经常采用关键概念：利用来自源域（带地理）的联合监督信号和目标域（带伪标签）进行自培训。在这项工作中，我们在这方面改进并延伸。我们介绍了Conda，一种基于连接的域改性框架，用于LIDAR语义分割，：（1）构建由来自源极和目标域的细粒度交换信号组成的中间域，而不会破坏自我周围物体和背景的语义一致性。车辆; （2）利用中级领域进行自我培训。此外，为了改善源域的网络培训和中间域的自我训练，我们提出了一种抗锯齿规范器和熵聚合器，以减少混叠伪影和嘈杂的目标预测的不利影响。通过广泛的实验，我们证明，与现有技术相比，公园在减轻域间隙方面明显更有效。

密集的注释LiDAR点云是昂贵的，这限制了完全监督学习方法的可伸缩性。在这项工作中，我们研究了激光雷达分割中未充满激光的半监督学习（SSL）。我们的核心思想是利用激光点云的强烈空间提示来更好地利用未标记的数据。我们建议Lasermix混合不同激光扫描的激光束，然后鼓励模型在混合前后进行一致和自信的预测。我们的框架具有三个吸引人的属性：1）通用：Lasermix对LIDAR表示不可知（例如，范围视图和体素），因此可以普遍应用我们的SSL框架。 2）从统计上讲：我们提供详细的分析，以理论上解释所提出的框架的适用性。 3）有效：对流行激光雷达分割数据集（Nuscenes，Semantickitti和Scribblekitti）的全面实验分析证明了我们的有效性和优势。值得注意的是，我们在标签少2倍至5倍的同行中获得了竞争成果，并平均将仅监督的基线提高了10.8％。我们希望这个简洁而高性能的框架可以促进半监督的激光雷达细分的未来研究。代码将公开可用。

3D激光雷达语义细分对于自动驾驶是基础。最近已经提出了几种用于点云数据的无监督域适应性（UDA）方法，以改善不同传感器和环境的模型概括。研究图像域中研究UDA问题的研究人员表明，样品混合可以减轻域的转移。我们提出了一种针对点云UDA的样品混合的新方法，即组成语义混合（Cosmix），这是基于样品混合的第一种UDA方法。 Cosmix由一个两分支对称网络组成，该网络可以同时处理标记的合成数据（源）和现实世界中未标记的点云（目标）。每个分支通过从另一个域中混合选定的数据来在一个域上运行，并使用源标签和目标伪标签的语义信息。我们在两个大规模数据集上评估Cosmix，表明它的表现要优于最先进的方法。我们的代码可在https://github.com/saltoricristiano/cosmix-uda上找到。

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world "wild tasks" where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as "domain gap", and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training (ST) procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of ST, we also propose a novel classbalanced self-training (CBST) framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.⋆ indicates equal contribution.

3D点云语义细分对于自动驾驶至关重要。文献中的大多数方法都忽略了一个重要方面，即在处理动态场景时如何处理域转移。这可能会极大地阻碍自动驾驶车辆的导航能力。本文推进了该研究领域的最新技术。我们的第一个贡献包括分析点云细分中的新的未开发的方案，即无源的在线无监督域改编（SF-OUDA）。我们在实验上表明，最新的方法具有相当有限的能力，可以使预训练的深网模型以在线方式看不到域。我们的第二个贡献是一种依赖于自适应自我训练和几何传播的方法，以在线调整预训练的源模型，而无需源数据或目标标签。我们的第三个贡献是在一个充满挑战的设置中研究sf-ouda，其中源数据是合成的，目标数据是现实世界中捕获的点云。我们将最近的Synlidar数据集用作合成源，并引入了两个新的合成（源）数据集，这些数据集可以刺激未来的综合自动驾驶研究。我们的实验显示了我们分割方法对数千个现实点云的有效性。代码和合成数据集可在https://github.com/saltoricristiano/gipso-sfouda上找到。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

语义细分是智能车辆了解环境的重要任务。当前的深度学习方法需要大量的标记数据进行培训。手动注释很昂贵，而模拟器可以提供准确的注释。但是，在实际场景中应用时，使用模拟器数据训练的语义分割模型的性能将大大降低。对于语义分割的无监督域适应性（UDA）最近引起了越来越多的研究注意力，旨在减少域间隙并改善目标域的性能。在本文中，我们提出了一种新型的基于两阶段熵的UDA方法，用于语义分割。在第一阶段，我们设计了一个阈值适应的无监督局灶性损失，以使目标域中的预测正常，该预测具有轻度的梯度中和机制，并减轻了在基于熵方法中几乎没有优化硬样品的问题。在第二阶段，我们引入了一种名为跨域图像混合（CIM）的数据增强方法，以弥合两个域的语义知识。我们的方法在合成景观和gta5-to-cityscapes上使用DeepLabV2和使用轻量级的Bisenet实现了最新的58.4％和59.6％的MIOS和59.6％的Mious。

深度学习方法在3D语义细分中取得了显着的成功。但是，收集密集注释的现实世界3D数据集非常耗时且昂贵。关于合成数据和对现实世界情景的培训模型成为一种吸引人的选择，但不幸的是，臭名昭著的领域变化。在这项工作中，我们提出了一个面向数据的域适应性（DODA）框架，以减轻由不同的感应机制和跨域的布局放置引起的模式和上下文差距。我们的DODA涵盖了虚拟扫描模拟，以模仿现实世界中的点云图案和尾声的长方体混合，以减轻基于Cuboid的中间域的内部环境差距。 3D室内语义分割上的第一个无监督的SIM到运行适应基准也构建在3D-Front，Scannet和S3DIS上，以及7种流行的无监督域适应（UDA）方法。我们的DODA在3D -Front-> scannet和3d -Front-> S3DIS上都超过了13％的UDA方法。代码可从https://github.com/cvmi-lab/doda获得。

了解驾驶场景中的雾图像序列对于自主驾驶至关重要，但是由于难以收集和注释不利天气的现实世界图像，这仍然是一项艰巨的任务。最近，自我训练策略被认为是无监督域适应的强大解决方案，通过生成目标伪标签并重新训练模型，它迭代地将模型从源域转化为目标域。但是，选择自信的伪标签不可避免地会遭受稀疏与准确性之间的冲突，这两者都会导致次优模型。为了解决这个问题，我们利用了驾驶场景的雾图图像序列的特征，以使自信的伪标签致密。具体而言，基于顺序图像数据的局部空间相似性和相邻时间对应的两个发现，我们提出了一种新型的目标域驱动的伪标签扩散（TDO-DIF）方案。它采用超像素和光学流来识别空间相似性和时间对应关系，然后扩散自信但稀疏的伪像标签，或者是由流量链接的超像素或时间对应对。此外，为了确保扩散像素的特征相似性，我们在模型重新训练阶段引入了局部空间相似性损失和时间对比度损失。实验结果表明，我们的TDO-DIF方案有助于自适应模型在两个公共可用的天然雾化数据集（超过雾气的Zurich and Forggy驾驶）上实现51.92％和53.84％的平均跨工会（MIOU），这超过了最态度ART无监督的域自适应语义分割方法。可以在https://github.com/velor2012/tdo-dif上找到模型和数据。

受益于从特定情况（源）收集的相当大的像素级注释，训练有素的语义分段模型表现得非常好，但由于大域移位而导致的新情况（目标）失败。为了缓解域间隙，先前的跨域语义分段方法始终在域对齐期间始终假设源数据和目标数据的共存。但是，在实际方案中访问源数据可能会引发隐私问题并违反知识产权。为了解决这个问题，我们专注于一个有趣和具有挑战性的跨域语义分割任务，其中仅向目标域提供训练源模型。具体地，我们提出了一种称为ATP的统一框架，其包括三种方案，即特征对准，双向教学和信息传播。首先，我们设计了课程熵最小化目标，以通过提供的源模型隐式对准目标功能与看不见的源特征。其次，除了vanilla自我训练中的正伪标签外，我们是第一个向该领域引入负伪标签的，并开发双向自我训练策略，以增强目标域中的表示学习。最后，采用信息传播方案来通过伪半监督学习进一步降低目标域内的域内差异。综合与跨城市驾驶数据集的广泛结果验证\ TextBF {ATP}产生最先进的性能，即使是需要访问源数据的方法。

无监督的域适应性（UDA）旨在使标记的源域的模型适应未标记的目标域。现有的基于UDA的语义细分方法始终降低像素级别，功能级别和输出级别的域移动。但是，几乎所有这些都在很大程度上忽略了上下文依赖性，该依赖性通常在不同的领域共享，从而导致较不怀疑的绩效。在本文中，我们提出了一个新颖的环境感知混音（camix）框架自适应语义分割的框架，该框架以完全端到端的可训练方式利用了上下文依赖性的这一重要线索作为显式的先验知识，以增强对适应性的适应性目标域。首先，我们通过利用积累的空间分布和先前的上下文关系来提出上下文掩盖的生成策略。生成的上下文掩码在这项工作中至关重要，并将指导三个不同级别的上下文感知域混合。此外，提供了背景知识，我们引入了重要的一致性损失，以惩罚混合学生预测与混合教师预测之间的不一致，从而减轻了适应性的负面转移，例如早期绩效降级。广泛的实验和分析证明了我们方法对广泛使用的UDA基准的最新方法的有效性。

We describe a simple method for unsupervised domain adaptation, whereby the discrepancy between the source and target distributions is reduced by swapping the lowfrequency spectrum of one with the other. We illustrate the method in semantic segmentation, where densely annotated images are aplenty in one domain (e.g., synthetic data), but difficult to obtain in another (e.g., real images). Current state-of-the-art methods are complex, some requiring adversarial optimization to render the backbone of a neural network invariant to the discrete domain selection variable. Our method does not require any training to perform the domain alignment, just a simple Fourier Transform and its inverse. Despite its simplicity, it achieves state-of-the-art performance in the current benchmarks, when integrated into a relatively standard semantic segmentation model. Our results indicate that even simple procedures can discount nuisance variability in the data that more sophisticated methods struggle to learn away. 1

本文提出了一种新颖的像素级分布正则化方案（DRSL），用于自我监督的语义分割域的适应性。在典型的环境中，分类损失迫使语义分割模型贪婪地学习捕获类间变化的表示形式，以确定决策（类）边界。由于域的转移，该决策边界在目标域中未对齐，从而导致嘈杂的伪标签对自我监督域的适应性产生不利影响。为了克服这一限制，以及捕获阶层间变化，我们通过类感知的多模式分布学习（MMDL）捕获了像素级内的类内变化。因此，捕获阶层内变化所需的信息与阶层间歧视所需的信息明确分开。因此，捕获的功能更具信息性，导致伪噪声低的伪标记。这种分离使我们能够使用前者的基于跨凝结的自学习，在判别空间和多模式分布空间中进行单独的对齐。稍后，我们通过明确降低映射到同一模式的目标和源像素之间的距离来提出一种新型的随机模式比对方法。距离度量标签上计算出的距离度量损失，并从多模式建模头部反向传播，充当与分割头共享的基本网络上的正常化程序。关于合成到真实域的适应设置的全面实验的结果，即GTA-V/Synthia to CityScapes，表明DRSL的表现优于许多现有方法（MIOU的最小余量为2.3％和2.5％，用于MIOU，而合成的MIOU到CityScapes）。

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) an entropy loss and (ii) an adversarial loss respectively. We demonstrate state-of-theart performance in semantic segmentation on two challenging "synthetic-2-real" set-ups 1 and show that the approach can also be used for detection.

LiDAR-based 3D object detection is an indispensable task in advanced autonomous driving systems. Though impressive detection results have been achieved by superior 3D detectors, they suffer from significant performance degeneration when facing unseen domains, such as different LiDAR configurations, different cities, and weather conditions. The mainstream approaches tend to solve these challenges by leveraging unsupervised domain adaptation (UDA) techniques. However, these UDA solutions just yield unsatisfactory 3D detection results when there is a severe domain shift, e.g., from Waymo (64-beam) to nuScenes (32-beam). To address this, we present a novel Semi-Supervised Domain Adaptation method for 3D object detection (SSDA3D), where only a few labeled target data is available, yet can significantly improve the adaptation performance. In particular, our SSDA3D includes an Inter-domain Adaptation stage and an Intra-domain Generalization stage. In the first stage, an Inter-domain Point-CutMix module is presented to efficiently align the point cloud distribution across domains. The Point-CutMix generates mixed samples of an intermediate domain, thus encouraging to learn domain-invariant knowledge. Then, in the second stage, we further enhance the model for better generalization on the unlabeled target set. This is achieved by exploring Intra-domain Point-MixUp in semi-supervised learning, which essentially regularizes the pseudo label distribution. Experiments from Waymo to nuScenes show that, with only 10% labeled target data, our SSDA3D can surpass the fully-supervised oracle model with 100% target label. Our code is available at https://github.com/yinjunbo/SSDA3D.

Unsupervised domain adaptation (UDA) for semantic segmentation is a promising task freeing people from heavy annotation work. However, domain discrepancies in low-level image statistics and high-level contexts compromise the segmentation performance over the target domain. A key idea to tackle this problem is to perform both image-level and feature-level adaptation jointly. Unfortunately, there is a lack of such unified approaches for UDA tasks in the existing literature. This paper proposes a novel UDA pipeline for semantic segmentation that unifies image-level and feature-level adaptation. Concretely, for image-level domain shifts, we propose a global photometric alignment module and a global texture alignment module that align images in the source and target domains in terms of image-level properties. For feature-level domain shifts, we perform global manifold alignment by projecting pixel features from both domains onto the feature manifold of the source domain; and we further regularize category centers in the source domain through a category-oriented triplet loss and perform target domain consistency regularization over augmented target domain images. Experimental results demonstrate that our pipeline significantly outperforms previous methods. In the commonly tested GTA5$\rightarrow$Cityscapes task, our proposed method using Deeplab V3+ as the backbone surpasses previous SOTA by 8%, achieving 58.2% in mIoU.

由于在不良视觉条件下记录的图像的密集像素级语义注释缺乏，因此对此类图像的语义分割的无监督域适应性（UDA）引起了兴趣。 UDA适应了在正常条件下训练的模型，以适应目标不利条件域。同时，多个带有驾驶场景的数据集提供了跨多个条件的相同场景的相应图像，这可以用作域适应的弱监督。我们提出了重新设计，这是对基于自训练的UDA方法的通用扩展，该方法利用了这些跨域对应关系。重新调整由两个步骤组成：（1）使用不确定性意识到的密度匹配网络将正常条件图像与相应的不良条件图像对齐，以及（2）使用自适应标签校正机制来完善不良预测，并使用正常预测。我们设计自定义模块，以简化这两个步骤，并在几个不良条件基准（包括ACDC和Dark Zurich）上设置域自适应语义分割的新技术。该方法不引入额外的训练参数，只有在训练期间最少的计算开销 - 可以用作撤离扩展，以改善任何给定的基于自我训练的UDA方法。代码可从https://github.com/brdav/refign获得。

本文提出FogAdapt，一种用于密集有雾场景的语义细分域的新方法。虽然已经针对显着的研究来减少语义分割中的域移位，但对具有恶劣天气条件的场景的适应仍然是一个开放的问题。由于天气状况，如雾，烟雾和雾度，加剧了域移位的场景的可见性，从而使得在这种情况下进行了无监督的适应性。我们提出了一种自熵和多尺度信息增强的自我监督域适应方法（FOGADAPT），以最大限度地减少有雾场景分割的域移位。由经验证据支持，雾密度的增加导致分割概率的高自熵性，我们引入了基于自熵的损耗功能来引导适应方法。此外，在不同的图像尺度上获得的推论由不确定性组合并加权，以生成目标域的尺度不变伪标签。这些规模不变的伪标签对可见性和比例变化具有鲁棒性。我们在真正的雾景场景中评估了真正的清晰天气场景模型，适应和综合非雾图像到真正的雾场景适应情景。我们的实验表明，FogAdapt在有雾图像的语义分割中的目前最先进的情况下显着优异。具体而言，通过考虑标准设置与最先进的（SOTA）方法相比，FogaDATK在Foggy苏黎世上获得3.8％，有雾的驾驶密集为6.0％，而在Miou的雾化驾驶的3.6％，在Miou，在MiOOP中改编为有雾的苏黎世。

自动驾驶汽车必须在3D中检测其他车辆和行人，以计划安全路线并避免碰撞。基于深度学习的最先进的3D对象探测器已显示出有希望的准确性，但容易过度拟合域特质，使它们在新环境中失败 - 如果自动驾驶汽车旨在自动操作，则是一个严重的问题。在本文中，我们提出了一种新颖的学习方法，该方法通过在目标域中的伪标记上微调检测器，从而大大减少这一差距，我们的方法在车辆停放时会根据先前记录的驾驶序列的重播而生成的差距。在这些重播中，随着时间的推移会跟踪对象，并且检测被插值和外推 - 至关重要的是利用未来的信息来捕获硬病例。我们在五个自动驾驶数据集上显示，对这些伪标签上的对象检测器进行微调大大减少了域间隙到新的驾驶环境，从而极大地提高了准确性和检测可靠性。