当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

State-of-the-art 3D semantic segmentation models are trained on the off-the-shelf public benchmarks, but they often face the major challenge when these well-trained models are deployed to a new domain. In this paper, we propose an Active-and-Adaptive Segmentation (ADAS) baseline to enhance the weak cross-domain generalization ability of a well-trained 3D segmentation model, and bridge the point distribution gap between domains. Specifically, before the cross-domain adaptation stage begins, ADAS performs an active sampling operation to select a maximally-informative subset from both source and target domains for effective adaptation, reducing the adaptation difficulty under 3D scenarios. Benefiting from the rise of multi-modal 2D-3D datasets, ADAS utilizes a cross-modal attention-based feature fusion module that can extract a representative pair of image features and point features to achieve a bi-directional image-point feature interaction for better safe adaptation. Experimentally, ADAS is verified to be effective in many cross-domain settings including: 1) Unsupervised Domain Adaptation (UDA), which means that all samples from target domain are unlabeled; 2) Unsupervised Few-shot Domain Adaptation (UFDA) which means that only a few unlabeled samples are available in the unlabeled target domain; 3) Active Domain Adaptation (ADA) which means that the selected target samples by ADAS are manually annotated. Their results demonstrate that ADAS achieves a significant accuracy gain by easily coupling ADAS with self-training methods or off-the-shelf UDA works.

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

3D点云语义细分对于自动驾驶至关重要。文献中的大多数方法都忽略了一个重要方面，即在处理动态场景时如何处理域转移。这可能会极大地阻碍自动驾驶车辆的导航能力。本文推进了该研究领域的最新技术。我们的第一个贡献包括分析点云细分中的新的未开发的方案，即无源的在线无监督域改编（SF-OUDA）。我们在实验上表明，最新的方法具有相当有限的能力，可以使预训练的深网模型以在线方式看不到域。我们的第二个贡献是一种依赖于自适应自我训练和几何传播的方法，以在线调整预训练的源模型，而无需源数据或目标标签。我们的第三个贡献是在一个充满挑战的设置中研究sf-ouda，其中源数据是合成的，目标数据是现实世界中捕获的点云。我们将最近的Synlidar数据集用作合成源，并引入了两个新的合成（源）数据集，这些数据集可以刺激未来的综合自动驾驶研究。我们的实验显示了我们分割方法对数千个现实点云的有效性。代码和合成数据集可在https://github.com/saltoricristiano/gipso-sfouda上找到。

LIDAR语义分割提供有关环境的3D语义信息，在其决策过程中为智能系统提供基本提示。深度神经网络正在实现这项任务的大型公共基准的最先进结果。不幸的是，找到概括井或适应其他域的模型，其中数据分布不同，仍然是一个重大挑战。这项工作解决了LIDAR语义分段模型的无监督域适应问题。我们的方法将新颖的想法结合在最新的最先进的方法之上，并产生了新的最先进的结果。我们提出了简单但有效的策略，以通过对齐输入空间的数据分布来减少域移位。此外，我们提出了一种基于学习的方法，使目标域的语义类的分布对准到源域。呈现的消融研究表明，每个部分如何促成最终表现。我们的策略显示在三个不同的域上运行的比较以前的域适应方法。

随着相机和激光雷达传感器捕获用于自主驾驶的互补信息，已经做出了巨大的努力，通过多模式数据融合来开发语义分割算法。但是，基于融合的方法需要配对的数据，即具有严格的点对像素映射的激光点云和相机图像，因为培训和推理的输入都严重阻碍了在实际情况下的应用。因此，在这项工作中，我们建议通过充分利用具有丰富外观的2D图像来提高对点云上的代表性学习的2D先验辅助语义分割（2DPass），以增强对点云的表示。实际上，通过利用辅助模态融合和多尺度融合到单个知识蒸馏（MSFSKD），2DAPS从多模式数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。结果，配备了2DAPS，我们的基线仅使用点云输入显示出显着的改进。具体而言，它在两个大规模的基准（即Semantickitti和Nuscenes）上实现了最先进的方法，其中包括TOP-1的semantickitti的单扫描和多次扫描竞赛。

3D激光雷达语义细分对于自动驾驶是基础。最近已经提出了几种用于点云数据的无监督域适应性（UDA）方法，以改善不同传感器和环境的模型概括。研究图像域中研究UDA问题的研究人员表明，样品混合可以减轻域的转移。我们提出了一种针对点云UDA的样品混合的新方法，即组成语义混合（Cosmix），这是基于样品混合的第一种UDA方法。 Cosmix由一个两分支对称网络组成，该网络可以同时处理标记的合成数据（源）和现实世界中未标记的点云（目标）。每个分支通过从另一个域中混合选定的数据来在一个域上运行，并使用源标签和目标伪标签的语义信息。我们在两个大规模数据集上评估Cosmix，表明它的表现要优于最先进的方法。我们的代码可在https://github.com/saltoricristiano/cosmix-uda上找到。

Segmentation of lidar data is a task that provides rich, point-wise information about the environment of robots or autonomous vehicles. Currently best performing neural networks for lidar segmentation are fine-tuned to specific datasets. Switching the lidar sensor without retraining on a big set of annotated data from the new sensor creates a domain shift, which causes the network performance to drop drastically. In this work we propose a new method for lidar domain adaption, in which we use annotated panoptic lidar datasets and recreate the recorded scenes in the structure of a different lidar sensor. We narrow the domain gap to the target data by recreating panoptic data from one domain in another and mixing the generated data with parts of (pseudo) labeled target domain data. Our method improves the nuScenes to SemanticKITTI unsupervised domain adaptation performance by 15.2 mean Intersection over Union points (mIoU) and by 48.3 mIoU in our semi-supervised approach. We demonstrate a similar improvement for the SemanticKITTI to nuScenes domain adaptation by 21.8 mIoU and 51.5 mIoU, respectively. We compare our method with two state of the art approaches for semantic lidar segmentation domain adaptation with a significant improvement for unsupervised and semi-supervised domain adaptation. Furthermore we successfully apply our proposed method to two entirely unlabeled datasets of two state of the art lidar sensors Velodyne Alpha Prime and InnovizTwo, and train well performing semantic segmentation networks for both.

交通场景边缘壳体的语义分割的鲁棒性是智能运输安全的重要因素。然而，交通事故的大多数关键场景都是非常动态和以前看不见的，这严重损害了语义分割方法的性能。另外，在高速驾驶期间传统相机的延迟将进一步降低时间尺寸中的上下文信息。因此，我们建议从基于事件的数据提取动态上下文，以更高的时间分辨率来增强静态RGB图像，即使对于来自运动模糊，碰撞，变形，翻转等的流量事故而言，此外，为评估分割交通事故中的性能，我们提供了一个像素 - 明智的注释事故数据集，即Dada-Seg，其中包含来自交通事故的各种临界情景。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法在拟议的事故数据集中实现了+ 8.2％的性能增益，超过了20多种最先进的语义细分方法。已经证明该提案对于在多个源数据库中学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。

在本文中，我们介绍了全景语义细分，该分段以整体方式提供了对周围环境的全景和密集的像素的理解。由于两个关键的挑战，全景分割尚未探索：（1）全景上的图像扭曲和对象变形； （2）缺乏培训全景分段的注释。为了解决这些问题，我们提出了一个用于全景语义细分（Trans4Pass）体系结构的变压器。首先，为了增强失真意识，Trans4Pass配备了可变形的贴片嵌入（DPE）和可变形的MLP（DMLP）模块，能够在适应之前（适应之前或之后）和任何地方（浅层或深度级别的（浅层或深度））和图像变形（通过任何涉及（浅层或深层））和图像变形（通过任何地方）和图像变形设计。我们进一步介绍了升级后的Trans4Pass+模型，其中包含具有平行令牌混合的DMLPV2，以提高建模歧视性线索的灵活性和概括性。其次，我们提出了一种无监督域适应性的相互典型适应（MPA）策略。第三，除了针孔到型 - 帕诺amic（PIN2PAN）适应外，我们还创建了一个新的数据集（Synpass），其中具有9,080个全景图像，以探索360 {\ deg} Imagery中的合成对真实（Syn2real）适应方案。进行了广泛的实验，这些实验涵盖室内和室外场景，并且使用PIN2PAN和SYN2REAL方案进行了研究。 Trans4Pass+在四个域自适应的全景语义分割基准上实现最先进的性能。代码可从https://github.com/jamycheung/trans4pass获得。

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) an entropy loss and (ii) an adversarial loss respectively. We demonstrate state-of-theart performance in semantic segmentation on two challenging "synthetic-2-real" set-ups 1 and show that the approach can also be used for detection.

将从标记的源域中学习的知识传输到未经监督域适应的原始目标域（UDA）对于自主驱动系统的可扩展部署至关重要。 UDA中最先进的方法经常采用关键概念：利用来自源域（带地理）的联合监督信号和目标域（带伪标签）进行自培训。在这项工作中，我们在这方面改进并延伸。我们介绍了Conda，一种基于连接的域改性框架，用于LIDAR语义分割，：（1）构建由来自源极和目标域的细粒度交换信号组成的中间域，而不会破坏自我周围物体和背景的语义一致性。车辆; （2）利用中级领域进行自我培训。此外，为了改善源域的网络培训和中间域的自我训练，我们提出了一种抗锯齿规范器和熵聚合器，以减少混叠伪影和嘈杂的目标预测的不利影响。通过广泛的实验，我们证明，与现有技术相比，公园在减轻域间隙方面明显更有效。

对于单眼深度估计，获取真实数据的地面真相并不容易，因此通常使用监督的合成数据采用域适应方法。但是，由于缺乏实际数据的监督，这仍然可能会导致较大的域间隙。在本文中，我们通过从真实数据中生成可靠的伪基础真理来开发一个域适应框架，以提供直接的监督。具体而言，我们提出了两种用于伪标记的机制：1）通过测量图像具有相同内容但不同样式的深度预测的一致性，通过测量深度预测的一致性； 2）通过点云完成网络的3D感知伪标记，该网络学会完成3D空间中的深度值，从而在场景中提供更多的结构信息，以完善并生成更可靠的伪标签。在实验中，我们表明我们的伪标记方法改善了各种环境中的深度估计，包括在训练过程中使用立体声对。此外，该提出的方法对现实世界数据集中的几种最新无监督域的适应方法表现出色。

In unsupervised domain adaptation (UDA), a model trained on source data (e.g. synthetic) is adapted to target data (e.g. real-world) without access to target annotation. Most previous UDA methods struggle with classes that have a similar visual appearance on the target domain as no ground truth is available to learn the slight appearance differences. To address this problem, we propose a Masked Image Consistency (MIC) module to enhance UDA by learning spatial context relations of the target domain as additional clues for robust visual recognition. MIC enforces the consistency between predictions of masked target images, where random patches are withheld, and pseudo-labels that are generated based on the complete image by an exponential moving average teacher. To minimize the consistency loss, the network has to learn to infer the predictions of the masked regions from their context. Due to its simple and universal concept, MIC can be integrated into various UDA methods across different visual recognition tasks such as image classification, semantic segmentation, and object detection. MIC significantly improves the state-of-the-art performance across the different recognition tasks for synthetic-to-real, day-to-nighttime, and clear-to-adverse-weather UDA. For instance, MIC achieves an unprecedented UDA performance of 75.9 mIoU and 92.8% on GTA-to-Cityscapes and VisDA-2017, respectively, which corresponds to an improvement of +2.1 and +3.0 percent points over the previous state of the art. The implementation is available at https://github.com/lhoyer/MIC.

由于严重的图像降解，在挑战性高动态范围（HDR）和高速条件下检索准确的语义信息仍然是基于图像的算法的开放挑战。事件摄像机有望应对这些挑战，因为它们具有更高的动态范围，并且对运动模糊具有弹性。尽管如此，事件摄像机的语义细分仍处于起步阶段，这主要是由于缺乏高质量的标记数据集所致。在这项工作中，我们介绍了ESS（基于事件的语义细分），该工作通过将语义分割任务直接从现有标记的图像数据集传输到无标记的事件来解决此问题。与现有的UDA方法相比，我们的方法与图像嵌入的经常性运动不变事件嵌入对齐。因此，我们的方法既不需要视频数据，也不需要图像和事件之间的每个像素对齐，也不需要从静止图像中幻觉运动。此外，我们介绍了DSEC-Semantic，这是第一个带有细粒标签的基于大规模事件的数据集。我们表明，单独使用图像标签，ESS优于现有的UDA方法，并且与事件标签结合使用，它甚至超过了DDD17和DSEC-Semantic上最先进的监督方法。最后，ESS是通用的，它可以解锁大量现有标记的图像数据集，并为事件摄像机无法访问的新领域的新领域中的新和令人兴奋的研究方向铺平了道路。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

确保所有交通参与者的安全性是将智能车辆更接近实际应用的先决条件。援助系统不仅应在正常条件下实现高精度，而是获得对极端情况的强大感知。然而，在大多数训练集中涉及对象碰撞，变形，翻转等的交通事故，但是看不见的，在很大程度上损害了现有语义分段模型的性能。为了解决这个问题，我们在意外场景中的语义细分，以及事故DADASET DADA-SEG，我们展示了一个很少有关的任务。它包含313个不同的事故序列，每个事故序列有40帧，其中时间窗口位于交通事故之前和期间。每11个帧都是手动注释，用于基准测试分割性能。此外，我们提出了一种新的基于事件的多模态分段架构励志。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法达到+ 8.2％的Miou性能收益，拟议的评估集，超过了10多种最先进的细分方法。拟议的Issafe架构被证明对于在多个源数据库上学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。

由于获取对语义分割的实际图像的像素明智的注释是一个昂贵的过程，模型可以通过更多可访问的合成数据训练，并且适应真实图像而不需要其注释。在无监督的域适应（UDA）中研究了该过程。尽管大量方法提出了新的适应策略，但它们主要基于过时的网络架构。由于尚未系统地研究了网络架构的影响，我们首先为UDA进行基准标记不同的网络架构，然后提出基于基准结果的新型UDA方法Daformer。 DAFormer网络由变压器编码器和多级上下文感知功能融合解码器组成。它通过三种简单但重要的培训策略使稳定培训并避免将DAFFormer过度装箱到源域：虽然通过减轻自我训练的确认偏差来提高源域上的罕见类别提高了伪标签的质量常见的类，Thing-Class Imagenet特征距离和学习率预热促进了从想象成预介绍的功能转移。 Daformer显着提高了最先进的性能，通过10.8 Miou for GTA-> Citycapes和5.4 Miou for Synthia-> Citycapes，并使得甚至是学习甚至困难的课程，如火车，公共汽车和卡车。该实现可在https://github.com/lhoyer/daformer中获得。

深度学习方法在3D语义细分中取得了显着的成功。但是，收集密集注释的现实世界3D数据集非常耗时且昂贵。关于合成数据和对现实世界情景的培训模型成为一种吸引人的选择，但不幸的是，臭名昭著的领域变化。在这项工作中，我们提出了一个面向数据的域适应性（DODA）框架，以减轻由不同的感应机制和跨域的布局放置引起的模式和上下文差距。我们的DODA涵盖了虚拟扫描模拟，以模仿现实世界中的点云图案和尾声的长方体混合，以减轻基于Cuboid的中间域的内部环境差距。 3D室内语义分割上的第一个无监督的SIM到运行适应基准也构建在3D-Front，Scannet和S3DIS上，以及7种流行的无监督域适应（UDA）方法。我们的DODA在3D -Front-> scannet和3d -Front-> S3DIS上都超过了13％的UDA方法。代码可从https://github.com/cvmi-lab/doda获得。

无监督的域对点云语义分割的适应性引起了极大的关注，因为它在没有标记的数据中学习有效性。大多数现有方法都使用全局级特征对齐方式将知识从源域转移到目标域，这可能会导致特征空间的语义歧义。在本文中，我们提出了一个基于图形的框架，以探索两个域之间的局部特征对齐，可以在适应过程中保留语义歧视。具体而言，为了提取本地级特征，我们首先在两个域上动态构建本地特征图，并使用来自源域的图形构建存储库。特别是，我们使用最佳传输来生成图形匹配对。然后，基于分配矩阵，我们可以将两个域之间的特征分布与基于图的本地特征损失对齐。此外，我们考虑了不同类别的特征之间的相关性，并制定了类别引导的对比损失，以指导分割模型以学习目标域上的区分特征。对不同的合成到现实和真实域的适应情景进行了广泛的实验表明，我们的方法可以实现最先进的性能。