对于图像的语义分割，如果该任务限于一组封闭的类，则最先进的深神经网络（DNN）实现高分性精度。然而，截至目前，DNN具有有限的开放世界能够在开放世界中运行，在那里他们任务是识别属于未知对象的像素，最终逐步学习新颖的类。人类有能力说：我不知道那是什么，但我已经看到了这样的东西。因此，希望以无监督的方式执行这种增量学习任务。我们介绍一种基于视觉相似性群集未知对象的方法。这些集群用于定义新课程，并作为无监督增量学习的培训数据。更确切地说，通过分割质量估计来评估预测语义分割的连接组件。具有低估计预测质量的连接组件是随后聚类的候选者。另外，组件明智的质量评估允许获得可能包含未知对象的图像区域的预测分段掩模。这种掩模的各个像素是伪标记的，然后用于重新训练DNN，即，在不使用由人类产生的地面真理。在我们的实验中，我们证明，在没有访问地面真理甚至几个数据中，DNN的类空间可以由新颖的类扩展，实现了相当大的分割精度。

最先进的语义或实例分割深度神经网络（DNN）通常在封闭的语义类上培训。因此，它们的装备不适用于处理以前的未持续的对象。然而，检测和定位这些物体对于安全关键应用至关重要，例如对自动驾驶的感知，特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务，但由于缺乏固体基准，在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成，或遭受标签不一致。在本文中，我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务：异常对象分割，这将考虑任何以前的未持续的对象类别;和道路障碍分割，它侧重于道路上的任何物体，可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供，考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的，这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法，包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明，我们的数据集有助于数据景观的多样性和难度。

最先进的深神经网络在语义细分方面表现出了出色的表现。但是，它们的性能与培训数据所代表的领域相关。开放世界的场景会导致不准确的预测，这在安全相关应用中是危险的，例如自动驾驶。在这项工作中，我们使用单眼深度估计来增强语义分割预测，从而通过减少存在域移位时未检测到的对象的发生来改善分割。为此，我们通过修改后的分割网络推断出深度热图，该网络生成前后背面的掩模，该面具与给定的语义分割网络并行运行。两种细分面具均汇总，重点关注前景类（此处的道路使用者），以减少虚假负面因素。为了减少假阳性的发生，我们根据不确定性估计进行修剪。从某种意义上说，我们的方法是模块化的，它后处理了任何语义分割网络的输出。在我们的实验中，与基本的语义分割预测相比，我们观察到大多数重要类别的未检测到的对象，并增强对其他领域的概括。

在这项工作中，我们首次提出了一种用于检测具有语义分割图像数据集中标签错误的方法，即Pixel-Wise类标签。语义细分数据集的注释获取是耗时的，需要大量的人工劳动。特别是，审查过程是耗时的，人类很容易忽略标签错误。后果是有偏见的基准，在极端情况下，也是在此类数据集上训练的深神经网络（DNNS）的性能降解。语义分割的DNN会产生像素的预测，这使得通过不确定性量化来检测标签错误是一个复杂的任务。在预测的连接组件之间的过渡中，不确定性特别明显。通过将不确定性考虑到预测组件的水平，我们可以使用DNN以及组件级的不确定性定量来检测标签误差。我们提出了一种原则性的方法，可以通过从Carla驾驶模拟器中提取的数据集中从CityScapes数据集中删除标签，以基准标记错误检测的任务，在后一种情况下，我们可以控制标签。我们的实验表明，我们的方法能够在控制错误标签误差检测的数量时检测到绝大多数标签错误。此外，我们将方法应用于计算机视觉社区经常使用的语义分割数据集，并提出标签错误的集合以及示例统计信息。

持续深度学习的领域是一个新兴领域，已经取得了很多进步。但是，同时仅根据图像分类的任务进行了大多数方法，这在智能车辆领域无关。直到最近才提出了班级开展语义分割的方法。但是，所有这些方法都是基于某种形式的知识蒸馏。目前，尚未对基于重播的方法进行调查，这些方法通常在连续的环境中用于对象识别。同时，尽管无监督的语义分割的域适应性获得了很多吸引力，但在持续环境中有关域内收入学习的调查并未得到充分研究。因此，我们工作的目的是评估和调整已建立的解决方案，以连续对象识别语义分割任务，并为连续语义分割的任务提供基线方法和评估协议。首先，我们介绍了类和域内的分割的评估协议，并分析了选定的方法。我们表明，语义分割变化的任务的性质在减轻与图像分类相比最有效的方法中最有效。特别是，在课堂学习中，学习知识蒸馏被证明是至关重要的工具，而在域内，学习重播方法是最有效的方法。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

由于获取对语义分割的实际图像的像素明智的注释是一个昂贵的过程，模型可以通过更多可访问的合成数据训练，并且适应真实图像而不需要其注释。在无监督的域适应（UDA）中研究了该过程。尽管大量方法提出了新的适应策略，但它们主要基于过时的网络架构。由于尚未系统地研究了网络架构的影响，我们首先为UDA进行基准标记不同的网络架构，然后提出基于基准结果的新型UDA方法Daformer。 DAFormer网络由变压器编码器和多级上下文感知功能融合解码器组成。它通过三种简单但重要的培训策略使稳定培训并避免将DAFFormer过度装箱到源域：虽然通过减轻自我训练的确认偏差来提高源域上的罕见类别提高了伪标签的质量常见的类，Thing-Class Imagenet特征距离和学习率预热促进了从想象成预介绍的功能转移。 Daformer显着提高了最先进的性能，通过10.8 Miou for GTA-> Citycapes和5.4 Miou for Synthia-> Citycapes，并使得甚至是学习甚至困难的课程，如火车，公共汽车和卡车。该实现可在https://github.com/lhoyer/daformer中获得。

TU Dresden www.cityscapes-dataset.net train/val -fine annotation -3475 images train -coarse annotation -20 000 images test -fine annotation -1525 images

由于全景分割为输入中的每个像素提供了一个预测，因此，非标准和看不见的对象系统地导致了错误的输出。但是，在关键的环境中，针对分发样本的鲁棒性和角案件对于避免危险行为至关重要，例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴，因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中，我们扩大了提出整体分割的范围：一项任务，以识别和将看不见的对象分为实例，而无需从未知数中学习，同时执行已知类别的全面分割。我们用U3HS解决了这个新问题，U3HS首先将未知数视为高度不确定的区域，然后将相应的实例感知嵌入到各个对象中。通过这样做，这是第一次使用未知对象进行综合分割，我们的U3HS未接受未知数据的训练，因此使对象类型的设置不受限制，并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较，即CityScapes和作为转移的丢失和发现，证明了U3HS在挑战性的整体分段任务中的有效性，并具有竞争性的封闭式全盘分段性能。

异常意识是安全关键型应用的重要能力，如自主驾驶。虽然最近的机器人和计算机视觉的进展使得对图像分类的异常检测，但对语义细分的异常检测不太探讨。传统的异常感知系统假设其他现有类作为用于训练模型的分发（伪未知）类的类将导致两个缺点。 （1）未知类，需要应对哪些应用程序，在培训时间内实际上无法实际存在。 （2）模型性能强烈依赖课堂选择。观察这一点，我们提出了一种新的合成未知数据生成，打算解决异常感知语义分割任务。我们设计一个新的蒙版渐变更新（MGU）模块，以沿着分布边界生成辅助数据。此外，我们修改了传统的跨熵损失，强调边界数据点。我们在两个异常分段数据集上达到最先进的性能。消融研究还证明了所提出的模块的有效性。

自主驾驶的当代深度学习对象检测方法通常会假定前缀类别的共同交通参与者，例如行人和汽车。大多数现有的探测器无法检测到罕见的物体和拐角案例（例如，越过街道的狗），这可能会导致某些情况下发生严重的事故，从而使真实世界应用可靠的自动驾驶不确定。阻碍了真正可靠的自动驾驶系统发展的主要原因是缺乏评估对象探测器在角案例上的性能的公共数据集。因此，我们介绍了一个名为CODA的具有挑战性的数据集，该数据集揭示了基于视力的检测器的关键问题。该数据集由1500个精心选择的现实世界驾驶场景组成，每个场景平均包含四个对象级角案例（平均），涵盖30多个对象类别。在CODA上，在大型自动驾驶数据集中训练的标准对象探测器的性能显着下降到3月的12.8％。此外，我们试验了最新的开放世界对象检测器，发现它也无法可靠地识别尾声中的新对象，这表明对自主驾驶的强大感知系统可能远离触及。我们希望我们的CODA数据集有助于对现实世界自动驾驶的可靠检测进行进一步的研究。我们的数据集将在https://coda-dataset.github.io上发布。

In unsupervised domain adaptation (UDA), a model trained on source data (e.g. synthetic) is adapted to target data (e.g. real-world) without access to target annotation. Most previous UDA methods struggle with classes that have a similar visual appearance on the target domain as no ground truth is available to learn the slight appearance differences. To address this problem, we propose a Masked Image Consistency (MIC) module to enhance UDA by learning spatial context relations of the target domain as additional clues for robust visual recognition. MIC enforces the consistency between predictions of masked target images, where random patches are withheld, and pseudo-labels that are generated based on the complete image by an exponential moving average teacher. To minimize the consistency loss, the network has to learn to infer the predictions of the masked regions from their context. Due to its simple and universal concept, MIC can be integrated into various UDA methods across different visual recognition tasks such as image classification, semantic segmentation, and object detection. MIC significantly improves the state-of-the-art performance across the different recognition tasks for synthetic-to-real, day-to-nighttime, and clear-to-adverse-weather UDA. For instance, MIC achieves an unprecedented UDA performance of 75.9 mIoU and 92.8% on GTA-to-Cityscapes and VisDA-2017, respectively, which corresponds to an improvement of +2.1 and +3.0 percent points over the previous state of the art. The implementation is available at https://github.com/lhoyer/MIC.

语义分割（CSS）的持续学习是一个快速新兴的领域，其中分割模型的功能通过学习新类或新域而逐渐改善。持续学习中的一个核心挑战是克服灾难性遗忘的影响，这是指在模型对新类或领域进行培训后，准确性突然下降了先前学习的任务。在持续分类中，通常通过重播以前任务中的少量样本来克服这种挑战，但是在CSS中很少考虑重播。因此，我们研究了各种重播策略对语义细分的影响，并在类和域内的环境中评估它们。我们的发现表明，在课堂开发环境中，至关重要的是，对于缓冲区中不同类别的不同类别的分布至关重要，以避免对新学习的班级产生偏见。在域内营养设置中，通过从学习特征表示的分布或通过中位熵选择样品来选择缓冲液样品是最有效的。最后，我们观察到，有效的抽样方法有助于减少早期层中的表示形式的变化，这是忘记域内收入学习的主要原因。

This paper presents the first attempt to learn semantic boundary detection using image-level class labels as supervision. Our method starts by estimating coarse areas of object classes through attentions drawn by an image classification network. Since boundaries will locate somewhere between such areas of different classes, our task is formulated as a multiple instance learning (MIL) problem, where pixels on a line segment connecting areas of two different classes are regarded as a bag of boundary candidates. Moreover, we design a new neural network architecture that can learn to estimate semantic boundaries reliably even with uncertain supervision given by the MIL strategy. Our network is used to generate pseudo semantic boundary labels of training images, which are in turn used to train fully supervised models. The final model trained with our pseudo labels achieves an outstanding performance on the SBD dataset, where it is as competitive as some of previous arts trained with stronger supervision.

我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。

为视频中的每个像素分配语义类和跟踪身份的任务称为视频Panoptic分段。我们的工作是第一个在真实世界中瞄准这项任务，需要在空间和时间域中的密集解释。由于此任务的地面真理难以获得，但是，现有数据集是合成构造的或仅在短视频剪辑中稀疏地注释。为了克服这一点，我们介绍了一个包含两个数据集，Kitti-Step和Motchallenge步骤的新基准。数据集包含长视频序列，提供具有挑战性的示例和用于研究长期像素精确分割和在真实条件下跟踪的测试床。我们进一步提出了一种新的评估度量分割和跟踪质量（STQ），其相当余额平衡该任务的语义和跟踪方面，并且更适合评估任意长度的序列。最后，我们提供了几个基线来评估此新具有挑战性数据集的现有方法的状态。我们已将我们的数据集，公制，基准服务器和基准公开提供，并希望这将激发未来的研究。

在过去几年中，深度学习的巨大进展已导致了我们道路上有自动驾驶汽车的未来。然而，他们的感知系统的性能在很大程度上取决于使用的培训数据的质量。由于这些系统通常仅覆盖所有对象类别的一部分，因此自主驾驶系统将面临，因此这种系统在处理意外事件方面努力。为了安全地在公共道路上运行，对未知类别的对象的识别仍然是一项至关重要的任务。在本文中，我们提出了一条新的管道来检测未知物体。我们没有专注于单个传感器模式，而是通过以顺序结合最先进的检测模型来利用LiDAR和相机数据。我们在Waymo开放感知数据集上评估我们的方法，并指出当前的异常检测研究差距。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

虽然现有的语义分割方法实现令人印象深刻的结果，但它们仍然努力将其模型逐步更新，因为新类别被发现。此外，逐个像素注释昂贵且耗时。本文提出了一种新颖的对语义分割学习弱增量学习的框架，旨在学习从廉价和大部分可用的图像级标签进行新课程。与现有的方法相反，需要从下线生成伪标签，我们使用辅助分类器，用图像级标签培训并由分段模型规范化，在线获取伪监督并逐步更新模型。我们通过使用由辅助分类器生成的软标签来应对过程中的内在噪声。我们展示了我们对Pascal VOC和Coco数据集的方法的有效性，表现出离线弱监督方法，并获得了具有全面监督的增量学习方法的结果。

最先进的（SOTA）复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而，之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测，外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中，我们提出了一种新的异常分段方法，命名为像素 - 明智的能量偏置的弃权学习（PEBAL），探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习（AL），以及基于能量的模型（EBM），了解了Inlier像素分布。更具体地说，PEBAL基于EBM和A1的非琐碎的关节训练，其中EBM培训以输出用于异常像素的高能（来自异常曝光），并且培训AL，使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA，并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。