旨在促进现实世界，不断发展和可扩展的自主驾驶系统，我们展示了一个大规模数据集，用于通过从原始数据学习来标准化不同自我监督和半监督方法的评估，这是第一和最大的数据集到期。现有的自主驱动系统严重依赖于“完善”视觉感知模型（即，检测）使用广泛的注释数据培训，以确保安全性。然而，在部署强大的自动驾驶系统时，精致地标记所有情景和环境的实例（即夜，极端天气，城市）是不现实的。最近的自我监督和半监督学习的推进激励，希望通过协作利用大规模未标记的数据和少数标记数据来学习强大的检测模型。现有数据集只提供少量数据或涵盖具有完整注释的有限域，妨碍大规模预训练模型的探索。在这里，我们发布了一个大型2D自主/半监控的对象检测数据集，用于自动驾驶，名为SODA10M，其中包含1000万个未标记的图像和标有6个代表对象类别的20K图像。为了提高多样性，在不同天气条件下的27833个驾驶时间内收集图像，32个不同城市的时期和位置场景。我们提供广泛的实验和对现有的流行自主/半监督方法深度分析，并在自动驾驶范围内给出一些有趣的调查结果。实验表明，SODA10M可以作为不同的自我监督学习方法作为有前途的预训练数据集，这在微调驾驶域中的不同下游任务（即检测，语义/实例分段）进行微调时提供了卓越的性能。更多信息可以参考https://soda-2d.github.io。

Datasets drive vision progress, yet existing driving datasets are impoverished in terms of visual content and supported tasks to study multitask learning for autonomous driving. Researchers are usually constrained to study a small set of problems on one dataset, while real-world computer vision applications require performing tasks of various complexities. We construct BDD100K 1 , the largest driving video dataset with 100K videos and 10 tasks to evaluate the exciting progress of image recognition algorithms on autonomous driving. The dataset possesses geographic, environmental, and weather diversity, which is useful for training models that are less likely to be surprised by new conditions. Based on this diverse dataset, we build a benchmark for heterogeneous multitask learning and study how to solve the tasks together. Our experiments show that special training strategies are needed for existing models to perform such heterogeneous tasks. BDD100K opens the door for future studies in this important venue.

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

We present DetCo, a simple yet effective self-supervised approach for object detection. Unsupervised pre-training methods have been recently designed for object detection, but they are usually deficient in image classification, or the opposite. Unlike them, DetCo transfers well on downstream instance-level dense prediction tasks, while maintaining competitive image-level classification accuracy. The advantages are derived from (1) multi-level supervision to intermediate representations, (2) contrastive learning between global image and local patches. These two designs facilitate discriminative and consistent global and local representation at each level of feature pyramid, improving detection and classification, simultaneously.Extensive experiments on VOC, COCO, Cityscapes, and ImageNet demonstrate that DetCo not only outperforms recent methods on a series of 2D and 3D instance-level detection tasks, but also competitive on image classification. For example, on ImageNet classification, DetCo is 6.9% and 5.0% top-1 accuracy better than InsLoc and DenseCL, which are two contemporary works designed for object detection. Moreover, on COCO detection, DetCo is 6.9 AP better than SwAV with Mask R-CNN C4. Notably, DetCo largely boosts up Sparse R-CNN, a recent strong detector, from 45.0 AP to 46.5 AP (+1.5 AP), establishing a new SOTA on COCO. Code is available.

自主驾驶的当代深度学习对象检测方法通常会假定前缀类别的共同交通参与者，例如行人和汽车。大多数现有的探测器无法检测到罕见的物体和拐角案例（例如，越过街道的狗），这可能会导致某些情况下发生严重的事故，从而使真实世界应用可靠的自动驾驶不确定。阻碍了真正可靠的自动驾驶系统发展的主要原因是缺乏评估对象探测器在角案例上的性能的公共数据集。因此，我们介绍了一个名为CODA的具有挑战性的数据集，该数据集揭示了基于视力的检测器的关键问题。该数据集由1500个精心选择的现实世界驾驶场景组成，每个场景平均包含四个对象级角案例（平均），涵盖30多个对象类别。在CODA上，在大型自动驾驶数据集中训练的标准对象探测器的性能显着下降到3月的12.8％。此外，我们试验了最新的开放世界对象检测器，发现它也无法可靠地识别尾声中的新对象，这表明对自主驾驶的强大感知系统可能远离触及。我们希望我们的CODA数据集有助于对现实世界自动驾驶的可靠检测进行进一步的研究。我们的数据集将在https://coda-dataset.github.io上发布。

Open-World实例细分（OWIS）旨在从图像中分割类不足的实例，该图像具有广泛的现实应用程序，例如自主驾驶。大多数现有方法遵循两阶段的管道：首先执行类不足的检测，然后再进行特定于类的掩模分段。相比之下，本文提出了一个单阶段框架，以直接为每个实例生成掩码。另外，实例掩码注释在现有数据集中可能很吵。为了克服这个问题，我们引入了新的正规化损失。具体而言，我们首先训练一个额外的分支来执行预测前景区域的辅助任务（即属于任何对象实例的区域），然后鼓励辅助分支的预测与实例掩码的预测一致。关键的见解是，这种交叉任务一致性损失可以充当误差校正机制，以打击注释中的错误。此外，我们发现所提出的跨任务一致性损失可以应用于图像，而无需任何注释，将自己借给了半监督的学习方法。通过广泛的实验，我们证明了所提出的方法可以在完全监督和半监督的设置中获得令人印象深刻的结果。与SOTA方法相比，所提出的方法将$ ap_ {100} $得分提高了4.75 \％\％\％\ rightarrow $ uvo设置和4.05 \％\％\％\％\％\％\ rightarrow $ uvo设置。在半监督学习的情况下，我们的模型仅使用30 \％标记的数据学习，甚至超过了其完全监督的数据，并具有5​​0 \％标记的数据。该代码将很快发布。

为了提高实例级别检测/分割性能，现有的自我监督和半监督方法从未标记的数据提取非常任务 - 无关或非常任务特定的训练信号。我们认为这两种方法在任务特异性频谱的两端是任务性能的次优。利用太少的任务特定的培训信号导致底下地区任务的地面真理标签导致磨损，而相反的原因会在地面真理标签上过度装修。为此，我们提出了一种新的类别无关的半监督预测（CASP）框架，在提取来自未标记数据的训练信号中实现更有利的任务特异性平衡。与半监督学习相比，CASP通过忽略伪标签中的类信息并具有仅使用任务 - 不相关的未标记数据的单独预先预订阶段来减少训练信号的任务特异性。另一方面，CASP通过利用盒子/面具级伪标签来保留适量的任务特异性。因此，我们的预磨模模型可以更好地避免在下游任务上的FineTuned时避免在地面真理标签上抵抗/过度拟合。使用3.6M未标记的数据，我们在对象检测上实现了4.7％的显着性能增益。我们的预制模型还展示了对其他检测和分割任务/框架的优异可转移性。

现有的无监督点云预训练的方法被限制在场景级或点/体素级实例歧视上。场景级别的方法往往会失去对识别道路对象至关重要的本地细节，而点/体素级方法固有地遭受了有限的接收领域，而这种接收领域无力感知大型对象或上下文环境。考虑到区域级表示更适合3D对象检测，我们设计了一个新的无监督点云预训练框架，称为proposalcontrast，该框架通过对比的区域建议来学习强大的3D表示。具体而言，通过从每个点云中采样一组详尽的区域建议，每个提案中的几何点关系都是建模用于创建表达性建议表示形式的。为了更好地适应3D检测属性，提案contrast可以通过群体间和统一分离来优化，即提高跨语义类别和对象实例的提议表示的歧视性。在各种3D检测器（即PV-RCNN，Centerpoint，Pointpillars和Pointrcnn）和数据集（即Kitti，Waymo和一次）上验证了提案cont抗对流的概括性和可传递性。

视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation

为了同时朝着对多个下游任务的整体理解，需要提取具有更好可传递性的功能。尽管许多最新的自我监管的预训练方法在普遍的预处理前范式下在各种视觉任务上取得了令人印象深刻的表现，但它们对多任务学习方案的概括能力尚待探索。在本文中，我们在三个下游任务上进行了广泛研究各种类型的自我监督方法的转移性能，例如Moco和Simc​​lr，包括语义细分，可驱动的区域细分和交通对象检测，在大规模驾驶数据集中BDD100K。我们出人意料地发现，他们的表现是最佳的甚至落后于单任务基线的滞后，这可能是由于训练目标和建筑设计的区别在于预处理范式。为了克服这一难题，并避免重新设计资源密集的预培训阶段，我们提出了一种简单而有效的预处理 - 适应性 - 赛范围，用于一般的多任务培训，可以有效地适应现行预审预周态的模型没有增加培训开销。在自适应阶段，我们利用可学习的多尺度适配器来动态调整由多任务目标监督的预验证的模型权重，同时使经过预告片的知识未经触及。此外，我们将视觉语言预训练模型剪辑视为对预处理 - 适应 - 最终范式的强烈补充，并提出了一个名为LV-Adapter的新型适配器，该适配器通过任务特定的提示将语言先验纳入了多任务的模型中和视觉和文本特征之间的对齐。

深度学习已成为火星探索的强大工具。火星地形细分是一项重要的火星愿景任务，它是漫游者自动计划和安全驾驶的基础。但是，现有的基于深度学习的地形细分方法遇到了两个问题：一个是缺乏足够的详细和高信心注释，另一个是模型过度依赖于注释的培训数据。在本文中，我们从联合数据和方法设计的角度解决了这两个问题。我们首先提出了一个新的火星地形细分数据集，该数据集包含6K高分辨率图像，并根据置信度稀疏注释，以确保标签的高质量。然后从这些稀疏的数据中学习，我们为火星地形细分的基于表示的学习框架，包括一个自我监督的学习阶段（用于预训练）和半监督的学习阶段（用于微调）。具体而言，对于自我监督的学习，我们设计了一个基于掩盖图像建模（MIM）概念的多任务机制，以强调图像的纹理信息。对于半监督的学习，由于我们的数据集很少注释，因此我们鼓励该模型通过在线生成和利用伪标签来挖掘每个图像中未标记的区域的信息。我们将数据集和方法命名为MARS（S $^{5} $ MARS）的自我监督和半监督分割。实验结果表明，我们的方法可以超越最先进的方法，并通过很大的边距提高地形分割性能。

交通场景边缘壳体的语义分割的鲁棒性是智能运输安全的重要因素。然而，交通事故的大多数关键场景都是非常动态和以前看不见的，这严重损害了语义分割方法的性能。另外，在高速驾驶期间传统相机的延迟将进一步降低时间尺寸中的上下文信息。因此，我们建议从基于事件的数据提取动态上下文，以更高的时间分辨率来增强静态RGB图像，即使对于来自运动模糊，碰撞，变形，翻转等的流量事故而言，此外，为评估分割交通事故中的性能，我们提供了一个像素 - 明智的注释事故数据集，即Dada-Seg，其中包含来自交通事故的各种临界情景。我们的实验表明，基于事件的数据可以通过在事故中保留快速移动的前景（碰撞物体）的微粒运动来提供互补信息以在不利条件下稳定语义分割。我们的方法在拟议的事故数据集中实现了+ 8.2％的性能增益，超过了20多种最先进的语义细分方法。已经证明该提案对于在多个源数据库中学到的模型，包括CityScapes，Kitti-360，BDD和Apolloscape的模型始终如一。

对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。

目前，在有监督的学习下，由大规模自然界数据集预测的模型，然后在一些特定的任务标签数据上进行微调，这是主导知识转移学习的范式。它已达到遥感域（RSD）中任务感知模型培训的共识解决方案的状态。不幸的是，由于不同类别的成像数据和数据注释的严峻挑战，因此没有足够大且均匀的遥感数据集来支持RSD中的大规模预处理。此外，通过监督学习，然后直接对不同的下游任务进行微调，在大规模自然场景数据集上进行了预处理的模型似乎是一种粗略的方法，这很容易受到不可避免的标记噪声，严重的域间隙和任务意识到的差异的影响。因此，在本文中，考虑了一个简洁有效的知识转移学习策略，称为连续预审计（CSPT），考虑了不停止在自然语言处理中预处理的想法（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT）（CSPT），那么在本文中。 NLP），可以逐渐弥合域间隙并将知识从自然场景域转移到RSD。拟议的CSPT还可以发布未标记数据的巨大潜力，以进行任务感知模型培训。最后，在RSD的十二个数据集上进行了广泛的实验，涉及三种类型的下游任务（例如，场景分类，对象检测和土地覆盖分类）和两种类型的成像数据（例如，光学和SAR）。结果表明，通过利用拟议的CSPT进行任务感知模型培训，RSD中的几乎所有下游任务都可以胜过先前的监督预处理的方法，然后再进行预先调整，甚至超过了最先进的方法（SOTA）（SOTA）（SOTA）性能没有任何昂贵的标签消费和仔细的模型设计。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

许多开放世界应用程序需要检测新的对象，但最先进的对象检测和实例分段网络在此任务中不屈服。关键问题在于他们假设没有任何注释的地区应被抑制为否定，这教导了将未经讨犯的对象视为背景的模型。为了解决这个问题，我们提出了一个简单但令人惊讶的强大的数据增强和培训方案，我们呼唤学习来检测每件事（LDET）。为避免抑制隐藏的对象，背景对象可见但未标记，我们粘贴在从原始图像的小区域采样的背景图像上粘贴带有的注释对象。由于仅对这种综合增强的图像培训遭受域名，我们将培训与培训分为两部分：1）培训区域分类和回归头在增强图像上，2）在原始图像上训练掩模头。通过这种方式，模型不学习将隐藏对象作为背景分类，同时概括到真实图像。 LDET导致开放式世界实例分割任务中的许多数据集的重大改进，表现出CoCo上的交叉类别概括的基线，以及对UVO和城市的交叉数据集评估。

行人检测是许多基于视觉的应用程序的基石，从对象跟踪到视频监控，最近，自动驾驶。随着对象检测的深度学习的快速发展，行人检测在传统的单数据集训练和评估设置中取得了非常好的性能。然而，在这项关于广泛的行人探测器的研究中，我们表明，目前的行人探测器在交叉数据集评估中处理甚至是小域移位的差。我们将有限的概括归因于两个主要因素，方法和当前数据源。关于该方法，我们示出了当前行人检测器的设计选择（例如锚定设置）中存在的偏差是有限概括的主要贡献因素。大多数现代行人探测器都针对目标数据集进行量身定制，在那里他们在传统的单一培训和测试管道中实现了高性能，但在通过交叉数据集评估评估时性能遭受降低。因此，由于其通用设计，与最艺术行人检测器的状态相比，通用物体检测器在交叉数据集评估中更好地执行。至于数据，我们表明自主驾驶基准本质上是单调的，也就是说，它们在情景和行人中的密集并不多样化。因此，通过爬行网络（包含不同和密集的方案）来策划的基准是一种有效的预培训来源，以提供更强大的表示。因此，我们提出了一种提高泛化的逐步微调策略。代码和模型CAB在https://github.com/hasanirtiza/pedestron访问。

TU Dresden www.cityscapes-dataset.net train/val -fine annotation -3475 images train -coarse annotation -20 000 images test -fine annotation -1525 images

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

在计算病理学工作流程中检测和分裂ObjectSwithinWholesLideImagesis。自我监督学习（SSL）吸引了这种重度注释的任务。尽管自然图像的密集任务具有广泛的基准，但不幸的是，在当前的病理学作品中，此类研究仍然没有。我们的论文打算缩小这一差距。我们首先基于病理图像中密集预测任务的代表性SSL方法。然后，我们提出了概念对比学习（结论），这是密集预训练的SSL框架。我们探讨了结论如何使用不同来源提供的概念，并最终提出了一种简单的无依赖性概念生成方法，该方法不依赖于外部分割算法或显着检测模型。广泛的实验表明，在不同环境中，结论比以前的最新SSL方法具有优势。沿着我们的探索，我们弥补了几个重要而有趣的组成部分，这有助于致力于病理图像的密集预训练。我们希望这项工作可以提供有用的数据点，并鼓励社区为感兴趣的问题进行结论预培训。代码可用。