自我监督学习中的最新作品通过以对象为中心或基于区域的对应目标进行预处理，在场景级密集的预测任务上表现出了强劲的表现。在本文中，我们介绍了区域对象表示学习（R2O），该学习统一了基于区域的和以对象为中心的预处理。 R2O通过训练编码器以动态完善基于区域的段为中心的蒙版，然后共同学习掩模中内容的表示形式。 R2O使用“区域改进模块”将使用区域级先验生成的小图像区域分组为较大的区域，这些区域倾向于通过聚类区域级特征对应对应对象。随着训练的进展，R2O遵循了一个区域到对象的课程，该课程鼓励学习区域级的早期特征并逐渐进步以训练以对象为中心的表示。使用R2O的表示形式导致了Pascal VOC（+0.7 MIOU）和CityScapes（+0.4 MIOU）的语义细分表现最先进的表现，并在MS Coco（+0.3 Mask AP）上进行了实例细分。此外，在对Imagenet进行了预审进之后，R2O预处理的模型能够超过Caltech-UCSD Birds 200-2011数据集（+2.9 MIOU）的无监督物体细分中现有的最新对象细分。我们在https://github.com/kkallidromitis/r2o上提供了这项工作的代码/模型。

本文介绍了密集的暹罗网络（Denseiam），这是一个简单的无监督学习框架，用于密集的预测任务。它通过以两种类型的一致性（即像素一致性和区域一致性）之间最大化一个图像的两个视图之间的相似性来学习视觉表示。具体地，根据重叠区域中的确切位置对应关系，Denseiam首先最大化像素级的空间一致性。它还提取一批与重叠区域中某些子区域相对应的区域嵌入，以形成区域一致性。与以前需要负像素对，动量编码器或启发式面膜的方法相反，Denseiam受益于简单的暹罗网络，并优化了不同粒度的一致性。它还证明了简单的位置对应关系和相互作用的区域嵌入足以学习相似性。我们将Denseiam应用于ImageNet，并在各种下游任务上获得竞争性改进。我们还表明，只有在一些特定于任务的损失中，简单的框架才能直接执行密集的预测任务。在现有的无监督语义细分基准中，它以2.1 miou的速度超过了最新的细分方法，培训成本为28％。代码和型号在https://github.com/zwwwayne/densesiam上发布。

自我监督学习（SSL）的承诺是利用大量未标记的数据来解决复杂的任务。尽管简单，图像级学习取得了出色的进步，但最新方法显示出包括图像结构知识的优势。但是，通过引入手工制作的图像分割来定义感兴趣的区域或专门的增强策略，这些方法牺牲了使SSL如此强大的简单性和通用性。取而代之的是，我们提出了一个自我监督的学习范式，该学习范式本身会发现这种图像结构。我们的方法，ODIN，夫妻对象发现和表示网络，以发现有意义的图像分割，而无需任何监督。由此产生的学习范式更简单，更易碎，更一般，并且取得了最先进的转移学习结果，以进行对象检测和实例对可可的细分，以及对Pascal和CityScapes的语义细分，同时超过监督的预先培训，用于戴维斯的视频细分。

我们提出了一种适用于半全球任务的自学学习（SSL）方法，例如对象检测和语义分割。我们通过在训练过程中最大程度地减少像素级局部对比度（LC）损失，代表了同一图像转换版本的相应图像位置之间的局部一致性。可以将LC-LOSS添加到以最小开销的现有自我监督学习方法中。我们使用可可，Pascal VOC和CityScapes数据集评估了两个下游任务的SSL方法 - 对象检测和语义细分。我们的方法的表现优于现有的最新SSL方法可可对象检测的方法1.9％，Pascal VOC检测1.4％，而CityScapes Sementation则为0.6％。

对比度学习的许多最新方法已努力弥补在ImageNet等标志性图像和Coco等复杂场景上进行预处理的预处理之间的差距。这一差距之所以存在很大程度上是因为普遍使用的随机作物增强量在不同物体的拥挤场景图像中获得语义上不一致的内容。以前的作品使用预处理管道来定位明显的对象以改进裁剪，但是端到端的解决方案仍然难以捉摸。在这项工作中，我们提出了一个框架，该框架通过共同学习表示和细分来实现这一目标。我们利用分割掩码来训练具有掩模依赖性对比损失的模型，并使用经过部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代，我们将分割信息中的对比度更新进行基础，并同时改善整个训练的分割。实验表明我们的表示形式在分类，检测和分割方面鲁棒性转移到下游任务。

自我监督学习的进步带来了强大的一般图像表示学习方法。到目前为止，它主要集中在图像级学习上。反过来，诸如无监督图像细分之类的任务并没有从这种趋势中受益，因为它们需要空间多样性的表示。但是，学习密集的表示具有挑战性，因为在无监督的环境中，尚不清楚如何指导模型学习与各种潜在对象类别相对应的表示形式。在本文中，我们认为对物体部分的自我监督学习是解决此问题的方法。对象部分是可以推广的：它们是独立于对象定义的先验性，但可以分组以形成对象后验。为此，我们利用最近提出的视觉变压器参与对象的能力，并将其与空间密集的聚类任务相结合，以微调空间令牌。我们的方法超过了三个语义分割基准的最新方法，提高了17％-3％，表明我们的表示在各种对象定义下都是用途广泛的。最后，我们将其扩展到完全无监督的分割 - 即使在测试时间也可以完全避免使用标签信息 - 并证明了一种基于社区检测的自动合并发现的对象零件的简单方法可产生可观的收益。

对比自我监督的学习已经超越了许多下游任务的监督预测，如分割和物体检测。但是，当前的方法仍然主要应用于像想象成的策划数据集。在本文中，我们首先研究数据集中的偏差如何影响现有方法。我们的研究结果表明，目前的对比方法令人惊讶地工作：（i）对象与场景为中心，（ii）统一与长尾和（iii）一般与域特定的数据集。其次，鉴于这种方法的一般性，我们尝试通过微小的修改来实现进一步的收益。我们展示了学习额外的修正 - 通过使用多尺度裁剪，更强的增强和最近的邻居 - 改善了表示。最后，我们观察Moco在用多作物策略训练时学习空间结构化表示。表示可以用于语义段检索和视频实例分段，而不会FineTuning。此外，结果与专门模型相提并论。我们希望这项工作将成为其他研究人员的有用研究。代码和模型可在https://github.com/wvanganebleke/revisiting-contrastive-ssl上获得。

Contrastive learning methods for unsupervised visual representation learning have reached remarkable levels of transfer performance. We argue that the power of contrastive learning has yet to be fully unleashed, as current methods are trained only on instance-level pretext tasks, leading to representations that may be sub-optimal for downstream tasks requiring dense pixel predictions. In this paper, we introduce pixel-level pretext tasks for learning dense feature representations. The first task directly applies contrastive learning at the pixel level. We additionally propose a pixel-to-propagation consistency task that produces better results, even surpassing the state-of-the-art approaches by a large margin. Specifically, it achieves 60.2 AP, 41.4 / 40.5 mAP and 77.2 mIoU when transferred to Pascal VOC object detection (C4), COCO object detection (FPN / C4) and Cityscapes semantic segmentation using a ResNet-50 backbone network, which are 2.6 AP, 0.8 / 1.0 mAP and 1.0 mIoU better than the previous best methods built on instance-level contrastive learning. Moreover, the pixel-level pretext tasks are found to be effective for pretraining not only regular backbone networks but also head networks used for dense downstream tasks, and are complementary to instance-level contrastive methods. These results demonstrate the strong potential of defining pretext tasks at the pixel level, and suggest a new path forward in unsupervised visual representation learning. Code is available at https://github.com/zdaxie/PixPro.

自我监督的对比学习的最新进展产生了良好的图像级表示，这有利于分类任务，但通常会忽略像素级详细信息，从而导致转移性能不令人满意地转移到密集的预测任务，例如语义细分。在这项工作中，我们提出了一种称为CP2的像素对比度学习方法（拷贝性对比度预处理），该方法促进了图像和像素级表示学习，因此更适合下游密集的预测任务。详细说明，我们将随机的作物从图像（前景）复制到不同的背景图像，并为语义分割模型提供了以1）为目标的语义分割模型。共享相同的前景。表现出色表明CP2在下游语义分段中的表现强劲：通过对Pascal VOC 2012上的CP2预审计的模型，我们获得了78.6％MIOU，具有RESNET-50和79.5％的vit-s。

无监督语义分割的任务旨在将像素聚集到语义上有意义的群体中。具体而言，分配给同一群集的像素应共享高级语义属性，例如其对象或零件类别。本文介绍了MaskDistill：基于三个关键想法的无监督语义细分的新颖框架。首先，我们提倡一种数据驱动的策略，以生成对象掩模作为语义分割事先的像素分组。这种方法省略了手工制作的先验，这些先验通常是为特定场景组成而设计的，并限制了竞争框架的适用性。其次，MaskDistill将对象掩盖簇簇以获取伪地真相，以训练初始对象分割模型。第三，我们利用此模型过滤出低质量的对象掩模。这种策略减轻了我们像素分组中的噪声，并导致了我们用来训练最终分割模型的干净掩模集合。通过组合这些组件，我们可以大大优于以前的作品，用于对Pascal（+11％MIOU）和COCO（+4％Mask AP50）进行无监督的语义分割。有趣的是，与现有方法相反，我们的框架不在低级图像提示上，也不限于以对象为中心的数据集。代码和型号将提供。

基于对比的学习的预培训的目标是利用大量的未标记数据来产生可以容易地调整下游的模型。电流方法围绕求解图像辨别任务：给定锚图像，该图像的增强对应物和一些其他图像，该模型必须产生表示，使得锚和其对应物之间的距离很小，并且锚和其他图像很大。这种方法存在两个重要问题：（i）通过对比图像级别的表示，很难生成有利于下游对象级任务（如实例分段）的详细对象敏感功能; （ii）制造增强对应的增强策略是固定的，在预培训的后期阶段做出更低的学习。在这项工作中，我们引入课程对比对象级预培训（CCOP）来解决这些问题：（i）我们使用选择性搜索来查找粗略对象区域并使用它们构建图像间对象级对比度损耗和一个图像内对象级别歧视损失进入我们的预训练目标; （ii）我们提出了一种课程学习机制，其自适应地增强所生成的区域，这允许模型一致地获取有用的学习信号，即使在预训练的后期阶段也是如此。我们的实验表明，当在多对象场景图像数据集上进行预训练时，我们的方法通过大量对象级任务的大幅度提高了MoCo V2基线。代码可在https://github.com/chenhongyiyang/ccop中找到。

We present DetCo, a simple yet effective self-supervised approach for object detection. Unsupervised pre-training methods have been recently designed for object detection, but they are usually deficient in image classification, or the opposite. Unlike them, DetCo transfers well on downstream instance-level dense prediction tasks, while maintaining competitive image-level classification accuracy. The advantages are derived from (1) multi-level supervision to intermediate representations, (2) contrastive learning between global image and local patches. These two designs facilitate discriminative and consistent global and local representation at each level of feature pyramid, improving detection and classification, simultaneously.Extensive experiments on VOC, COCO, Cityscapes, and ImageNet demonstrate that DetCo not only outperforms recent methods on a series of 2D and 3D instance-level detection tasks, but also competitive on image classification. For example, on ImageNet classification, DetCo is 6.9% and 5.0% top-1 accuracy better than InsLoc and DenseCL, which are two contemporary works designed for object detection. Moreover, on COCO detection, DetCo is 6.9 AP better than SwAV with Mask R-CNN C4. Notably, DetCo largely boosts up Sparse R-CNN, a recent strong detector, from 45.0 AP to 46.5 AP (+1.5 AP), establishing a new SOTA on COCO. Code is available.

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

卷积网络（CNN）的自学意义能力（CNN）已被证明对视觉任务有效。作为CNN的替代方案，视觉变压器（VITS）具有像素级自我注意力和渠道级别的前进网络的强大表示能力。最近的作品表明，自我监督的学习有助于释放VIT的巨大潜力。尽管如此，大多数作品还是遵循专为CNN设计的自制策略，例如样本的实例级别歧视，但它们忽略了VIT的独特属性。我们观察到，像素和渠道之间的建模关系将VIT与其他网络区分开。为了强制执行此属性，我们探讨了用于培训自我监督VIT的功能自我关系。具体而言，我们利用特征自我关系（即像素/频道/频道级别的自我关系）来进行自我监督的学习，而不是仅凭多个视图中的特征嵌入式学习进行自我监督的学习。基于自相关的学习进一步增强了VIT的关系建模能力，从而产生了强大的表示，从而稳定地改善了多个下游任务的性能。我们的源代码将公开可用。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

无监督的语义分割旨在在没有手动注释的情况下获得高级视觉功能的高级语义表示。大多数现有方法是基于其视觉提示或某些预定义规则尝试将像素分组为区域的自下而上的方法。因此，在具有多个对象的复杂场景和共享类似的视觉外观的某些对象时，这些自下而上的方法难以产生细粒度的语义分割。相比之下，我们提出了一个在极其复杂的情景中的细粒度分割的第一个自上而下的无监督语义分割框架。具体而言，我们首先以自我监督的学习方式从大规模视觉数据中获得丰富的高级结构化语义概念信息，并在发现目标数据集中呈现的潜在语义类别之前使用此类信息。其次，通过计算关于某些发现的语义表示的类激活地图（CAM）来计算发现的高电平语义类别以映射到低级像素特征。最后，所获得的凸轮用作伪标签，以培训分割模块并产生最终的语义分割。多个语义分割基准测试的实验结果表明，我们的自上而下的无监督分割对于对象为中心和以场景为中心的数据集，在不同的语义粒度水平下，并且优于所有最新的最先进的自下而上方法。我们的代码可用于\ URL {https://github.com/damo-cv/transfgugu}。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

在本文中，我们表明，自我监督的功能学习的最新进展使无监督的对象发现和语义细分，其性能与10年前的监督语义分割相匹配。我们提出了一种基于无监督的显着性掩码和自我监督的特征聚类的方法，以启动对象发现，然后在伪标签上训练语义分割网络，以在带有多个对象的图像上引导系统。我们介绍了Pascal VOC的结果，该结果远远超出了当前的最新状态（47.3 MIOU），我们首次在整个81个类别中向COCO上首次报告结果：我们的方法发现了34个类别，价格超过20美元\％$ iou，同时获得所有81个类别的平均值为19.6。