对比的自我监督学习在很大程度上缩小了对想象成的预先训练的差距。然而，它的成功高度依赖于想象成的以对象形象，即相同图像的不同增强视图对应于相同的对象。当预先训练在具有许多物体的更复杂的场景图像上，如此重种策划约束会立即不可行。为了克服这一限制，我们介绍了对象级表示学习（ORL），这是一个新的自我监督的学习框架迈向场景图像。我们的主要洞察力是利用图像级自我监督的预培训作为发现对象级语义对应之前的，从而实现了从场景图像中学习的对象级表示。对Coco的广泛实验表明，ORL显着提高了自我监督学习在场景图像上的性能，甚至超过了在几个下游任务上的监督Imagenet预训练。此外，当可用更加解标的场景图像时，ORL提高了下游性能，证明其在野外利用未标记数据的巨大潜力。我们希望我们的方法可以激励未来的研究从场景数据的更多通用无人监督的代表。

基于对比的学习的预培训的目标是利用大量的未标记数据来产生可以容易地调整下游的模型。电流方法围绕求解图像辨别任务：给定锚图像，该图像的增强对应物和一些其他图像，该模型必须产生表示，使得锚和其对应物之间的距离很小，并且锚和其他图像很大。这种方法存在两个重要问题：（i）通过对比图像级别的表示，很难生成有利于下游对象级任务（如实例分段）的详细对象敏感功能; （ii）制造增强对应的增强策略是固定的，在预培训的后期阶段做出更低的学习。在这项工作中，我们引入课程对比对象级预培训（CCOP）来解决这些问题：（i）我们使用选择性搜索来查找粗略对象区域并使用它们构建图像间对象级对比度损耗和一个图像内对象级别歧视损失进入我们的预训练目标; （ii）我们提出了一种课程学习机制，其自适应地增强所生成的区域，这允许模型一致地获取有用的学习信号，即使在预训练的后期阶段也是如此。我们的实验表明，当在多对象场景图像数据集上进行预训练时，我们的方法通过大量对象级任务的大幅度提高了MoCo V2基线。代码可在https://github.com/chenhongyiyang/ccop中找到。

对比度学习最近在无监督的视觉表示学习中显示出巨大的潜力。在此轨道中的现有研究主要集中于图像内不变性学习。学习通常使用丰富的图像内变换来构建正对，然后使用对比度损失最大化一致性。相反，相互影响不变性的优点仍然少得多。利用图像间不变性的一个主要障碍是，尚不清楚如何可靠地构建图像间的正对，并进一步从它们中获得有效的监督，因为没有配对注释可用。在这项工作中，我们提出了一项全面的实证研究，以更好地了解从三个主要组成部分的形象间不变性学习的作用：伪标签维护，采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一的通用框架，该框架支持无监督的内部和间形内不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1）在线标签收敛速度比离线标签更快； 2）半硬性样品比硬否定样品更可靠和公正； 3）一个不太严格的决策边界更有利于形象间的不变性学习。借助所有获得的食谱，我们的最终模型（即InterCLR）对多个标准基准测试的最先进的内图内不变性学习方法表现出一致的改进。我们希望这项工作将为设计有效的无监督间歇性不变性学习提供有用的经验。代码：https：//github.com/open-mmlab/mmselfsup。

在这项工作中，我们研究了对象检测模型的自我监督预审计的不同方法。我们首先设计一个通用框架，通过随机采样和投射框来学习从图像中学习空间一致的密集表示，并将其投影到每个增强视图，并最大程度地提高相应的盒子功能之间的相似性。我们研究文献中的现有设计选择，例如盒子生成，功能提取策略，并使用其在实例级图像表示学习技术上获得成功启发的多种视图。我们的结果表明，该方法对超参数的不同选择是可靠的，并且使用多个视图不如实例级图像表示学习所显示的那样有效。我们还设计了两个辅助任务，以通过（1）通过使用对比度损失从采样设置中预测盒子中的一个视图中的框来预测框，并且（2）使用变压器预测盒子坐标，这可能会受益。下游对象检测任务。我们发现，在标记数据上预审计的模型时，这些任务不会导致更好的对象检测性能。

自我监督学习（SSL）的承诺是利用大量未标记的数据来解决复杂的任务。尽管简单，图像级学习取得了出色的进步，但最新方法显示出包括图像结构知识的优势。但是，通过引入手工制作的图像分割来定义感兴趣的区域或专门的增强策略，这些方法牺牲了使SSL如此强大的简单性和通用性。取而代之的是，我们提出了一个自我监督的学习范式，该学习范式本身会发现这种图像结构。我们的方法，ODIN，夫妻对象发现和表示网络，以发现有意义的图像分割，而无需任何监督。由此产生的学习范式更简单，更易碎，更一般，并且取得了最先进的转移学习结果，以进行对象检测和实例对可可的细分，以及对Pascal和CityScapes的语义细分，同时超过监督的预先培训，用于戴维斯的视频细分。

我们提出了一种适用于半全球任务的自学学习（SSL）方法，例如对象检测和语义分割。我们通过在训练过程中最大程度地减少像素级局部对比度（LC）损失，代表了同一图像转换版本的相应图像位置之间的局部一致性。可以将LC-LOSS添加到以最小开销的现有自我监督学习方法中。我们使用可可，Pascal VOC和CityScapes数据集评估了两个下游任务的SSL方法 - 对象检测和语义细分。我们的方法的表现优于现有的最新SSL方法可可对象检测的方法1.9％，Pascal VOC检测1.4％，而CityScapes Sementation则为0.6％。

在计算病理学工作流程中检测和分裂ObjectSwithinWholesLideImagesis。自我监督学习（SSL）吸引了这种重度注释的任务。尽管自然图像的密集任务具有广泛的基准，但不幸的是，在当前的病理学作品中，此类研究仍然没有。我们的论文打算缩小这一差距。我们首先基于病理图像中密集预测任务的代表性SSL方法。然后，我们提出了概念对比学习（结论），这是密集预训练的SSL框架。我们探讨了结论如何使用不同来源提供的概念，并最终提出了一种简单的无依赖性概念生成方法，该方法不依赖于外部分割算法或显着检测模型。广泛的实验表明，在不同环境中，结论比以前的最新SSL方法具有优势。沿着我们的探索，我们弥补了几个重要而有趣的组成部分，这有助于致力于病理图像的密集预训练。我们希望这项工作可以提供有用的数据点，并鼓励社区为感兴趣的问题进行结论预培训。代码可用。

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

We present DetCo, a simple yet effective self-supervised approach for object detection. Unsupervised pre-training methods have been recently designed for object detection, but they are usually deficient in image classification, or the opposite. Unlike them, DetCo transfers well on downstream instance-level dense prediction tasks, while maintaining competitive image-level classification accuracy. The advantages are derived from (1) multi-level supervision to intermediate representations, (2) contrastive learning between global image and local patches. These two designs facilitate discriminative and consistent global and local representation at each level of feature pyramid, improving detection and classification, simultaneously.Extensive experiments on VOC, COCO, Cityscapes, and ImageNet demonstrate that DetCo not only outperforms recent methods on a series of 2D and 3D instance-level detection tasks, but also competitive on image classification. For example, on ImageNet classification, DetCo is 6.9% and 5.0% top-1 accuracy better than InsLoc and DenseCL, which are two contemporary works designed for object detection. Moreover, on COCO detection, DetCo is 6.9 AP better than SwAV with Mask R-CNN C4. Notably, DetCo largely boosts up Sparse R-CNN, a recent strong detector, from 45.0 AP to 46.5 AP (+1.5 AP), establishing a new SOTA on COCO. Code is available.

尽管已显示自我监督的学习受益于许多视觉任务，但现有技术主要集中在图像级操作上，这可能无法很好地概括为补丁或像素级别的下游任务。此外，现有的SSL方法可能无法充分描述和关联图像量表内和跨图像量表的上述表示。在本文中，我们提出了一个自制的金字塔表示学习（SS-PRL）框架。所提出的SS-PRL旨在通过学习适当的原型在斑块级别得出金字塔表示，并在图像中观察和关联固有的语义信息。特别是，我们在SS-PRL中提出了跨尺度贴片级的相关性学习，该学习允许模型汇总和关联信息跨贴片量表。我们表明，借助我们提出的用于模型预训练的SS-PRL，可以轻松适应和调整模型，以适应各种应用程序，包括多标签分类，对象检测和实例分割。

Although self-/un-supervised methods have led to rapid progress in visual representation learning, these methods generally treat objects and scenes using the same lens. In this paper, we focus on learning representations for objects and scenes that preserve the structure among them. Motivated by the observation that visually similar objects are close in the representation space, we argue that the scenes and objects should instead follow a hierarchical structure based on their compositionality. To exploit such a structure, we propose a contrastive learning framework where a Euclidean loss is used to learn object representations and a hyperbolic loss is used to encourage representations of scenes to lie close to representations of their constituent objects in a hyperbolic space. This novel hyperbolic objective encourages the scene-object hypernymy among the representations by optimizing the magnitude of their norms. We show that when pretraining on the COCO and OpenImages datasets, the hyperbolic loss improves downstream performance of several baselines across multiple datasets and tasks, including image classification, object detection, and semantic segmentation. We also show that the properties of the learned representations allow us to solve various vision tasks that involve the interaction between scenes and objects in a zero-shot fashion. Our code can be found at \url{https://github.com/shlokk/HCL/tree/main/HCL}.

最近自我监督学习成功的核心组成部分是裁剪数据增强，其选择要在自我监督损失中用作正视图的图像的子区域。底层假设是给定图像的随机裁剪和调整大小的区域与感兴趣对象的信息共享信息，其中学习的表示将捕获。这种假设在诸如想象网的数据集中大多满足，其中存在大，以中心为中心的对象，这很可能存在于完整图像的随机作物中。然而，在诸如OpenImages或Coco的其他数据集中，其更像是真实世界未保健数据的代表，通常存在图像中的多个小对象。在这项工作中，我们表明，基于通常随机裁剪的自我监督学习在此类数据集中表现不佳。我们提出用从对象提案算法获得的作物取代一种或两种随机作物。这鼓励模型学习对象和场景级别语义表示。使用这种方法，我们调用对象感知裁剪，导致对分类和对象检测基准的场景裁剪的显着改进。例如，在OpenImages上，我们的方法可以使用基于Moco-V2的预训练来实现8.8％的提高8.8％地图。我们还显示了对Coco和Pascal-Voc对象检测和分割任务的显着改善，通过最先进的自我监督的学习方法。我们的方法是高效，简单且通用的，可用于最现有的对比和非对比的自我监督的学习框架。

对比度学习的许多最新方法已努力弥补在ImageNet等标志性图像和Coco等复杂场景上进行预处理的预处理之间的差距。这一差距之所以存在很大程度上是因为普遍使用的随机作物增强量在不同物体的拥挤场景图像中获得语义上不一致的内容。以前的作品使用预处理管道来定位明显的对象以改进裁剪，但是端到端的解决方案仍然难以捉摸。在这项工作中，我们提出了一个框架，该框架通过共同学习表示和细分来实现这一目标。我们利用分割掩码来训练具有掩模依赖性对比损失的模型，并使用经过部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代，我们将分割信息中的对比度更新进行基础，并同时改善整个训练的分割。实验表明我们的表示形式在分类，检测和分割方面鲁棒性转移到下游任务。

本文介绍了密集的暹罗网络（Denseiam），这是一个简单的无监督学习框架，用于密集的预测任务。它通过以两种类型的一致性（即像素一致性和区域一致性）之间最大化一个图像的两个视图之间的相似性来学习视觉表示。具体地，根据重叠区域中的确切位置对应关系，Denseiam首先最大化像素级的空间一致性。它还提取一批与重叠区域中某些子区域相对应的区域嵌入，以形成区域一致性。与以前需要负像素对，动量编码器或启发式面膜的方法相反，Denseiam受益于简单的暹罗网络，并优化了不同粒度的一致性。它还证明了简单的位置对应关系和相互作用的区域嵌入足以学习相似性。我们将Denseiam应用于ImageNet，并在各种下游任务上获得竞争性改进。我们还表明，只有在一些特定于任务的损失中，简单的框架才能直接执行密集的预测任务。在现有的无监督语义细分基准中，它以2.1 miou的速度超过了最新的细分方法，培训成本为28％。代码和型号在https://github.com/zwwwayne/densesiam上发布。

Contrastive learning methods for unsupervised visual representation learning have reached remarkable levels of transfer performance. We argue that the power of contrastive learning has yet to be fully unleashed, as current methods are trained only on instance-level pretext tasks, leading to representations that may be sub-optimal for downstream tasks requiring dense pixel predictions. In this paper, we introduce pixel-level pretext tasks for learning dense feature representations. The first task directly applies contrastive learning at the pixel level. We additionally propose a pixel-to-propagation consistency task that produces better results, even surpassing the state-of-the-art approaches by a large margin. Specifically, it achieves 60.2 AP, 41.4 / 40.5 mAP and 77.2 mIoU when transferred to Pascal VOC object detection (C4), COCO object detection (FPN / C4) and Cityscapes semantic segmentation using a ResNet-50 backbone network, which are 2.6 AP, 0.8 / 1.0 mAP and 1.0 mIoU better than the previous best methods built on instance-level contrastive learning. Moreover, the pixel-level pretext tasks are found to be effective for pretraining not only regular backbone networks but also head networks used for dense downstream tasks, and are complementary to instance-level contrastive methods. These results demonstrate the strong potential of defining pretext tasks at the pixel level, and suggest a new path forward in unsupervised visual representation learning. Code is available at https://github.com/zdaxie/PixPro.

许多最近的自我监督学习方法在图像分类和其他任务上表现出了令人印象深刻的表现。已经使用了一种令人困惑的多种技术，并不总是清楚地了解其收益的原因，尤其是在组合使用时。在这里，我们将图像的嵌入视为点粒子，并将模型优化视为该粒子系统上的动态过程。我们的动态模型结合了类似图像的吸引力，避免局部崩溃的局部分散力以及实现颗粒的全球均匀分布的全局分散力。动态透视图突出了使用延迟参数图像嵌入（a la byol）以及同一图像的多个视图的优点。它还使用纯动态的局部分散力（布朗运动），该分散力比其他方法显示出改善的性能，并且不需要其他粒子坐标的知识。该方法称为MSBREG，代表（i）多视质心损失，它施加了吸引力的力来将不同的图像视图嵌入到其质心上，（ii）奇异值损失，将粒子系统推向空间均匀的密度（ iii）布朗扩散损失。我们评估MSBREG在ImageNet上的下游分类性能以及转移学习任务，包括细粒度分类，多类对象分类，对象检测和实例分段。此外，我们还表明，将我们的正则化术语应用于其他方法，进一步改善了其性能并通过防止模式崩溃来稳定训练。

在本文中，我们提出了一种自我监督的视觉表示学习方法，涉及生成和鉴别性代理，我们通过要求目标网络基于中级特征来恢复原始图像来专注于前者部分。与事先工作不同，主要侧重于原始和生成的图像之间的像素级相似性，我们提倡语义感知生成（Sage）以促进更丰富的语义，而不是在所生成的图像中保留的细节。实现SAGE的核心概念是使用评估者，一个在没有标签的情况下预先培训的深网络，用于提取语义感知功能。 Sage与特定于观点的功能补充了目标网络，从而减轻了密集数据增强所带来的语义劣化。我们在ImageNet-1K上执行Sage，并在包括最近的邻居测试，线性分类和细小图像识别的五个下游任务中评估预训练模型，展示了其学习更强大的视觉表示的能力。

尽管增加了大量的增强家庭，但只有几个樱桃采摘的稳健增强政策有利于自我监督的图像代表学习。在本文中，我们提出了一个定向自我监督的学习范式（DSSL），其与显着的增强符号兼容。具体而言，我们在用标准增强的视图轻度增强后调整重增强策略，以产生更难的视图（HV）。 HV通常具有与原始图像较高的偏差而不是轻度增强的标准视图（SV）。与以前的方法不同，同等对称地将所有增强视图对称地最大化它们的相似性，DSSL将相同实例的增强视图视为部分有序集（具有SV $ \ LeftrightArrow $ SV，SV $ \左路$ HV），然后装备一个定向目标函数尊重视图之间的衍生关系。 DSSL可以轻松地用几行代码实现，并且对于流行的自我监督学习框架非常灵活，包括SIMCLR，Simsiam，Byol。对CiFar和Imagenet的广泛实验结果表明，DSSL可以稳定地改善各种基线，其兼容性与更广泛的增强。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

跨图像建立视觉对应是一项具有挑战性且必不可少的任务。最近，已经提出了大量的自我监督方法，以更好地学习视觉对应的表示。但是，我们发现这些方法通常无法利用语义信息，并且在低级功能的匹配方面过度融合。相反，人类的视觉能够将不同的物体区分为跟踪的借口。受此范式的启发，我们建议学习语义意识的细粒对应关系。首先，我们证明语义对应是通过一组丰富的图像级别自我监督方法隐式获得的。我们进一步设计了一个像素级的自我监督学习目标，该目标专门针对细粒的对应关系。对于下游任务，我们将这两种互补的对应表示形式融合在一起，表明它们是协同增强性能的。我们的方法超过了先前的最先进的自我监督方法，使用卷积网络在各种视觉通信任务上，包括视频对象分割，人姿势跟踪和人类部分跟踪。