这项工作提出了一种自我监督的方法，用于学习密集的语义上丰富的视觉概念嵌入式，用于通过在NLP中学习Word Embeddings的方法启发的图像。我们的方法通过产生更多富有表现力的嵌入来提高现有工作，并通过适用于高分辨率图像。将自然图像的生成作为一种随机过程，其中一组潜在的视觉概念产生可观察像素外观，我们的方法被配制，以从像素到概念的反向映射。我们的方法大大提高了自我监督学习对密集嵌入映射的有效性，通过将超装配作为自然等级从像素从像素向一小组视觉相干区域进行了向上。其他贡献是具有非均匀形状的区域上下文掩蔽，匹配视觉相干的补丁和基于复杂的视图采样，由屏蔽语言模型启发。通过显着改善Coco（+12.94 miou，+87.6 \％）和城市景观（+16.52 miou，+134.2 \％）的最先进的代表性质量基准来证明了我们密集嵌入的增强的表现力。结果表明，未参加工作未能证明的较好的缩放和域泛化性能。

自我监督学习的进步带来了强大的一般图像表示学习方法。到目前为止，它主要集中在图像级学习上。反过来，诸如无监督图像细分之类的任务并没有从这种趋势中受益，因为它们需要空间多样性的表示。但是，学习密集的表示具有挑战性，因为在无监督的环境中，尚不清楚如何指导模型学习与各种潜在对象类别相对应的表示形式。在本文中，我们认为对物体部分的自我监督学习是解决此问题的方法。对象部分是可以推广的：它们是独立于对象定义的先验性，但可以分组以形成对象后验。为此，我们利用最近提出的视觉变压器参与对象的能力，并将其与空间密集的聚类任务相结合，以微调空间令牌。我们的方法超过了三个语义分割基准的最新方法，提高了17％-3％，表明我们的表示在各种对象定义下都是用途广泛的。最后，我们将其扩展到完全无监督的分割 - 即使在测试时间也可以完全避免使用标签信息 - 并证明了一种基于社区检测的自动合并发现的对象零件的简单方法可产生可观的收益。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

自我监督学习中的最新作品通过以对象为中心或基于区域的对应目标进行预处理，在场景级密集的预测任务上表现出了强劲的表现。在本文中，我们介绍了区域对象表示学习（R2O），该学习统一了基于区域的和以对象为中心的预处理。 R2O通过训练编码器以动态完善基于区域的段为中心的蒙版，然后共同学习掩模中内容的表示形式。 R2O使用“区域改进模块”将使用区域级先验生成的小图像区域分组为较大的区域，这些区域倾向于通过聚类区域级特征对应对应对象。随着训练的进展，R2O遵循了一个区域到对象的课程，该课程鼓励学习区域级的早期特征并逐渐进步以训练以对象为中心的表示。使用R2O的表示形式导致了Pascal VOC（+0.7 MIOU）和CityScapes（+0.4 MIOU）的语义细分表现最先进的表现，并在MS Coco（+0.3 Mask AP）上进行了实例细分。此外，在对Imagenet进行了预审进之后，R2O预处理的模型能够超过Caltech-UCSD Birds 200-2011数据集（+2.9 MIOU）的无监督物体细分中现有的最新对象细分。我们在https://github.com/kkallidromitis/r2o上提供了这项工作的代码/模型。

Recent advances in pixel-level tasks (e.g., segmentation) illustrate the benefit of long-range interactions between aggregated region-based representations that can enhance local features. However, such pixel-to-region associations and the resulting representation, which often take the form of attention, cannot model the underlying semantic structure of the scene (e.g., individual objects and, by extension, their interactions). In this work, we take a step toward addressing this limitation. Specifically, we propose an architecture where we learn to project image features into latent region representations and perform global reasoning across them, using a transformer, to produce contextualized and scene-consistent representations that are then fused with original pixel-level features. Our design enables the latent regions to represent semantically meaningful concepts, by ensuring that activated regions are spatially disjoint and unions of such regions correspond to connected object segments. The resulting semantic global reasoning (SGR) is end-to-end trainable and can be combined with any semantic segmentation framework and backbone. Combining SGR with DeepLabV3 results in a semantic segmentation performance that is competitive to the state-of-the-art, while resulting in more semantically interpretable and diverse region representations, which we show can effectively transfer to detection and instance segmentation. Further, we propose a new metric that allows us to measure the semantics of representations at both the object class and instance level.

由于其最近在减少监督学习的差距方面取得了成功，自我监督的学习方法正在增加计算机愿景的牵引力。在自然语言处理（NLP）中，自我监督的学习和变形金刚已经是选择的方法。最近的文献表明，变压器也在计算机愿景中越来越受欢迎。到目前为止，当使用大规模监督数据或某种共同监督时，视觉变压器已被证明可以很好地工作。在教师网络方面。这些监督的普试视觉变压器在下游任务中实现了非常好的变化，变化最小。在这项工作中，我们调查自我监督学习的预用图像/视觉变压器，然后使用它们进行下游分类任务的优点。我们提出了自我监督的视觉变压器（坐在）并讨论了几种自我监督的培训机制，以获得借口模型。静坐的架构灵活性允许我们将其用作自动统计器，并无缝地使用多个自我监控任务。我们表明，可以在小规模数据集上进行预训练，以便在小型数据集上进行下游分类任务，包括几千个图像而不是数百万的图像。使用公共协议对所提出的方法进行评估标准数据集。结果展示了变压器的强度及其对自我监督学习的适用性。我们通过大边缘表现出现有的自我监督学习方法。我们还观察到坐着很好，很少有镜头学习，并且还表明它通过简单地训练从坐的学到的学习功能的线性分类器来学习有用的表示。预先训练，FineTuning和评估代码将在以下：https://github.com/sara-ahmed/sit。

对比度学习的许多最新方法已努力弥补在ImageNet等标志性图像和Coco等复杂场景上进行预处理的预处理之间的差距。这一差距之所以存在很大程度上是因为普遍使用的随机作物增强量在不同物体的拥挤场景图像中获得语义上不一致的内容。以前的作品使用预处理管道来定位明显的对象以改进裁剪，但是端到端的解决方案仍然难以捉摸。在这项工作中，我们提出了一个框架，该框架通过共同学习表示和细分来实现这一目标。我们利用分割掩码来训练具有掩模依赖性对比损失的模型，并使用经过部分训练的模型来引导更好的掩模。通过在这两个组件之间进行迭代，我们将分割信息中的对比度更新进行基础，并同时改善整个训练的分割。实验表明我们的表示形式在分类，检测和分割方面鲁棒性转移到下游任务。

监督的深度学习模型取决于大量标记的数据。不幸的是，收集和注释包含所需更改的零花态样本是耗时和劳动密集型的。从预训练模型中转移学习可有效减轻遥感（RS）变化检测（CD）中标签不足。我们探索在预训练期间使用语义信息的使用。不同于传统的监督预训练，该预训练从图像到标签，我们将语义监督纳入了自我监督的学习（SSL）框架中。通常，多个感兴趣的对象（例如，建筑物）以未经切割的RS图像分布在各个位置。我们没有通过全局池操纵图像级表示，而是在每个像素嵌入式上引入点级监督以学习空间敏感的特征，从而使下游密集的CD受益。为了实现这一目标，我们通过使用语义掩码在视图之间的重叠区域上通过类平衡的采样获得了多个点。我们学会了一个嵌入式空间，将背景和前景点分开，并将视图之间的空间对齐点齐聚在一起。我们的直觉是导致的语义歧视性表示与无关的变化不变（照明和无关紧要的土地覆盖）可能有助于改变识别。我们在RS社区中免费提供大规模的图像面罩，用于预训练。在三个CD数据集上进行的大量实验验证了我们方法的有效性。我们的表现明显优于Imagenet预训练，内域监督和几种SSL方法。经验结果表明我们的预训练提高了CD模型的概括和数据效率。值得注意的是，我们使用20％的培训数据获得了比基线（随机初始化）使用100％数据获得竞争结果。我们的代码可用。

本文介绍了密集的暹罗网络（Denseiam），这是一个简单的无监督学习框架，用于密集的预测任务。它通过以两种类型的一致性（即像素一致性和区域一致性）之间最大化一个图像的两个视图之间的相似性来学习视觉表示。具体地，根据重叠区域中的确切位置对应关系，Denseiam首先最大化像素级的空间一致性。它还提取一批与重叠区域中某些子区域相对应的区域嵌入，以形成区域一致性。与以前需要负像素对，动量编码器或启发式面膜的方法相反，Denseiam受益于简单的暹罗网络，并优化了不同粒度的一致性。它还证明了简单的位置对应关系和相互作用的区域嵌入足以学习相似性。我们将Denseiam应用于ImageNet，并在各种下游任务上获得竞争性改进。我们还表明，只有在一些特定于任务的损失中，简单的框架才能直接执行密集的预测任务。在现有的无监督语义细分基准中，它以2.1 miou的速度超过了最新的细分方法，培训成本为28％。代码和型号在https://github.com/zwwwayne/densesiam上发布。

我们在过去十年中目睹了监督学习范式的大规模增长。监督学习需要大量标记的数据来达到最先进的性能。但是，标记样本需要很多人的注释。为避免标签数据的成本，提出了自我监督的方法来利用大部分可用的未标记数据。本研究对特征表示的自我监督范式的最新发展进行了全面和富有洞察力的调查和分析。在本文中，我们调查了影响不同环境下自我监督有用性的因素。我们展示了一些关于自我监督，生成和对比方法的两种不同方法的关键见解。我们还调查了监督对抗培训的局限性以及自我监督如何帮助克服这些限制。然后，我们继续讨论有效利用自我监督对视觉任务的局限性和挑战。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

无监督的语义细分需要将标签分配给每个像素，而无需任何人类注释。尽管在单个图像的自我监督表示学习方面取得了进步，但使用像素级表示的无监督语义细分仍然是一项艰巨的任务，并且仍然没有被淘汰。在这项工作中，我们通过使用视觉概念（即具有语义含义的像素组，例如零件，对象和场景）提出一种自我监督的像素表示学习方法，以进行语义分割。为了指导自我监督的学习，我们利用像素和概念之间的三种类型的关系，包括像素与本地概念之间的关系，本地和全球概念以及概念的共发生。我们在包括Pascal VOC 2012，Coco 2017和Davis 2017的三个数据集上评估了学识渊博的像素嵌入和视觉概念。我们的结果表明，提议的方法对最近的无监督语义细分方法进行了一致性和实质性改进，并证明了视觉概念的视觉概念。可以向图像数据集揭示洞察力。

变形金刚和蒙版语言建模在计算机视觉中很快被视为视觉变压器和蒙版图像建模（MIM）。在这项工作中，我们认为由于图像中令牌的数量和相关性，图像令牌掩盖与文本中的令牌掩盖有所不同。特别是，为了为MIM产生具有挑战性的借口任务，我们主张从随机掩盖到知情掩盖的转变。我们在基于蒸馏的MIM的背景下开发并展示了这一想法，其中教师变压器编码器生成了一个注意力图，我们用它来指导学生为学生指导掩盖。因此，我们引入了一种新颖的掩蔽策略，称为注意引导蒙版（ATTMASK），我们证明了其对基于密集蒸馏的MIM以及基于普通蒸馏的自然剥离的自助力学习的有效性。我们确认ATTMASK可以加快学习过程，并提高各种下游任务的性能。我们在https://github.com/gkakogeorgiou/attmask上提供实现代码。

自我监督的视觉表现学习的目标是学习强大，可转让的图像表示，其中大多数研究专注于物体或场景水平。另一方面，在部分级别的代表学习得到了显着的关注。在本文中，我们向对象部分发现和分割提出了一个无人监督的方法，并进行三个贡献。首先，我们通过一系列目标构建一个代理任务，鼓励模型将图像的有意义分解成其部件。其次，先前的工作争辩地用于重建或聚类预先计算的功能作为代理的代理;我们凭经验展示了这一点，这种情况不太可能找到有意义的部分;主要是因为它们的低分辨率和分类网络到空间涂抹信息的趋势。我们建议像素水平的图像重建可以缓解这个问题，充当互补的提示。最后，我们表明基于Keypoint回归的标准评估与分割质量不符合良好，因此引入不同的指标，NMI和ARI，更好地表征对象的分解成零件。我们的方法产生了一致的细粒度但视觉上不同的类别的语义部分，优于三个基准数据集的现有技术。代码可在项目页面上找到：https://www.robots.ox.ac.uk/~vgg/research/unsup-parts/

自我监督的视觉表示学习最近引起了重大的研究兴趣。虽然一种评估自我监督表示的常见方法是通过转移到各种下游任务，但我们研究了衡量其可解释性的问题，即了解原始表示中编码的语义。我们将后者提出为估计表示和手动标记概念空间之间的相互信息。为了量化这一点，我们介绍了一个解码瓶颈：必须通过简单的预测变量捕获信息，将概念映射到表示空间中的簇。我们称之为反向线性探测的方法为表示表示的语义敏感。该措施还能够检测出表示何时包含概念的组合（例如“红色苹果”），而不仅仅是单个属性（独立的“红色”和“苹果”）。最后，我们建议使用监督分类器自动标记大型数据集，以丰富用于探测的概念的空间。我们使用我们的方法来评估大量的自我监督表示形式，通过解释性对它们进行排名，并通过线性探针与标准评估相比出现的差异，并讨论了一些定性的见解。代码为：{\ Scriptsize {\ url {https://github.com/iro-cp/ssl-qrp}}}}}。

自我监督学习（SSL）的承诺是利用大量未标记的数据来解决复杂的任务。尽管简单，图像级学习取得了出色的进步，但最新方法显示出包括图像结构知识的优势。但是，通过引入手工制作的图像分割来定义感兴趣的区域或专门的增强策略，这些方法牺牲了使SSL如此强大的简单性和通用性。取而代之的是，我们提出了一个自我监督的学习范式，该学习范式本身会发现这种图像结构。我们的方法，ODIN，夫妻对象发现和表示网络，以发现有意义的图像分割，而无需任何监督。由此产生的学习范式更简单，更易碎，更一般，并且取得了最先进的转移学习结果，以进行对象检测和实例对可可的细分，以及对Pascal和CityScapes的语义细分，同时超过监督的预先培训，用于戴维斯的视频细分。

Autoregressive language modeling (ALM) have been successfully used in self-supervised pre-training in Natural language processing (NLP). However, this paradigm has not achieved comparable results with other self-supervised approach in computer vision (e.g., contrastive learning, mask image modeling). In this paper, we try to find the reason why autoregressive modeling does not work well on vision tasks. To tackle this problem, we fully analyze the limitation of visual autoregressive methods and proposed a novel stochastic autoregressive image modeling (named SAIM) by the two simple designs. First, we employ stochastic permutation strategy to generate effective and robust image context which is critical for vision tasks. Second, we create a parallel encoder-decoder training process in which the encoder serves a similar role to the standard vision transformer focus on learning the whole contextual information, and meanwhile the decoder predicts the content of the current position, so that the encoder and decoder can reinforce each other. By introducing stochastic prediction and the parallel encoder-decoder, SAIM significantly improve the performance of autoregressive image modeling. Our method achieves the best accuracy (83.9%) on the vanilla ViT-Base model among methods using only ImageNet-1K data. Transfer performance in downstream tasks also show that our model achieves competitive performance.

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

无监督语义分割的任务旨在将像素聚集到语义上有意义的群体中。具体而言，分配给同一群集的像素应共享高级语义属性，例如其对象或零件类别。本文介绍了MaskDistill：基于三个关键想法的无监督语义细分的新颖框架。首先，我们提倡一种数据驱动的策略，以生成对象掩模作为语义分割事先的像素分组。这种方法省略了手工制作的先验，这些先验通常是为特定场景组成而设计的，并限制了竞争框架的适用性。其次，MaskDistill将对象掩盖簇簇以获取伪地真相，以训练初始对象分割模型。第三，我们利用此模型过滤出低质量的对象掩模。这种策略减轻了我们像素分组中的噪声，并导致了我们用来训练最终分割模型的干净掩模集合。通过组合这些组件，我们可以大大优于以前的作品，用于对Pascal（+11％MIOU）和COCO（+4％Mask AP50）进行无监督的语义分割。有趣的是，与现有方法相反，我们的框架不在低级图像提示上，也不限于以对象为中心的数据集。代码和型号将提供。

卷积网络（CNN）的自学意义能力（CNN）已被证明对视觉任务有效。作为CNN的替代方案，视觉变压器（VITS）具有像素级自我注意力和渠道级别的前进网络的强大表示能力。最近的作品表明，自我监督的学习有助于释放VIT的巨大潜力。尽管如此，大多数作品还是遵循专为CNN设计的自制策略，例如样本的实例级别歧视，但它们忽略了VIT的独特属性。我们观察到，像素和渠道之间的建模关系将VIT与其他网络区分开。为了强制执行此属性，我们探讨了用于培训自我监督VIT的功能自我关系。具体而言，我们利用特征自我关系（即像素/频道/频道级别的自我关系）来进行自我监督的学习，而不是仅凭多个视图中的特征嵌入式学习进行自我监督的学习。基于自相关的学习进一步增强了VIT的关系建模能力，从而产生了强大的表示，从而稳定地改善了多个下游任务的性能。我们的源代码将公开可用。