现有的文本识别方法通常需要大规模培训数据。由于缺乏带注释的真实图像，他们中的大多数依靠合成训练数据。但是，合成数据和真实数据之间存在域差距，这限制了文本识别模型的性能。最近的自我监督文本识别方法试图通过引入对比度学习来利用未标记的真实图像，这主要学习文本图像的歧视。受到人类学会通过阅读和写作识别文本的观察的启发，我们建议通过在我们的自我监督方法中整合对比度学习和掩盖图像建模来学习歧视和产生。采用对比学习分支来学习对文本图像的歧视，这模仿了人类的阅读行为。同时，首先引入了蒙版的图像建模，以了解文本识别，以了解文本图像的上下文生成，这类似于写作行为。实验结果表明，在不规则场景文本识别数据集上，我们的方法比以前的自我监督文本识别方法优于先前的自我监督文本识别方法。此外，我们提出的文本识别器超过了先前的最新文本识别方法，在11个基准测试中，平均5.3％，模型大小相似。我们还证明，我们的预培训模型可以轻松地应用于具有明显性能增益的其他文本相关任务。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

我们提出了引导蒙面的自动编码器（bootmae），这是一种新的视觉BERT预训练方法。 Bootmae用两个核心设计改进了原始的蒙版自动编码器（MAE）：1）动量编码器，该动量编码器可作为额外的BERT预测目标提供在线功能； 2）试图降低编码器的压力以记住目标特定信息的靶向解码器。第一个设计的动机是通过观察到的，即使用预定的MAE提取特征，因为掩盖令牌的BERT预测目标可以实现更好的预训练性能。因此，我们与原始的MAE编码器并行添加了一个动量编码器，该编码器通过将其自己的表示作为BERT预测目标来引导预处理性能。在第二个设计中，我们将特定于目标的信息（例如，未掩盖贴片的像素值）直接传达到解码器中，以减少记住目标特定信息的编码器的压力。因此，编码器专注于语义建模，这是BERT预训练的目的，并且不需要浪费其在记住与预测目标相关的未掩盖令牌的信息时的能力。通过广泛的实验，我们的Bootmae在ImageNet-1k上获得了$ 84.2 \％$ $ $ $+0.8 \％$在同一预训练时期。 Bootmae还获得了$+1.0 $ MIOU在ADE20K上的语义细分和$+1.3 $ box ap，$+1.4 $+1.4 $ bask ap改进对象检测和可可数据集上的细分。代码在https://github.com/lightdxy/bootmae上发布。

Masked image modelling (e.g., Masked AutoEncoder) and contrastive learning (e.g., Momentum Contrast) have shown impressive performance on unsupervised visual representation learning. This work presents Masked Contrastive Representation Learning (MACRL) for self-supervised visual pre-training. In particular, MACRL leverages the effectiveness of both masked image modelling and contrastive learning. We adopt an asymmetric setting for the siamese network (i.e., encoder-decoder structure in both branches), where one branch with higher mask ratio and stronger data augmentation, while the other adopts weaker data corruptions. We optimize a contrastive learning objective based on the learned features from the encoder in both branches. Furthermore, we minimize the $L_1$ reconstruction loss according to the decoders' outputs. In our experiments, MACRL presents superior results on various vision benchmarks, including CIFAR-10, CIFAR-100, Tiny-ImageNet, and two other ImageNet subsets. Our framework provides unified insights on self-supervised visual pre-training and future research.

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

本文显示屏蔽的自动化器（MAE）是可扩展的自我监督学习者，用于计算机愿景。我们的MAE方法很简单：我们掩盖输入图像的随机补丁并重建缺失像素。它基于两个核心设计。首先，我们开发一个不对称的编码器解码器架构，其中编码器仅在掩码的可见子集（没有掩码令牌）上，以及重量解码器，该重量解码器从潜像和掩码令牌重建原始图像。其次，我们发现掩蔽了高比例的输入图像，例如，75％，产生非凡和有意义的自我监督任务。耦合这两种设计使我们能够有效且有效地培训大型模型：我们加速培训（3倍或更多）并提高准确性。我们可扩展的方法允许学习概括的高容量模型：例如，Vanilla Vit-Maxim模型在使用Imagenet-1K数据的方法中实现最佳准确性（87.8％）。下游任务中的转移性能优于监督预培训并显示有前途的缩放行为。

The combination of transformers and masked image modeling (MIM) pre-training framework has shown great potential in various vision tasks. However, the pre-training computational budget is too heavy and withholds the MIM from becoming a practical training paradigm. This paper presents FastMIM, a simple and generic framework for expediting masked image modeling with the following two steps: (i) pre-training vision backbones with low-resolution input images; and (ii) reconstructing Histograms of Oriented Gradients (HOG) feature instead of original RGB values of the input images. In addition, we propose FastMIM-P to progressively enlarge the input resolution during pre-training stage to further enhance the transfer results of models with high capacity. We point out that: (i) a wide range of input resolutions in pre-training phase can lead to similar performances in fine-tuning phase and downstream tasks such as detection and segmentation; (ii) the shallow layers of encoder are more important during pre-training and discarding last several layers can speed up the training stage with no harm to fine-tuning performance; (iii) the decoder should match the size of selected network; and (iv) HOG is more stable than RGB values when resolution transfers;. Equipped with FastMIM, all kinds of vision backbones can be pre-trained in an efficient way. For example, we can achieve 83.8%/84.1% top-1 accuracy on ImageNet-1K with ViT-B/Swin-B as backbones. Compared to previous relevant approaches, we can achieve comparable or better top-1 accuracy while accelerate the training procedure by $\sim$5$\times$. Code can be found in https://github.com/ggjy/FastMIM.pytorch.

在本文中，我们提出了一个文本降低不变的自动编码器（Text-Diae），这是一种旨在解决两个任务的自我监督模型，即文本识别（手写或场景文本）和文档图像增强。我们首先采用基于变压器的体系结构，该体系结构将三个借口任务作为学习目标，在预训练期间必须在不使用标签数据的情况下进行优化。每个借口目标都是专门针对最终下游任务量身定制的。我们进行了几项消融实验，以确认所选借口任务的设计选择。重要的是，所提出的模型并未基于对比损失表现出先前最新方法的局限性，而同时需要更少的数据样本来收敛。最后，我们证明我们的方法超过了手写和场景文本识别和文档图像增强的现有监督和自我监督的设置中的最新设置。我们的代码和训练有素的模型将在〜\ url {http：// on_accepters}上公开提供。

最近的蒙版图像建模（MIM）在自我监督学习（SSL）中受到了很多关注，该学习要求目标模型恢复输入图像的掩盖部分。尽管基于MIM的预训练方法在转移到许多下游任务时达到了新的最新性能，但可视化表明，与基于基于对比性学习预训练相比，学习的表示形式不可分割，尤其是相比。这激发了我们思考MIM预培训表示的线性可分离性是否可以进一步改善，从而改善了训练的性能。由于MIM和对比度学习倾向于利用不同的数据增强和培训策略，因此将这两个借口任务结合起来并不是微不足道的。在这项工作中，我们提出了一个新颖而灵活的预训练框架，名为Mimco，该框架通过两阶段的预培训结合了MIM和对比度学习。具体而言，MIMCO将预先训练的对比学习模型作为教师模型，并通过两种类型的学习目标进行了预培训：贴片级和图像级的重建损失。关于下游任务的广泛转移实验证明了我们的MIMCO预训练框架的出色表现。以VIT-S为例，当使用预先训练的MoCov3-Vit-S作为教师模型时，Mimco只需要100个时期的预训练时期即可达到Imagenet-1K上的82.53％Top-1 FineTuning精度，这表现优于表现最先进的自我监督学习对手。

我们引入了一个自我监督的视觉表示模型BEIT，该模型代表来自图像变压器的双向编码器表示。在Bert在自然语言处理区域中开发后，我们提出了一项掩盖的图像建模任务，以预识视觉变压器。具体而言，每个图像在我们的预训练中具有两个视图，即图像贴片（例如16x16像素）和视觉令牌（即离散令牌）。我们首先将原始图像“将”“令牌化”到视觉令牌中。然后，我们随机掩盖了一些图像补丁并将其喂入骨干变压器中。预训练的目标是根据损坏的图像补丁恢复原始的视觉令牌。在预训练BEIT之后，我们通过将任务层附加在预审计的编码器上，直接通过将任务层附加到下游任务上的模型参数。图像分类和语义分割的实验结果表明，我们的模型通过以前的预训练方法实现了竞争结果。例如，基本大小的BEIT在Imagenet-1K上获得了83.2％的TOP-1精度，并以相同的设置优于划痕DEIT训练（81.8％）。此外，大尺寸的BEIT仅使用Imagenet-1K获得86.3％，即使在Imagenet-22K上进行预训练（85.2％），甚至超过了VIT-L。代码和预估计的模型可在https://aka.ms/beit上找到。

本文探讨了贝尔视觉变压器预训练的更好的码本。最近的工作成功地转移了从NLP到视野领域的BERT预训练。它直接采用一个简单的离散VAE作为视觉销售器，但尚未考虑由此产生的视觉令牌的语义水平。相比之下，NLP字段中的离散令牌是自然的高度语义。这种差异激励我们学习一个感知码本。我们惊奇地找到了一个简单而有效的想法：在DVAE训练期间强制执行感知相似性。我们证明，所提出的感知码本生成的视觉令牌确实表现出更好的语义含义，随后有助于预训练在各种下游任务中实现卓越的转移性能。例如，我们在Imagenet-1K上实现了84.5前1个精度，vit-B骨干，优于竞争方法Beit +1.3，具有相同的训练纪元。它还可以通过+1.3框AP和+1.0掩模AP，在ADE20K上的语义细分，在ADE20K上提高对象检测和分割任务的性能，+1.0 miou，代码和型号将在\ url {https：// github.com/microsoft/peco}。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

在过去的几年中，基于自我注意力的变压器模型一直在主导许多计算机视觉任务。它们的出色模型质量在很大程度上取决于标记过多的图像数据集。为了减少对大型标记数据集的依赖，基于重建的掩盖自动编码器正在获得流行，这些自动编码器从未标记的图像中学习了高质量的可转移表示形式。出于同样的目的，最近弱监督的图像预处理方法探索了图像随附的文本字幕的语言监督。在这项工作中，我们提出了对语言辅助代表的预读图像，称为米兰。我们的预处理目标不是预测原始像素或低级别的特征，而是用使用字幕监督获得的大量语义信号来重建图像特征。此外，为了适应我们的重建目标，我们提出了更有效的促使解码器体系结构和语义意识到的掩码采样机制，从而进一步推进了预告片模型的传输性能。实验结果表明，米兰的精度比以前的工作更高。当掩盖的自动编码器在ImagEnet-1K数据集上进行了预估计并以224x224的输入分辨率进行了填充时，米兰在VITB/16上的前1位准确性达到了85.4％，使以前的先前最先前的艺术品达到1％。在下游的语义分割任务中，米兰在ADE20K数据集上使用VIT-B/16骨架达到52.7 MIOU，表现优于先前的蒙版预读结果4分。

我们提出蒙版频率建模（MFM），这是一种基于统一的基于频域的方法，用于自我监督的视觉模型预训练。在本文中，我们将视角转移到了频域中，而不是将蒙版令牌随机插入到空间域中的输入嵌入。具体而言，MFM首先掩盖了输入图像的一部分频率分量，然后预测频谱上的缺失频率。我们的关键见解是，由于沉重的空间冗余，预测频域中的屏蔽组件更理想地揭示了基础图像模式，而不是预测空间域中的掩盖斑块。我们的发现表明，通过对蒙版和预测策略的正确配置，高频组件中的结构信息和低频对应物中的低级统计信息都有用。 MFM首次证明，对于VIT和CNN，即使没有使用以下内容，简单的非叙事框架也可以学习有意义的表示形式：（i）额外的数据，（ii）额外的模型，（iii）蒙版令牌。与最近的蒙版图像建模方法相比，对成像网和几个鲁棒性基准的实验结果表明，MFM的竞争性能和高级鲁棒性。此外，我们还全面研究了从统一的频率角度来表示经典图像恢复任务对表示学习的有效性，并揭示了他们与MFM方法的有趣关系。项目页面：https：//www.mmlab-ntu.com/project/mfm/index.html。

图像BERT使用掩盖图像建模（MIM）预训练成为应对自我监督的表示学习的一种流行实践。一项开创性的作品将MIM作为一个视觉词汇作为分类任务，将连续的视觉信号用于离散的视觉令牌，并使用预先学习的DVAE将其标记为离散的视觉令牌。尽管有可行的解决方案，但不当离散化仍阻碍了图像预训练的进一步改善。由于图像离散化没有基本真相的答案，因此我们认为，即使可以获得更好的``令牌'''，也不应使用唯一的令牌ID分配蒙面的补丁。在这项工作中，我们引入了改进的BERT风格图像预训练方法，即MC-BEIT，该方法执行MIM代理任务，以放松和精致的多选择培训目标。 Specifically, the multi-choice supervision for the masked image patches is formed by the soft probability vectors of the discrete token ids, which are predicted by the off-the-shelf image ``tokenizer'' and further refined by high-level inter-补丁感知诉诸于观察到类似的补丁应该分享其选择。关于分类，分割和检测任务的广泛实验证明了我们方法的优势，例如，预先培训的VIT-B在Imagenet-1K分类上达到了84.1％的TOP-1微调精度，49.2％AP^B和44.0％对象检测和可可的实例分割的AP^m，在ADE20K语义分段上为50.8％，表现优于竞争性对应物。该代码将在https://github.com/lixiaotong97/mc-beit上找到。

大规模数据集的预培训模型，如想象成，是计算机视觉中的标准实践。此范例对于具有小型培训套的任务特别有效，其中高容量模型往往会过度装备。在这项工作中，我们考虑一个自我监督的预训练场景，只能利用目标任务数据。我们考虑数据集，如斯坦福汽车，草图或可可，这是比想象成小的数量的顺序。我们的研究表明，在本文中介绍的Beit或诸如Beit或Variant的去噪对预训练数据的类型和大小比通过比较图像嵌入来训练的流行自我监督方法更加强大。我们获得了竞争性能与ImageNet预训练相比，来自不同域的各种分类数据集。在Coco上，当专注于使用Coco Images进行预训练时，检测和实例分割性能超过了可比设置中的监督Imagenet预训练。

Vision-Language Transformers can be learned without human labels (e.g. class labels, bounding boxes, etc). Existing work, whether explicitly utilizing bounding boxes or patches, assumes that the visual backbone must first be trained on ImageNet class prediction before being integrated into a multimodal linguistic pipeline. We show that this is not necessary and introduce a new model Vision-Language from Captions (VLC) built on top of Masked Auto-Encoders that does not require this supervision. In fact, in a head-to-head comparison between ViLT, the current state-of-the-art patch-based vision-language transformer which is pretrained with supervised object classification, and our model, VLC, we find that our approach 1. outperforms ViLT on standard benchmarks, 2. provides more interpretable and intuitive patch visualizations, and 3. is competitive with many larger models that utilize ROIs trained on annotated bounding-boxes.

最近，蒙面图像建模（MIM）在自我监视的视觉识别方面取得了巨大的成功。但是，作为一个基于重建的框架，了解MIM的工作原理仍然是一个悬而未决的问题，因为MIM与以前研究过的暹罗方法（例如对比度学习）有很大不同。在本文中，我们提出了一个新的观点：MIM隐含地学习咬合不变特征，这与其他暹罗方法类似，而后者则学习其他不变性。通过将MIM公式放松为等效的暹罗形式，可以用常规方法在统一框架中解释MIM方法，其中只有a）数据转换，即学习什么不变性，b）相似性测量是不同的。此外，以Mae（He等）为MIM的一个代表性示例，我们从经验上发现MIM模型的成功与选择相似性功能的选择有点联系，但是蒙面图像引入了学习的咬合不变特征 - 事实证明对于视觉变压器来说，这是一个受欢迎的初始化，即使学习的功能可能不太语义。我们希望我们的发现能够激发研究人员在计算机视觉社区中开发更强大的自我监督方法。

本文提出了一个简单而有效的框架蒙版，该框架将新提出的掩盖自distillation纳入对比的语言图像预处理中。掩盖自distillation的核心思想是将表示从完整的图像提取到蒙版图像预测的表示形式。这种合并享有两个重要的好处。首先，掩盖的自我验证目标是本地贴片表示学习，这与视觉对比度的互补，专注于与文本相关的表示。二，掩盖的自我验证也与视觉语言对比符合训练目标的视野对比是一致的。视觉编码器用于功能对齐，因此能够学习本地语义从该语言中获得间接监督。我们提供了专门设计的实验，并进行了全面的分析，以验证这两个好处。从经验上讲，我们表明，当MaskClip应用于各种具有挑战性的下游任务时，可以在线性探测，填充和零拍摄中取得卓越的结果，并在语言编码器的指导下取得了卓越的结果。