对计算机视觉的自我监督学习取得了巨大的进步，并改善了许多下游视觉任务，例如图像分类，语义细分和对象检测。其中，诸如MAE和Beit之类的生成性自我监督的视力学习方法显示出令人鼓舞的表现。但是，它们的全球掩盖重建机制在计算上是要求的。为了解决这个问题，我们提出了本地蒙版重建（LOMAR），这是一种简单而有效的方法，在一个简单的变压器编码器上的7 $ \ times $ 7补丁中执行蒙版重建，从而提高了效率和准确性之间的权衡。在整个图像上全局掩盖重建。广泛的实验表明，Lomar在Imagenet-1K分类方面达到了84.1％的TOP-1准确性，优于MAE的MAE比0.5％。在以384 $ \ times $ 384的图像为审计的LOMAR进行了预审经后，它可以达到85.4％的TOP-1准确性，超过MAE的0.6％。在MS Coco上，Lomar在0.5 $ \ text {ap}^\ text {box} $上以0.5 $ \ text {ap}^\ text {box} $的优势在对象检测上和0.5 $ \ text {ap}^\ text^\ text {bask} $上的实例段上。 Lomar在预处理的高分辨率图像上特别有效，例如，它比MAE快3.1 $ \ times $，分类准确性为448 $ \ times $ 448 $ 448。这种本地掩盖的重建学习机制可以轻松地集成到任何其他生成的自我监督学习方法中。我们的代码可在https://github.com/junchen14/lomar中公开获得。

在这项研究中，我们提出了混合图像建模（MixMim），这是一种适用于各种分层视觉变压器的简单但有效的MIM方法。现有的MIM方法用特殊的掩码符号替换输入令牌的随机子集，并旨在从损坏的图像中重建原始图像令牌。但是，我们发现，由于较大的掩蔽率（例如，Beit中的40％），使用蒙版符号会大大减慢训练并引起训练 - 不一致的不一致。相比之下，我们用另一个图像的可见令牌（即创建混合图像）代替一个图像的蒙版令牌。然后，我们进行双重重建以从混合输入中重建原始的两个图像，从而显着提高效率。虽然MixMim可以应用于各种体系结构，但本文探讨了更简单但更强的层次变压器，并使用MixMim -B，-L和-H缩放。经验结果表明，混合mim可以有效地学习高质量的视觉表示。值得注意的是，具有88M参数的MixMIM-B通过预处理600个时期的Imagenet-1k上的TOP-1精度达到了85.1％的TOP-1精度，在MIM方法中为具有可比模型尺寸（例如VIT-B）的神经网络创造了新的记录。此外，其在其他6个数据集上的传输性能显示MixMim比以前的MIM方法更好。代码可从https://github.com/sense-x/mixmim获得。

本文显示屏蔽的自动化器（MAE）是可扩展的自我监督学习者，用于计算机愿景。我们的MAE方法很简单：我们掩盖输入图像的随机补丁并重建缺失像素。它基于两个核心设计。首先，我们开发一个不对称的编码器解码器架构，其中编码器仅在掩码的可见子集（没有掩码令牌）上，以及重量解码器，该重量解码器从潜像和掩码令牌重建原始图像。其次，我们发现掩蔽了高比例的输入图像，例如，75％，产生非凡和有意义的自我监督任务。耦合这两种设计使我们能够有效且有效地培训大型模型：我们加速培训（3倍或更多）并提高准确性。我们可扩展的方法允许学习概括的高容量模型：例如，Vanilla Vit-Maxim模型在使用Imagenet-1K数据的方法中实现最佳准确性（87.8％）。下游任务中的转移性能优于监督预培训并显示有前途的缩放行为。

The combination of transformers and masked image modeling (MIM) pre-training framework has shown great potential in various vision tasks. However, the pre-training computational budget is too heavy and withholds the MIM from becoming a practical training paradigm. This paper presents FastMIM, a simple and generic framework for expediting masked image modeling with the following two steps: (i) pre-training vision backbones with low-resolution input images; and (ii) reconstructing Histograms of Oriented Gradients (HOG) feature instead of original RGB values of the input images. In addition, we propose FastMIM-P to progressively enlarge the input resolution during pre-training stage to further enhance the transfer results of models with high capacity. We point out that: (i) a wide range of input resolutions in pre-training phase can lead to similar performances in fine-tuning phase and downstream tasks such as detection and segmentation; (ii) the shallow layers of encoder are more important during pre-training and discarding last several layers can speed up the training stage with no harm to fine-tuning performance; (iii) the decoder should match the size of selected network; and (iv) HOG is more stable than RGB values when resolution transfers;. Equipped with FastMIM, all kinds of vision backbones can be pre-trained in an efficient way. For example, we can achieve 83.8%/84.1% top-1 accuracy on ImageNet-1K with ViT-B/Swin-B as backbones. Compared to previous relevant approaches, we can achieve comparable or better top-1 accuracy while accelerate the training procedure by $\sim$5$\times$. Code can be found in https://github.com/ggjy/FastMIM.pytorch.

蒙面的自动编码器是可扩展的视觉学习者，因为Mae \ Cite {He2022masked}的标题表明，视觉中的自我监督学习（SSL）可能会采用与NLP中类似的轨迹。具体而言，具有蒙版预测（例如BERT）的生成借口任务已成为NLP中的事实上的标准SSL实践。相比之下，他们的歧视性对应物（例如对比度学习）掩埋了视力中的生成方法的早期尝试；但是，蒙版图像建模的成功已恢复了屏蔽自动编码器（过去通常被称为DeNosing AutoCoder）。作为在NLP中与Bert弥合差距的一个里程碑，蒙面自动编码器吸引了对SSL在视觉及其他方面的前所未有的关注。这项工作对蒙面自动编码器进行了全面的调查，以洞悉SSL的有希望的方向。作为第一个使用蒙版自动编码器审查SSL的人，这项工作通过讨论其历史发展，最新进度以及对不同应用的影响，重点介绍其在视觉中的应用。

在过去的几年中，基于自我注意力的变压器模型一直在主导许多计算机视觉任务。它们的出色模型质量在很大程度上取决于标记过多的图像数据集。为了减少对大型标记数据集的依赖，基于重建的掩盖自动编码器正在获得流行，这些自动编码器从未标记的图像中学习了高质量的可转移表示形式。出于同样的目的，最近弱监督的图像预处理方法探索了图像随附的文本字幕的语言监督。在这项工作中，我们提出了对语言辅助代表的预读图像，称为米兰。我们的预处理目标不是预测原始像素或低级别的特征，而是用使用字幕监督获得的大量语义信号来重建图像特征。此外，为了适应我们的重建目标，我们提出了更有效的促使解码器体系结构和语义意识到的掩码采样机制，从而进一步推进了预告片模型的传输性能。实验结果表明，米兰的精度比以前的工作更高。当掩盖的自动编码器在ImagEnet-1K数据集上进行了预估计并以224x224的输入分辨率进行了填充时，米兰在VITB/16上的前1位准确性达到了85.4％，使以前的先前最先前的艺术品达到1％。在下游的语义分割任务中，米兰在ADE20K数据集上使用VIT-B/16骨架达到52.7 MIOU，表现优于先前的蒙版预读结果4分。

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

我们提出了引导蒙面的自动编码器（bootmae），这是一种新的视觉BERT预训练方法。 Bootmae用两个核心设计改进了原始的蒙版自动编码器（MAE）：1）动量编码器，该动量编码器可作为额外的BERT预测目标提供在线功能； 2）试图降低编码器的压力以记住目标特定信息的靶向解码器。第一个设计的动机是通过观察到的，即使用预定的MAE提取特征，因为掩盖令牌的BERT预测目标可以实现更好的预训练性能。因此，我们与原始的MAE编码器并行添加了一个动量编码器，该编码器通过将其自己的表示作为BERT预测目标来引导预处理性能。在第二个设计中，我们将特定于目标的信息（例如，未掩盖贴片的像素值）直接传达到解码器中，以减少记住目标特定信息的编码器的压力。因此，编码器专注于语义建模，这是BERT预训练的目的，并且不需要浪费其在记住与预测目标相关的未掩盖令牌的信息时的能力。通过广泛的实验，我们的Bootmae在ImageNet-1k上获得了$ 84.2 \％$ $ $ $+0.8 \％$在同一预训练时期。 Bootmae还获得了$+1.0 $ MIOU在ADE20K上的语义细分和$+1.3 $ box ap，$+1.4 $+1.4 $ bask ap改进对象检测和可可数据集上的细分。代码在https://github.com/lightdxy/bootmae上发布。

Autoregressive language modeling (ALM) have been successfully used in self-supervised pre-training in Natural language processing (NLP). However, this paradigm has not achieved comparable results with other self-supervised approach in computer vision (e.g., contrastive learning, mask image modeling). In this paper, we try to find the reason why autoregressive modeling does not work well on vision tasks. To tackle this problem, we fully analyze the limitation of visual autoregressive methods and proposed a novel stochastic autoregressive image modeling (named SAIM) by the two simple designs. First, we employ stochastic permutation strategy to generate effective and robust image context which is critical for vision tasks. Second, we create a parallel encoder-decoder training process in which the encoder serves a similar role to the standard vision transformer focus on learning the whole contextual information, and meanwhile the decoder predicts the content of the current position, so that the encoder and decoder can reinforce each other. By introducing stochastic prediction and the parallel encoder-decoder, SAIM significantly improve the performance of autoregressive image modeling. Our method achieves the best accuracy (83.9%) on the vanilla ViT-Base model among methods using only ImageNet-1K data. Transfer performance in downstream tasks also show that our model achieves competitive performance.

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

由于其最近在减少监督学习的差距方面取得了成功，自我监督的学习方法正在增加计算机愿景的牵引力。在自然语言处理（NLP）中，自我监督的学习和变形金刚已经是选择的方法。最近的文献表明，变压器也在计算机愿景中越来越受欢迎。到目前为止，当使用大规模监督数据或某种共同监督时，视觉变压器已被证明可以很好地工作。在教师网络方面。这些监督的普试视觉变压器在下游任务中实现了非常好的变化，变化最小。在这项工作中，我们调查自我监督学习的预用图像/视觉变压器，然后使用它们进行下游分类任务的优点。我们提出了自我监督的视觉变压器（坐在）并讨论了几种自我监督的培训机制，以获得借口模型。静坐的架构灵活性允许我们将其用作自动统计器，并无缝地使用多个自我监控任务。我们表明，可以在小规模数据集上进行预训练，以便在小型数据集上进行下游分类任务，包括几千个图像而不是数百万的图像。使用公共协议对所提出的方法进行评估标准数据集。结果展示了变压器的强度及其对自我监督学习的适用性。我们通过大边缘表现出现有的自我监督学习方法。我们还观察到坐着很好，很少有镜头学习，并且还表明它通过简单地训练从坐的学到的学习功能的线性分类器来学习有用的表示。预先训练，FineTuning和评估代码将在以下：https://github.com/sara-ahmed/sit。

最近，蒙面图像建模（MIM）由于其能力从大量未标记的数据中学习而引起了人们的关注，并且已被证明对涉及自然图像的各种视觉任务有效。同时，由于未标记的图像的数量高，预计3D医学图像中的自我监督学习的潜力预计将是巨大的，以及质量标签的费用和困难。但是，MIM对医学图像的适用性仍然不确定。在本文中，我们证明了掩盖的图像建模方法还可以推进3D医学图像分析，除了自然图像。我们研究掩盖图像建模策略如何从3D医学图像分割的角度利用性能作为代表性的下游任务：i）与天真的对比度学习相比，蒙版的图像建模方法可以加快监督培训的收敛性，甚至更快（1.40美元$ \ times $ \ times $ $ $ ）并最终产生更高的骰子分数； ii）预测具有较高掩盖比和相对较小的贴片大小的原始体素值是用于医学图像建模的非平凡的自我监督借口任务； iii）重建的轻质解码器或投影头设计对于3D医学图像上的掩盖图像建模非常有力，该图像加快了训练并降低成本； iv）最后，我们还研究了在不同的实际情况下使用不同图像分辨率和标记的数据比率的MIM方法的有效性。

本文探讨了贝尔视觉变压器预训练的更好的码本。最近的工作成功地转移了从NLP到视野领域的BERT预训练。它直接采用一个简单的离散VAE作为视觉销售器，但尚未考虑由此产生的视觉令牌的语义水平。相比之下，NLP字段中的离散令牌是自然的高度语义。这种差异激励我们学习一个感知码本。我们惊奇地找到了一个简单而有效的想法：在DVAE训练期间强制执行感知相似性。我们证明，所提出的感知码本生成的视觉令牌确实表现出更好的语义含义，随后有助于预训练在各种下游任务中实现卓越的转移性能。例如，我们在Imagenet-1K上实现了84.5前1个精度，vit-B骨干，优于竞争方法Beit +1.3，具有相同的训练纪元。它还可以通过+1.3框AP和+1.0掩模AP，在ADE20K上的语义细分，在ADE20K上提高对象检测和分割任务的性能，+1.0 miou，代码和型号将在\ url {https：// github.com/microsoft/peco}。

蒙面自动编码在图像和语言领域的自我监督学习方面取得了巨大的成功。但是，基于面具的预处理尚未显示出对点云理解的好处，这可能是由于PointNet（PointNet）无法正确处理训练的标准骨架，而不是通过训练期间掩盖引入的测试分配不匹配。在本文中，我们通过提出一个判别性掩码式变压器框架，maskPoint}来弥合这一差距。我们的关键想法是将点云表示为离散的占用值（1如果点云的一部分；如果不是的，则为0），并在蒙版对象点和采样噪声点之间执行简单的二进制分类作为代理任务。这样，我们的方法是对点云中的点采样差异的强大，并促进了学习丰富的表示。我们在几个下游任务中评估了验证的模型，包括3D形状分类，分割和现实词对象检测，并展示了最新的结果，同时获得了明显的预读速度（例如，扫描仪上的4.1倍）先前的最新变压器基线。代码可在https://github.com/haotian-liu/maskpoint上找到。

大规模数据集的预培训模型，如想象成，是计算机视觉中的标准实践。此范例对于具有小型培训套的任务特别有效，其中高容量模型往往会过度装备。在这项工作中，我们考虑一个自我监督的预训练场景，只能利用目标任务数据。我们考虑数据集，如斯坦福汽车，草图或可可，这是比想象成小的数量的顺序。我们的研究表明，在本文中介绍的Beit或诸如Beit或Variant的去噪对预训练数据的类型和大小比通过比较图像嵌入来训练的流行自我监督方法更加强大。我们获得了竞争性能与ImageNet预训练相比，来自不同域的各种分类数据集。在Coco上，当专注于使用Coco Images进行预训练时，检测和实例分割性能超过了可比设置中的监督Imagenet预训练。

本文研究了基于图像的蒙版自动编码器（MAE）的简单扩展，以从音频谱图中学习自我监督的表示。在MAE中的变压器编码器编码器设计之后，我们的Audio-MAE首先编码具有较高遮罩比的音频谱图斑块，仅通过编码器层馈入非掩盖令牌。然后，解码器重新订购并解码编码的上下文，并用掩码令牌填充，以重建输入频谱图。我们发现将局部窗户注意力纳入解码器是有益的，因为音频谱图在当地时间和频带中高度相关。然后，我们在目标数据集上以较低的掩模比微调编码器。从经验上讲，音频MAE在六个音频和语音分类任务上设定了新的最先进的性能，超过了使用外部监督预训练的其他最新模型。代码和模型将在https://github.com/facebookresearch/audiomae上。

It has been witnessed that masked image modeling (MIM) has shown a huge potential in self-supervised learning in the past year. Benefiting from the universal backbone vision transformer, MIM learns self-supervised visual representations through masking a part of patches of the image while attempting to recover the missing pixels. Most previous works mask patches of the image randomly, which underutilizes the semantic information that is beneficial to visual representation learning. On the other hand, due to the large size of the backbone, most previous works have to spend much time on pre-training. In this paper, we propose \textbf{Attention-driven Masking and Throwing Strategy} (AMT), which could solve both problems above. We first leverage the self-attention mechanism to obtain the semantic information of the image during the training process automatically without using any supervised methods. Masking strategy can be guided by that information to mask areas selectively, which is helpful for representation learning. Moreover, a redundant patch throwing strategy is proposed, which makes learning more efficient. As a plug-and-play module for masked image modeling, AMT improves the linear probing accuracy of MAE by $2.9\% \sim 5.9\%$ on CIFAR-10/100, STL-10, Tiny ImageNet, and ImageNet-1K, and obtains an improved performance with respect to fine-tuning accuracy of MAE and SimMIM. Moreover, this design also achieves superior performance on downstream detection and segmentation tasks.

自我监督学习（SSL）在各种下游视觉任务上表现出色。已经提出了两个主流SSL框架，即实例歧视（ID）和蒙版图像建模（MIM）。 ID从同一图像中汇总了不同视图的表示，同时避免了特征崩溃。它在线性探测器上表现良好，但在检测性能方面较低。另一方面，MIM重建了给定的蒙版图像的原始内容。它在密集的预测下表现出色，但在线性探测方面表现不佳。它们的区别是由于忽略语义一致性或空间敏感性的表示要求而引起的。具体而言，我们观察到（1）语义对齐要求在语义上相似的观点要投影到附近的代表中，这可以通过将不同的观点与强烈的增强进行对比来实现； （2）空间灵敏度需要对图像中的局部结构进行建模。因此，用掩盖图像预测致密表示是有益的，因为它模拟了图像含量的条件分布。在这些分析的驱动下，我们提出了暹罗图像建模（SIM），该图像模型（SIM）预测了增强视图的密集表示，基于来自同一图像的另一种掩盖视图，但具有不同的增强。我们的方法使用一个带有两个分支的暹罗网络。在线分支编码第一个视图，并根据这两个视图之间的相对位置预测第二视图的表示。目标分支通过编码第二视图来产生目标。通过这种方式，我们能够分别使用ID和MIM实现可比的线性探测和密集的预测性能。我们还证明，可以在没有全球损失的情况下获得体面的线性探测结果。代码应在https://github.com/fundamentalvision/siamese-image-modeling上发布。

深度神经网络能够学习强大的表示以应对复杂的视觉任务，但揭示了不合适的问题等不良属性。为此，深层神经网络等正规化技术诸如图像增强是必要的。然而，大多数普遍的图像增强食谱都局限于现成的线性转换，例如刻度，翻转和颜色jitter。由于其手工制作的财产，这些增强不足以产生真正的硬增强示例。在本文中，我们提出了一种新颖的增强视角，以使培训过程正常。受到将蒙版图像建模应用于自我监督学习的最新成功的启发，我们采用了自我监督的蒙版自动编码器来生成输入图像的扭曲视图。我们表明，利用这种基于模型的非线性转换作为数据增强可以改善高级识别任务。我们将提出的方法称为\ textbf {m} ask- \ textbf {r} econstruct \ textbf {a} u gengementation（mra）。各种图像分类基准的广泛实验验证了提出的增强的有效性。具体而言，MRA始终提高受监督，半监督和少量分类的性能。该代码将在\ url {https://github.com/haohang96/mra}上提供。

由于具有强大的代表性，变形金刚在包括自然语言处理（NLP），计算机视觉和语音识别在内的广泛应用中越来越受欢迎。但是，利用这种代表性的能力有效地需要大量的数据，强大的正则化或两者兼而有之以减轻过度拟合。最近，基于掩盖的自动编码器的自我监督预处理策略已解锁了变压器的功能，这些策略依赖于直接或从未掩盖的内容对比的掩蔽输入进行重建。这种预训练的策略已在NLP中的BERT模型，Speak2VEC模型中使用，最近在Vision中的MAE模型中，该模型迫使该模型使用自动编码相关的目标来了解输入不同部分中的内容之间的关系。在本文中，我们提出了一种小说但令人惊讶的简单替代内容，以预测内容的位置，而无需为其提供位置信息。这样做需要变压器仅凭内容就可以理解输入不同部分之间的位置关系。这相当于有效的实现，其中借口任务是每个输入令牌所有可能位置之间的分类问题。我们在视觉和语音基准上进行了实验，我们的方法对强有力的监督训练基准进行了改进，并且与现代的无监督/自我监督预审方法相媲美。我们的方法还可以使经过训练的变压器在没有位置嵌入的情况下胜过训练有完整位置信息的训练的变压器。