数据混合（例如混合，cutmix，resizemix）是推进识别模型的重要组成部分。在本文中，我们专注于研究其在自我监督环境中的有效性。通过注意共享相同源图像的混合图像彼此内在相关，我们在此提议SDMP，缩写为$ \ textbf {s} $ imple $ \ textbf {d} $ ata $ \ ata $ \ textbf {m} $ ixing $ ixing $ \ textbf {p} $ rior，要捕获这个直接但必不可少的先验，并将混合图像定位为其他$ \ textbf {potition pairs} $，以促进自我监督的表示的学习。我们的实验验证了所提出的SDMP可以使数据混合有助于一组自学的学习框架（例如MoCo）实现更好的准确性和分布外的鲁棒性。更值得注意的是，我们的SDMP是成功利用数据混合以改善（而不是伤害）视觉变压器在自我监督的环境中的性能的第一种方法。代码可在https://github.com/oliverrensu/sdmp上公开获取

变压器出现为可视识别的强大工具。除了在广泛的视觉基准上展示竞争性能外，最近的作品还争辩说，变形金刚比卷曲神经网络（CNNS）更强大。令人惊讶的是，我们发现这些结论是从不公平的实验设置中得出的，其中变压器和CNN在不同的尺度上比较，并用不同的训练框架应用。在本文中，我们的目标是在变压器和CNN之间提供第一个公平和深入的比较，重点是鲁棒性评估。通过我们的统一培训设置，我们首先挑战以前的信念，使得在衡量对抗性鲁棒性时越来越多的CNN。更令人惊讶的是，如果他们合理地采用变形金刚的培训食谱，我们发现CNNS可以很容易地作为捍卫对抗性攻击的变形金刚。在关于推广样本的泛化的同时，我们显示了对（外部）大规模数据集的预训练不是对实现变压器来实现比CNN更好的性能的根本请求。此外，我们的消融表明，这种更强大的概括主要受到变压器的自我关注架构本身的影响，而不是通过其他培训设置。我们希望这项工作可以帮助社区更好地理解和基准变压器和CNN的鲁棒性。代码和模型在https://github.com/ytongbai/vits-vs-cnns上公开使用。

最近的蒙版图像建模（MIM）在自我监督学习（SSL）中受到了很多关注，该学习要求目标模型恢复输入图像的掩盖部分。尽管基于MIM的预训练方法在转移到许多下游任务时达到了新的最新性能，但可视化表明，与基于基于对比性学习预训练相比，学习的表示形式不可分割，尤其是相比。这激发了我们思考MIM预培训表示的线性可分离性是否可以进一步改善，从而改善了训练的性能。由于MIM和对比度学习倾向于利用不同的数据增强和培训策略，因此将这两个借口任务结合起来并不是微不足道的。在这项工作中，我们提出了一个新颖而灵活的预训练框架，名为Mimco，该框架通过两阶段的预培训结合了MIM和对比度学习。具体而言，MIMCO将预先训练的对比学习模型作为教师模型，并通过两种类型的学习目标进行了预培训：贴片级和图像级的重建损失。关于下游任务的广泛转移实验证明了我们的MIMCO预训练框架的出色表现。以VIT-S为例，当使用预先训练的MoCov3-Vit-S作为教师模型时，Mimco只需要100个时期的预训练时期即可达到Imagenet-1K上的82.53％Top-1 FineTuning精度，这表现优于表现最先进的自我监督学习对手。

This paper does not describe a novel method. Instead, it studies a straightforward, incremental, yet must-know baseline given the recent progress in computer vision: selfsupervised learning for Vision Transformers (ViT). While the training recipes for standard convolutional networks have been highly mature and robust, the recipes for ViT are yet to be built, especially in the self-supervised scenarios where training becomes more challenging. In this work, we go back to basics and investigate the effects of several fundamental components for training self-supervised ViT. We observe that instability is a major issue that degrades accuracy, and it can be hidden by apparently good results. We reveal that these results are indeed partial failure, and they can be improved when training is made more stable. We benchmark ViT results in MoCo v3 and several other selfsupervised frameworks, with ablations in various aspects. We discuss the currently positive evidence as well as challenges and open questions. We hope that this work will provide useful data points and experience for future research.

最近先进的无监督学习方法使用暹罗样框架来比较来自同一图像的两个“视图”以进行学习表示。使两个视图独特是一种保证无监督方法可以学习有意义的信息的核心。但是，如果使用用于生成两个视图的增强不足够强度，此类框架有时会易碎过度装备，导致培训数据上的过度自信的问题。此缺点会阻碍模型，从学习微妙方差和细粒度信息。为了解决这个问题，在这项工作中，我们的目标是涉及在无监督的学习中的标签空间上的距离概念，并让模型通过混合输入数据空间来了解正面或负对对之间的柔和程度，以便协同工作输入和损耗空间。尽管其概念性简单，我们凭借解决的解决方案 - 无监督图像混合（UN-MIX），我们可以从转换的输入和相应的新标签空间中学习Subtler，更强大和广义表示。广泛的实验在CiFar-10，CiFar-100，STL-10，微小的想象和标准想象中进行了流行的无人监督方法SIMCLR，BYOL，MOCO V1和V2，SWAV等。我们所提出的图像混合物和标签分配策略可以获得一致的改进在完全相同的超参数和基础方法的培训程序之后1〜3％。代码在https://github.com/szq0214/un-mix上公开提供。

尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

最近在自我监督学习中的最先进的框架最近表明，与传统的CNN型号相比，基于变压器的模型可以导致性能提升。繁荣以最大化图像的两个视图的相互信息，现有的作品对最终陈述具有对比损失。在我们的工作中，我们通过通过对比损失允许中间表示从最终层学习来进一步利用这一点，这可以最大化原始目标的上限和两层之间的相互信息。我们的方法，自蒸馏自我监督学习（SDSSL），胜过竞争基础（SIMCLR，BYOL和MOCO V3）使用各种任务和数据集。在线性评估和K-NN协议中，SDSSL不仅导致最终层的性能优异，而且在大多数下层中也是如此。此外，正负对准用于解释如何更有效地形成表示。代码将可用。

本文研究了从预先训练的模型，尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单：除了优化掩盖输入的像素重建损失外，我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。此设计导致一个计算高效的知识蒸馏框架，给定1）仅使用一个少量可见的补丁子集，2）（笨拙的）教师模型仅需要部分执行，\ ie，\ ie，在前几个中，向前传播输入层，用于获得中间特征图。与直接蒸馏微型模型相比，提炼预训练的模型显着改善了下游性能。例如，通过将知识从MAE预先训练的VIT-L提炼为VIT-B，我们的方法可实现84.0％的Imagenet Top-1精度，表现优于直接将微型VIT-L蒸馏的基线，降低1.2％。更有趣的是，我们的方法即使具有极高的掩盖率也可以从教师模型中进行鲁棒性蒸馏：例如，在蒸馏过程中仅可见十个斑块，我们的VIT-B具有竞争力的前1个Imagenet精度为83.6％，在95％的掩盖率中，只有十个斑块。 ;令人惊讶的是，它仍然可以通过仅四个可见斑（98％的掩盖率）积极训练来确保82.4％的Top-1 Imagenet精度。代码和模型可在https://github.com/ucsc-vlaa/dmae上公开获得。

我们研究视觉变压器（VIT）的半监督学习（SSL），尽管VIT架构广泛采用了不同的任务，但视觉变形金刚（VIT）还是一个不足的主题。为了解决这个问题，我们提出了一条新的SSL管道，该管道由第一个联合国/自制的预训练组成，然后是监督的微调，最后是半监督的微调。在半监督的微调阶段，我们采用指数的移动平均线（EMA） - 教师框架，而不是流行的FixMatch，因为前者更稳定，并且为半手不见的视觉变压器提供了更高的准确性。此外，我们提出了一种概率的伪混合机制来插入未标记的样品及其伪标签以改善正则化，这对于训练电感偏差较弱的训练VIT很重要。我们所提出的方法被称为半vit，比半监督分类设置中的CNN对应物获得可比性或更好的性能。半vit还享受VIT的可伸缩性优势，可以很容易地扩展到具有越来越高的精度的大型模型。例如，半效率总数仅使用1％标签在Imagenet上获得令人印象深刻的80％TOP-1精度，使用100％ImageNet标签与Inception-V4相当。

语言变形金刚的成功主要归因于屏蔽语言建模（MLM）的借口任务，其中文本首先被致以语义有意义的作品。在这项工作中，我们研究了蒙面图像建模（MIM），并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT，可以使用在线标记器执行蒙版预测。具体而言，我们在蒙面的补丁令牌上进行自我蒸馏，并将教师网络作为在线标记器，以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习，销售器需要预先预先培训。通过在Imagenet-1K上达到81.6％的线性探测精度和86.3％的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外，我们强调了新兴的局部语义模式，这有助于模型对共同损坏获得强大的鲁棒性，并在密集的下游任务中实现领先的结果，例如，对象检测，实例分割和语义细分。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

混合是深度神经网络的流行数据依赖性增强技术，其包含两个子任务，混合生成和分类。社区通常将混合限制在监督学习（SL）中，并且生成子任务的目的是固定到采样的对，而不是考虑整个数据歧管。为了克服这些限制，我们系统地研究了两个子任务的目标，并为SL和自我监督的学习（SSL）方案，命名为Samix的两个子任务和提出情景 - 激动化混合。具体而言，我们假设并验证混合生成的核心目标，因为优化来自其他类别的全球歧视的两个类之间的局部平滑度。基于这一发现，提出了$ \ eta $ -Balanced混合丢失，以进行两个子任务的互补培训。同时，生成子任务被参数化为可优化的模块，混音器，其利用注意机制来生成混合样本而无需标记依赖性。对SL和SSL任务的广泛实验表明SAMIX始终如一地优于大边距。

Recent research has reported a performance degradation in self-supervised contrastive learning for specially designed efficient networks, such as MobileNet and EfficientNet. A common practice to address this problem is to introduce a pretrained contrastive teacher model and train the lightweight networks with distillation signals generated by the teacher. However, it is time and resource consuming to pretrain a teacher model when it is not available. In this work, we aim to establish a stronger baseline for lightweight contrastive models without using a pretrained teacher model. Specifically, we show that the optimal recipe for efficient models is different from that of larger models, and using the same training settings as ResNet50, as previous research does, is inappropriate. Additionally, we observe a common issu e in contrastive learning where either the positive or negative views can be noisy, and propose a smoothed version of InfoNCE loss to alleviate this problem. As a result, we successfully improve the linear evaluation results from 36.3\% to 62.3\% for MobileNet-V3-Large and from 42.2\% to 65.8\% for EfficientNet-B0 on ImageNet, closing the accuracy gap to ResNet50 with $5\times$ fewer parameters. We hope our research will facilitate the usage of lightweight contrastive models.

视觉变形金刚最近的成功是在图像识别中挥舞着卷积神经网络（CNN）的长期优势。具体而言，就稳健性而言，最近的研究发现，无论训练设置如何，变压器本质上比CNN更强大。此外，人们认为，变形金刚的这种优越性应该在很大程度上被认为是他们的自我注意力型建筑本身。在本文中，我们通过密切研究变压器的设计来质疑这种信念。我们的发现导致了三种高效的体系结构设计，以提高鲁棒性，但很简单，可以在几行代码中实现，即a）修补输入图像，b）扩大内核大小，c）降低激活层和归一化层。将这些组件融合在一起，我们能够构建纯CNN体系结构，而没有任何类似注意力的操作，这些操作比变形金刚更强大，甚至更健壮。我们希望这项工作可以帮助社区更好地了解强大的神经体系结构的设计。该代码可在https://github.com/ucsc-vlaa/robustcnn上公开获得。

最近对比学习在从未标记数据学习视觉表现方面表现出显着进展。核心思想正在培训骨干，以不变的实例的不同增强。虽然大多数方法只能最大化两个增强数据之间的特征相似性，但我们进一步产生了更具挑战性的训练样本，并强迫模型继续预测这些硬样品上的判别表示。在本文中，我们提出了Mixsiam，传统暹罗网络的混合方法。一方面，我们将实例的两个增强图像输入到骨干，并通过执行两个特征的元素最大值来获得辨别结果。另一方面，我们将这些增强图像的混合物作为输入，并期望模型预测接近鉴别的表示。以这种方式，模型可以访问实例的更多变体数据样本，并继续预测它们的不变判别表示。因此，与先前的对比学习方法相比，学习模型更加强大。大型数据集的广泛实验表明，Mixsiam稳步提高了基线，并通过最先进的方法实现了竞争结果。我们的代码即将发布。

Masked image modelling (e.g., Masked AutoEncoder) and contrastive learning (e.g., Momentum Contrast) have shown impressive performance on unsupervised visual representation learning. This work presents Masked Contrastive Representation Learning (MACRL) for self-supervised visual pre-training. In particular, MACRL leverages the effectiveness of both masked image modelling and contrastive learning. We adopt an asymmetric setting for the siamese network (i.e., encoder-decoder structure in both branches), where one branch with higher mask ratio and stronger data augmentation, while the other adopts weaker data corruptions. We optimize a contrastive learning objective based on the learned features from the encoder in both branches. Furthermore, we minimize the $L_1$ reconstruction loss according to the decoders' outputs. In our experiments, MACRL presents superior results on various vision benchmarks, including CIFAR-10, CIFAR-100, Tiny-ImageNet, and two other ImageNet subsets. Our framework provides unified insights on self-supervised visual pre-training and future research.

自我监督方法的下游精度与在训练过程中解决的代理任务以及从中提取的梯度的质量紧密相关。更丰富，更有意义的梯度更新是允许自我监督的方法以更有效的方式学习的关键。在典型的自我验证框架中，两个增强图像的表示在全球层面是连贯的。尽管如此，将本地线索纳入代理任务可能是有益的，并提高了下游任务的模型准确性。这导致了一个双重目标，一方面，全球代表之间的连贯性是强大的，另一方面，在本地代表之间的一致性得到了强大的一致性。不幸的是，两组局部代表之间的确切对应映射并不存在，这使得将局部代表从一个增强到另一个不平凡的任务匹配。我们建议利用输入图像中的空间信息获得几何匹配，并根据基于相似性匹配的几何方法与以前的方法进行比较。我们的研究表明，不仅1）几何匹配的表现优于低数据表格中的基于相似性的匹配，而且还有2）与没有局部自我验证的香草基线相比，基于相似性的匹配在低数据方面受到了极大的伤害。该代码将在接受后发布。

尽管增加了大量的增强家庭，但只有几个樱桃采摘的稳健增强政策有利于自我监督的图像代表学习。在本文中，我们提出了一个定向自我监督的学习范式（DSSL），其与显着的增强符号兼容。具体而言，我们在用标准增强的视图轻度增强后调整重增强策略，以产生更难的视图（HV）。 HV通常具有与原始图像较高的偏差而不是轻度增强的标准视图（SV）。与以前的方法不同，同等对称地将所有增强视图对称地最大化它们的相似性，DSSL将相同实例的增强视图视为部分有序集（具有SV $ \ LeftrightArrow $ SV，SV $ \左路$ HV），然后装备一个定向目标函数尊重视图之间的衍生关系。 DSSL可以轻松地用几行代码实现，并且对于流行的自我监督学习框架非常灵活，包括SIMCLR，Simsiam，Byol。对CiFar和Imagenet的广泛实验结果表明，DSSL可以稳定地改善各种基线，其兼容性与更广泛的增强。