在目前的工作中，我们表明，公式驱动的监督学习（FDSL）的表现可以匹配甚至超过Imagenet-21K的表现，而无需在视觉预训练期间使用真实的图像，人类和自我选择变压器（VIT）。例如，在ImagEnet-21K上预先训练的VIT-BASE在ImagEnet-1K上进行微调时，在ImagEnet-1K和FDSL上进行微调时显示了81.8％的TOP-1精度，当在相同条件下进行预训练时（图像数量，数量，，图像数量，超参数和时期数）。公式产生的图像避免了隐私/版权问题，标记成本和错误以及真实图像遭受的偏见，因此具有巨大的预训练通用模型的潜力。为了了解合成图像的性能，我们测试了两个假设，即（i）对象轮廓是FDSL数据集中重要的，（ii）创建标签的参数数量增加会影响FDSL预训练的性能改善。为了检验以前的假设，我们构建了一个由简单对象轮廓组合组成的数据集。我们发现该数据集可以匹配分形的性能。对于后一种假设，我们发现增加训练任务的难度通常会导致更好的微调准确性。

现代计算机视觉系统中使用的深度神经网络需要巨大的图像数据集来训练它们。这些仔细策划的数据集通常具有百万或更多的图像，跨越千分之一或更多的不同类别。创建和策划此类数据集的过程是一个巨大的承诺，要求广泛的努力和标签费用，并需要仔细导航技术和社会问题，如标签准确性，版权所有权和内容偏见。如果我们有一种方法来利用大型图像数据集的力量，但有很少或没有主要问题和目前面临的关注点？本文扩展了KataOka et的最近工作。 al。 （2020），提出基于动态生成的分形图像的改进的预训练数据集。大规模图像数据集的挑战性问题成为分形预训练的优雅点：完美的标签精度为零成本;无需存储/传输大图像档案;没有隐私/人口统计偏见/不适当内容的疑虑，因为没有人类被描绘;无限的图像供应和多样性;图像是空闲/开源。也许令人惊讶的是，避免这些困难只会在表现中征收小额罚款。利用新建的预训练任务 - 多实例预测 - 我们的实验表明，微调使用分形预先培训的网络培训的网络预先培训网络的准确性的92.7-98.1％。

最近自我监督学习成功的核心组成部分是裁剪数据增强，其选择要在自我监督损失中用作正视图的图像的子区域。底层假设是给定图像的随机裁剪和调整大小的区域与感兴趣对象的信息共享信息，其中学习的表示将捕获。这种假设在诸如想象网的数据集中大多满足，其中存在大，以中心为中心的对象，这很可能存在于完整图像的随机作物中。然而，在诸如OpenImages或Coco的其他数据集中，其更像是真实世界未保健数据的代表，通常存在图像中的多个小对象。在这项工作中，我们表明，基于通常随机裁剪的自我监督学习在此类数据集中表现不佳。我们提出用从对象提案算法获得的作物取代一种或两种随机作物。这鼓励模型学习对象和场景级别语义表示。使用这种方法，我们调用对象感知裁剪，导致对分类和对象检测基准的场景裁剪的显着改进。例如，在OpenImages上，我们的方法可以使用基于Moco-V2的预训练来实现8.8％的提高8.8％地图。我们还显示了对Coco和Pascal-Voc对象检测和分割任务的显着改善，通过最先进的自我监督的学习方法。我们的方法是高效，简单且通用的，可用于最现有的对比和非对比的自我监督的学习框架。

大规模数据集的预培训模型，如想象成，是计算机视觉中的标准实践。此范例对于具有小型培训套的任务特别有效，其中高容量模型往往会过度装备。在这项工作中，我们考虑一个自我监督的预训练场景，只能利用目标任务数据。我们考虑数据集，如斯坦福汽车，草图或可可，这是比想象成小的数量的顺序。我们的研究表明，在本文中介绍的Beit或诸如Beit或Variant的去噪对预训练数据的类型和大小比通过比较图像嵌入来训练的流行自我监督方法更加强大。我们获得了竞争性能与ImageNet预训练相比，来自不同域的各种分类数据集。在Coco上，当专注于使用Coco Images进行预训练时，检测和实例分割性能超过了可比设置中的监督Imagenet预训练。

自我监督的对比学习是学习无标签的视觉表示的强大工具。先前的工作主要集中于评估各种训练算法的识别精度，但忽略了其他行为方面。除了准确性外，分布鲁棒性在机器学习模型的可靠性中起着至关重要的作用。我们设计和进行一系列鲁棒性测试，以量化对比度学习与监督学习之间的行为差​​异，以使其下游或训练前数据分布变化。这些测试利用多个级别的数据损坏，范围从像素级伽马失真到补丁级的改组，再到数据集级别的分布变化。我们的测试揭示了对比度和监督学习的有趣鲁棒性行为。一方面，在下游腐败下，我们通常会观察到对比度学习比监督学习更强大。另一方面，在训练前的损坏下，我们发现对比度学习容易被补丁改组和像素强度变化，但对数据集级别的分布变化却不太敏感。我们试图通过数据增强和特征空间属性的作用来解释这些结果。我们的见解具有改善监督学习的下游鲁棒性的意义。

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

最近的自我监督学习（SSL）方法在从未标记的图像中学习视觉表示方面显示出令人印象深刻的结果。本文旨在通过利用基础神经网络的建筑优势进一步提高其性能，因为SSL的当前最新视觉借口任务不享受好处，即它们是架构 - 敏捷的。特别是，我们专注于视觉变形金刚（VIT），这些变压器最近引起了人们的关注，作为更好的建筑选择，通常优于各种视觉任务的卷积网络。 VIT的独特特征在于，它从图像中采取了一系列不交联补丁，并在内部处理补丁级表示。受此启发的启发，我们设计了一个简单而有效的视觉借口任务，创造了自我绘制，以学习更好的补丁级表示。要具体而言，我们对每个贴片及其邻居的不变性执行，即每个贴片都将相似的相邻贴片视为正样品。因此，用自我绘制的培训可以学习斑块之间更有意义的关系（不使用人类通知的标签），这可能是有益的，特别是对密集预测类型的下游任务。尽管它很简单，但我们证明了它可以显着提高现有SSL方法的性能，包括对象检测和语义分割。具体而言，SelfPatch通过在可可对象检测上实现+1.3 AP，在COCO实例段中+1.2 AP显着改善了最新的自我监督的VIT，Dino和+2.9 MIOU在ADE20K语义段中。

自我监督学习的一个重要目标是使模型预训练能够从几乎无限的数据中受益。但是，一种最近变得流行的方法，即掩盖图像建模（MIM），被怀疑无法从较大的数据中受益。在这项工作中，我们通过广泛的实验打破了这一误解，数据量表从10 \％imagenet-1k到完整的Imagenet-22K，型号的尺寸从4,900万到10亿，培训长度从125k迭代到500k迭代迭代范围不等。我们的研究表明：（i）蒙版的图像建模也要求对较大的数据进行要求。我们观察到，非常大的模型被相对较小的数据过度。 （ii）培训的时间长度。接受掩盖图像建模训练的大型模型可以从更多的数据中受益，并具有更长的培训。 （iii）预训练中的验证损失是衡量模型在多个任务上进行微调的表现的好指标。该观察结果使我们能够预先评估预训练的模型，而无需对下游任务进行昂贵的试用和错误评估。我们希望我们的发现能够从缩放能力方面提高对蒙版图像建模的理解。

本文研究了两种技术，用于开发有效的自我监督视觉变压器（ESVIT）进行视觉表示学习。首先，我们通过一项全面的实证研究表明，具有稀疏自我生产的多阶段体系结构可以显着降低建模的复杂性，但具有失去捕获图像区域之间细粒度对应关系的能力的成本。其次，我们提出了一项新的区域匹配训练任务，该任务使模型可以捕获细粒的区域依赖性，因此显着提高了学习视觉表示的质量。我们的结果表明，ESVIT在ImageNet线性探针评估上结合两种技术，在ImageNet线性探针评估中获得了81.3％的TOP-1，优于先前的艺术，其较高吞吐量的顺序幅度约为较高。当转移到下游线性分类任务时，ESVIT在18个数据集中的17个中优于其受监督的对方。代码和模型可公开可用：https：//github.com/microsoft/esvit

视觉变换器（VTS）作为卷积网络（CNNS）的架构范式替代品。与CNN不同，VT可以捕获图像元素之间的全局关系，并且它们可能具有更大的表示容量。然而，缺乏典型的卷积电感偏差使这些模型比普通的CNN更饥饿。实际上，嵌入在CNN架构设计中的某些本地属性，在VTS中应该从样品中学习。在本文中，我们明确地分析了不同的VTS，比较了他们在小型训练制度中的鲁棒性，并且我们表明，尽管在想象中训练时具有可比的准确性，但它们在较小数据集上的性能可能很大程度上不同。此外，我们提出了一种自我监督的任务，可以从图像中提取其他信息，只有可忽略不计的计算开销。这项任务鼓励VTS学习图像内的空间关系，并使VT培训在训练数据稀缺时更加强劲。我们的任务与标准（监督）培训共同使用，它不依赖于特定的架构选择，因此它可以轻松插入现有的VTS。使用与不同的VTS和数据集进行广泛的评估，我们表明我们的方法可以改善（有时显着地）VTS的最终精度。我们的代码可用于：https：//github.com/yhlleo/vts-droc。

预培训由自然图像组成的大规模数据库，然后进行微调，以适应手头的应用，或转移学习，是计算机愿景的流行策略。然而，KataOka等人，2020年推出了一种通过提出一种新的合成式的基于公式的方法来消除对监督深度学习中的自然图像的需求，以产生2D分形作为训练语料库。对每个类的一种合成产生的分形，它们实现了与在自然图像上预培训的模型相当的转移学习结果。在这个项目中，我们从他们的工作中获取灵感并在这个想法上建立 - 使用3D程序对象渲染。由于自然界中的图像形成过程基于其3D结构，我们预计使用3D网格渲染预先训练，以提供隐式偏置，以便在转移学习设置中更好地提供更好的泛化能力，并且对3D旋转和照明的ImRARECCE更容易基于3D数据学习。类似于以前的工作，我们的培训语料库将是完全合成的，源于简单的程序策略;我们将超越经典的数据增强，也可以在我们的环境中可控的照明和姿势，并研究他们对事先工作的背景下转移学习能力的影响。此外，我们将将2D分数维和3D程序对象网络与人类和非人类灵长类动物的大脑数据进行比较，以了解有关生物视觉的2D与3D性质的更多信息。

我们建议在2D域中利用自我监督的技术来实现细粒度的3D形状分割任务。这是受到观察的启发：基于视图的表面表示比基于点云或体素占用率的3D对应物更有效地建模高分辨率表面细节和纹理。具体而言，给定3D形状，我们将其从多个视图中渲染，并在对比度学习框架内建立密集的对应学习任务。结果，与仅在2D或3D中使用自学的替代方案相比，学到的2D表示是视图不变和几何一致的，在对有限的标记形状进行培训时，可以更好地概括概括。对纹理（渲染peple）和未纹理（partnet）3D数据集的实验表明，我们的方法在细粒部分分割中优于最先进的替代方案。当仅一组稀疏的视图可供训练或形状纹理时，对基准的改进就会更大，这表明MVDecor受益于2D处理和3D几何推理。

We report competitive results on object detection and instance segmentation on the COCO dataset using standard models trained from random initialization. The results are no worse than their ImageNet pre-training counterparts even when using the hyper-parameters of the baseline system (Mask R-CNN) that were optimized for fine-tuning pretrained models, with the sole exception of increasing the number of training iterations so the randomly initialized models may converge. Training from random initialization is surprisingly robust; our results hold even when: (i) using only 10% of the training data, (ii) for deeper and wider models, and (iii) for multiple tasks and metrics. Experiments show that ImageNet pre-training speeds up convergence early in training, but does not necessarily provide regularization or improve final target task accuracy. To push the envelope we demonstrate 50.9 AP on COCO object detection without using any external data-a result on par with the top COCO 2017 competition results that used ImageNet pre-training. These observations challenge the conventional wisdom of ImageNet pre-training for dependent tasks and we expect these discoveries will encourage people to rethink the current de facto paradigm of 'pretraining and fine-tuning' in computer vision.

Driven by improved architectures and better representation learning frameworks, the field of visual recognition has enjoyed rapid modernization and performance boost in the early 2020s. For example, modern ConvNets, represented by ConvNeXt, have demonstrated strong performance in various scenarios. While these models were originally designed for supervised learning with ImageNet labels, they can also potentially benefit from self-supervised learning techniques such as masked autoencoders (MAE). However, we found that simply combining these two approaches leads to subpar performance. In this paper, we propose a fully convolutional masked autoencoder framework and a new Global Response Normalization (GRN) layer that can be added to the ConvNeXt architecture to enhance inter-channel feature competition. This co-design of self-supervised learning techniques and architectural improvement results in a new model family called ConvNeXt V2, which significantly improves the performance of pure ConvNets on various recognition benchmarks, including ImageNet classification, COCO detection, and ADE20K segmentation. We also provide pre-trained ConvNeXt V2 models of various sizes, ranging from an efficient 3.7M-parameter Atto model with 76.7% top-1 accuracy on ImageNet, to a 650M Huge model that achieves a state-of-the-art 88.9% accuracy using only public training data.

Existing fine-tuning methods either tune all parameters of the pre-trained model (full fine-tuning), which is not efficient, or only tune the last linear layer (linear probing), which suffers a significant accuracy drop compared to the full fine-tuning. In this paper, we propose a new parameter-efficient fine-tuning method termed as SSF, representing that researchers only need to Scale and Shift the deep Features extracted by a pre-trained model to catch up with the performance of full fine-tuning. In this way, SSF also surprisingly outperforms other parameter-efficient fine-tuning approaches even with a smaller number of tunable parameters. Furthermore, different from some existing parameter-efficient fine-tuning methods (e.g., Adapter or VPT) that introduce the extra parameters and computational cost in the training and inference stages, SSF only adds learnable parameters during the training stage, and these additional parameters can be merged into the original pre-trained model weights via re-parameterization in the inference phase. With the proposed SSF, our model obtains 2.46% (90.72% vs. 88.54%) and 11.48% (73.10% vs. 65.57%) performance improvement on FGVC and VTAB-1k in terms of Top-1 accuracy compared to the full fine-tuning but only fine-tuning about 0.3M parameters. We also conduct amounts of experiments in various model families (CNNs, Transformers, and MLPs) and datasets. Results on 26 image classification datasets in total and 3 robustness & out-of-distribution datasets show the effectiveness of SSF. Code is available at https://github.com/dongzelian/SSF.

在本文中，首先，研究了Imagenet预训练对细粒度面部情感识别（FER）的影响，这表明当应用图像的足够增强时，从头开始的训练比ImageNet Pre的微调提供了更好的结果。 -训练。接下来，我们提出了一种改善细粒度和野外FER的方法，称为混合多任务学习（HMTL）。 HMTL以多任务学习（MTL）的形式使用自我监督学习（SSL）作为经典监督学习（SL）期间的辅助任务。在训练过程中利用SSL可以从图像中获得其他信息，以完成主要细粒度SL任务。我们研究了如何在FER域中使用所提出的HMTL，通过设计两种定制版本的普通文本任务技术，令人困惑和涂漆。我们通过两种类型的HMTL在不利用其他数据的情况下，通过两种类型的HMTL在altimnet基准测试上实现了最新的结果。关于常见SSL预训练和提出的HMTL的实验结果证明了我们工作的差异和优势。但是，HMTL不仅限于FER域。对两种类型的细粒面部任务（即头部姿势估计和性别识别）进行的实验揭示了使用HMTL改善细粒度面部表示的潜力。

带有像素天标签的注释图像是耗时和昂贵的过程。最近，DataSetGan展示了有希望的替代方案 - 通过利用一小组手动标记的GaN生成的图像来通过生成的对抗网络（GAN）来综合大型标记数据集。在这里，我们将DataSetGan缩放到ImageNet类别的规模。我们从ImageNet上训练的类条件生成模型中拍摄图像样本，并为所有1K类手动注释每个类的5张图像。通过在Biggan之上培训有效的特征分割架构，我们将Bigan转换为标记的DataSet生成器。我们进一步表明，VQGan可以类似地用作数据集生成器，利用已经注释的数据。我们通过在各种设置中标记一组8K实图像并在各种设置中评估分段性能来创建一个新的想象因基准。通过广泛的消融研究，我们展示了利用大型生成的数据集来培训在像素 - 明智的任务上培训不同的监督和自我监督的骨干模型的大增益。此外，我们证明，使用我们的合成数据集进行预培训，以改善在几个下游数据集上的标准Imagenet预培训，例如Pascal-VOC，MS-Coco，Citycapes和Chink X射线以及任务（检测，细分）。我们的基准将公开并维护一个具有挑战性的任务的排行榜。项目页面：https://nv-tlabs.github.io/big-dataseTgan/

视觉变压器（VIT）已被证明可以在广泛的视觉应用中获得高度竞争性的性能，例如图像分类，对象检测和语义图像分割。与卷积神经网络相比，通常发现视觉变压器的较弱的电感偏差会在较小的培训数据集上培训时，会增加对模型正则化或数据增强的依赖（简称为“ AUGREG”）。我们进行了一项系统的实证研究，以便更好地了解培训数据，AUGREG，模型大小和计算预算之间的相互作用。作为这项研究的一个结果，我们发现增加的计算和AUGREG的组合可以产生与在数量级上训练的模型相同的训练数据的模型：我们在公共Imagenet-21K数据集中培训各种尺寸的VIT模型在较大的JFT-300M数据集上匹配或超越其对手的培训。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

在Imagenet或其他大规模数据数据上的预培训模型导致计算机愿景的主要进步，尽管伴随着与策划成本，隐私，使用权和道德问题相关的缺点。在本文中，我们首次研究了基于由图形模拟器生成的合成数据到来自非常不同的域的下游任务的培训模型的可转换性。在使用此类合成数据进行预培训时，我们发现不同任务的下游性能受到不同配置的不同配置（例如，照明，对象姿势，背景等），并且没有单尺寸适合 - 所有解决方案。因此，更好地将合成的预训练数据量身定制到特定的下游任务，以获得最佳性能。我们介绍Task2SIM，一个统一的模型将下游任务表示映射到最佳模拟参数，以为它们生成合成的预训练数据。 Task2SIM通过培训学习此映射，以查找一组“看到”任务上的最佳参数集。曾经训练过，它可以用于预测一个新颖的“看不见”任务的最佳仿真参数，而无需额外的培训。鉴于每级图像数量的预算，我们具有20个不同的下游任务的广泛实验，显示了Task2SIM的任务 - 自适应预训练数据导致明显更好的下游性能，而不是在看见和看不见的任务上的非自适应选择模拟参数。它甚至是竞争对手的真实图像的竞争力。