对比性语言图像预处理（剪辑）受到广泛关注，因为它的学会表示形式可以很好地转移到各种下游任务上。在剪辑训练期间，Infonce目标旨在使正面图像对齐和分开的负面图像对齐。在本文中，我们在此过程中显示了表示分组的效果：Infonce客观间接通过随机出现的模式内锚将语义相似的表示形式组合在一起。我们引入了原型对比度图像预处理（原始的），以提高其效率并提高其针对模态差距的鲁棒性来增强这种分组。具体而言，原始利润在图像和文本空间之间建立了原型级别的歧视，从而有效传输了更高级别的结构知识。我们进一步提出了典型的背部翻译（PBT），以将表示形式分组与表示形式对齐，从而有效地学习了在较大的模态差距下有意义的表示。 PBT还使我们能够以更丰富的先验知识介绍其他外部教师。 ProtoClip通过在线情节培训策略进行了培训，这可以扩展到无限量的数据。结合上述新颖的设计，我们在概念标题上训练原始设计，并获得了 +5.81％的成像网线性探测改进，并且 +2.01％的Imagenet Zero Zero-shot分类改进。代码可在https://github.com/megvii-research/protoclip上找到。

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

使用自然语言作为培训视觉识别模型的监督持有巨大的承诺。最近的作品表明，如果在大型训练数据集中的图像和标题之间的对齐形式使用此类监督，则结果对齐模型在零拍摄分类中表现出色，如下游任务2。在本文中，我们专注于挑逗语言监督的哪些部分对于训练零拍摄图像分类模型至关重要。通过广泛和仔细的实验​​，我们表明：1）可以将简单的单词（弓）标题用作数据集中大多数图像标题的替代品。令人惊讶的是，我们观察到这种方法在与单词平衡结合时提高了零拍分类性能。 2）使用船首净化模型，我们可以通过在没有标题的图像上生成伪弓标题来获得更多培训数据。使用真实和伪弓形标题培训的模型达到了更强的零射性能。在ImageNet-1K零拍评估中，我们只使用3M图像标题对的最佳模型，使用15M图像标题对培训的剪辑模型（31.5％VS 31.3％）进行剪辑。

自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。

Pre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual and vision-language representations still rely heavily on curated training datasets that are expensive or require expert knowledge. For vision applications, representations are mostly learned using datasets with explicit class labels such as Ima-geNet or OpenImages. For vision-language, popular datasets like Conceptual Captions, MSCOCO, or CLIP all involve a non-trivial data collection (and cleaning) process. This costly curation process limits the size of datasets and hence hinders the scaling of trained models. In this paper, we leverage a noisy dataset of over one billion image alt-text pairs, obtained without expensive filtering or post-processing steps in the Conceptual Captions dataset. A simple dual-encoder architecture learns to align visual and language representations of the image and text pairs using a contrastive loss. We show that the scale of our corpus can make up for its noise and leads to state-of-the-art representations even with such a simple learning scheme. Our visual representation achieves strong performance when transferred to classification tasks such as ImageNet and VTAB. The aligned visual and language representations enables zero-shot image classification and also set new state-of-the-art results on Flickr30K and MSCOCO image-text retrieval benchmarks, even when compared with more sophisticated crossattention models. The representations also enable cross-modality search with complex text and text + image queries.

最近的工作表明，自我监督的预训练导致对挑战性视觉识别任务的监督学习改进。剪辑是一种令人兴奋的学习语言监督的新方法，展示了各种基准的有希望的表现。在这项工作中，我们探索自我监督的学习是否可以帮助使用语言监督来进行视觉表现学习。我们介绍了一个用于组合自我监督学习和剪辑预训练的多任务学习框架。在使用视觉变形金刚进行预培训之后，我们在三个不同的设置下彻底评估了代表性质量，并将性能与自我监督学习进行了比较：零拍摄传输，线性分类和端到端的FineTuning。在ImageNet和电池的额外数据集中，我们发现SLIP通过大幅度提高了精度。我们将通过关于不同模型大小，培训计划和预训练预训练数据集的实验进行验证。我们的研究结果表明，滑块享有世界上最好的：性能比自我监督更好（+ 8.1％的线性精度）和语言监督（+ 5.2％的零射精精度）。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

具有对比目标的训练前视觉模型已显示出令人鼓舞的结果，这些结果既可以扩展到大型未经切割的数据集，又可以传输到许多下游应用程序。以下一些作品针对提高数据效率，通过添加自学意义来提高数据效率，但是在这些作品中的单个空间上定义了对比度损失（图像文本）对比度损失和内域（图像图像）对比度损失，因此许多可行的可行性监督的组合被忽略了。为了克服这个问题，我们提出了Uniclip，这是对对比语言图像预训练的统一框架。 Uniclip将域间对和域内对的对比损失整合到一个单一的通用空间中。 Uniclip的三个关键组成部分解决了整合不同域之间对比度损失时发生的差异：（1）增强感知功能嵌入，（2）MP-NCE损失和（3）域相似性度量。 Uniclip的表现优于以前的视觉语言预训练方法，在下游任务的各种单模式和多模式上。在我们的实验中，我们表明每个组成的分支都对最终性能有很好的贡献。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

使用图像文本对的对比语言图像预测（剪辑）在零拍摄和传输学习设置中的图像分类中取得了令人印象深刻的结果。但是，我们表明，直接应用此类模型以识别对象检测的图像区域导致由于域移位导致的性能差：剪辑训练以与文本描述的整体匹配，而不捕获图像之间的细粒度对齐地区和文本跨度。为了缓解此问题，我们提出了一种称为RegionClip的新方法，可显着扩展剪辑以学习区域级视觉表示，从而在图像区域和文本概念之间实现细粒度对齐。我们的方法利用剪辑模型将图像区域与模板标题匹配，然后预先列出我们的模型以对准要素空间中的这些区域文本对。将预磨料模型转移到开放词汇对象检测任务时，我们的方法显着优于3.8 AP50和2.2 AP的最新技术，分别用于COCO和LVIS数据集的新型类别。更多，学习区域表示支持对象检测的零拍摄推断，显示了对COCO和LVIS数据集的有希望的结果。我们的代码可在https://github.com/microsoft/regionclip上获得。

我们提出了Clip-Lite，一种通过与文本注释的特征对齐方式进行视觉表示学习的信息有效方法。与先前提出的剪辑模型相比，剪辑液在优化其对比学学习目标期间只需要一个负图像文本样本对。我们通过利用信息有效的较低限制来实现这一点，以最大化两个输入模态之间的相互信息。这允许剪辑Lite培训，在获得比夹子的更好的性能的同时具有显着减少的数据和批量尺寸。我们通过在Coco-Tablions数据集上预先绘制来评估剪贴画并对其他数据集进行测试传输。 Clip-Lite在Pascal VOC分类上获得+ 15.4％的映射绝对增益，并在ImageNet上获得A + 22.1％的前1个精度增益，同时与其他更复杂，文本监督模型相当或优越。 Clip-Lite还优于剪辑图像和文本检索，零拍分类和视觉接地。最后，通过在表示学习期间执行显式图像文本对齐，我们显示Clip-Lite可以利用语言语义来鼓励可以在下游任务中使用的无偏见的视觉表示。

本文介绍了用于学习对象级别，语言感知和富含语义的视觉表示的接地语言图像预培训（GLIP）模型。 Glip统一对象检测和短语进行预培训。统一带来了两个好处：1）它允许GLIP从检测和接地数据中学习，以改善两个任务和引导良好的接地模型; 2）GLIP可以通过以自培训方式产生接地盒来利用大规模的图像文本对，使学习的表示是语义丰富的。在我们的实验中，我们在27M的接地数据上预先列车触胶，包括3M人的注释和24M Web爬网的图像文本对。学习的表示表明了强烈的零射击和对各种对象识别任务的可转换性。 1）直接在Coco和LVIS上评估（在训练期间没有在Coco中看到任何图像）时，Plip分别达到49.8 AP和26.9 AP，超过许多监督基线。 2）在COCO上微调后，GLIP在Val和61.5 AP上实现60.8 AP在测试开发上，超过先前的SOTA。 3）当转移到下游对象检测任务时，具有完全监控动态头的1次触发器竞争对手。代码将在https://github.com/microsoft/glip发布。

最先进的愿景和愿景和语言模型依靠大规模的Visio-linguisting预借鉴，以获得各种下游任务的良好性能。通常，这种模型通常是跨模态（对比）或多模态（具有早期融合）但不是两者;它们通常只针对特定的方式或任务。有希望的方向将是使用单一整体普遍模型，作为“基础”，目标是一次性的所有方式 - 真正的视觉和语言基础模型应该擅长视力任务，语言任务和交叉和多数模态视觉和语言任务。我们将Flava介绍在这样的模型中，并在跨越这些目标模式的广泛的35个任务上展示令人印象深刻的性能。

虽然自我监督的表示学习（SSL）在大型模型中证明是有效的，但在遵循相同的解决方案时，轻量级模型中的SSL和监督方法之间仍然存在巨大差距。我们深入研究这个问题，发现轻量级模型在简单地执行实例对比时易于在语义空间中崩溃。为了解决这个问题，我们提出了一种与关系知识蒸馏（REKD）的关系方面的对比范例。我们介绍一个异构教师，明确地挖掘语义信息并将新颖的关系知识转移到学生（轻量级模型）。理论分析支持我们对案例对比度的主要担忧，验证了我们关系的对比学习的有效性。广泛的实验结果还表明，我们的方法达到了多种轻量级模型的显着改进。特别是，亚历谢的线性评估显然将目前的最先进从44.7％提高到50.1％，这是第一个接近监督50.5％的工作。代码将可用。

本文提出了一个简单而有效的框架蒙版，该框架将新提出的掩盖自distillation纳入对比的语言图像预处理中。掩盖自distillation的核心思想是将表示从完整的图像提取到蒙版图像预测的表示形式。这种合并享有两个重要的好处。首先，掩盖的自我验证目标是本地贴片表示学习，这与视觉对比度的互补，专注于与文本相关的表示。二，掩盖的自我验证也与视觉语言对比符合训练目标的视野对比是一致的。视觉编码器用于功能对齐，因此能够学习本地语义从该语言中获得间接监督。我们提供了专门设计的实验，并进行了全面的分析，以验证这两个好处。从经验上讲，我们表明，当MaskClip应用于各种具有挑战性的下游任务时，可以在线性探测，填充和零拍摄中取得卓越的结果，并在语言编码器的指导下取得了卓越的结果。

传统的计算机视觉模型受过培训，以预测固定的预定义类别。最近，自然语言已被证明是一个更广泛而更丰富的监督来源，为视觉概念提供更精细的描述，而不是监督“黄金”标签。以前的作品，例如剪辑，使用InfoNce丢失来训练模型以预测图像和文本标题之间的配对。然而，剪辑是饥饿的数据，需要超过400米的图像文本对进行培训。效率低下可以归因于图像文本对嘈杂的事实。为了解决这个问题，我们提出了水獭（有效的零射击识别的最佳运输蒸馏），它使用在线熵最佳运输，找到一个软图像文本与标签进行对比学习。基于预磨料的图像和文本编码器，用电站培训的型号实现了强大的性能，只有3M图像文本对。与InfoNce损失相比，标记平滑和知识蒸馏，OTTER始终如一地优于零拍摄图像（19,958类）和来自腾讯ML图像的多标记Imagenet 10k（10032类）的零拍摄评估中的这些基线。在4个不同的数据集/架构设置x 6度量上，OTTER优于（32）或绑定（2）34中的所有基准。

开创性双编码器预训练工作（例如，剪辑并对齐）揭示了与对比学习对齐多模态表示的潜力。然而，这些作品需要大量的数据和计算资源（例如，十亿级Web数据和数百个GPU），这阻止了从再生产和进一步探索的资源有限的研究人员。为此，我们探讨了一堆简单但有效的启发式，并提供了全面的培训指导，使我们能够与有限的资源进行双编码器多模态表示对齐。我们为竞争结果提供可重复的强大基线，即Zerovl，只有1400万公共访问的学术数据集和8 v100 GPU。此外，我们收集100米Web数据进行预培训，而不是最先进的方法实现可比或优越的结果，进一步证明了我们对大规模数据的方法的有效性。我们希望这项工作将为多模态预培训的未来研究提供有用的数据点和经验。我们的代码和预先训练的型号将被释放，以促进研究界。

我们研究了用于半监控学习（SSL）的无监督数据选择，其中可以提供大规模的未标记数据集，并且为标签采集预算小额数据子集。现有的SSL方法专注于学习一个有效地集成了来自给定小标记数据和大型未标记数据的信息的模型，而我们专注于选择正确的数据以用于SSL的注释，而无需任何标签或任务信息。直观地，要标记的实例应统称为下游任务的最大多样性和覆盖范围，并且单独具有用于SSL的最大信息传播实用程序。我们以三步数据为中心的SSL方法形式化这些概念，使稳定性和精度的纤维液改善8％的CiFar-10（标记为0.08％）和14％的Imagenet -1k（标记为0.2％）。它也是一种具有各种SSL方法的通用框架，提供一致的性能增益。我们的工作表明，在仔细选择注释数据上花费的小计算带来了大注释效率和模型性能增益，而无需改变学习管道。我们完全无监督的数据选择可以轻松扩展到其他弱监督的学习设置。

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。