视觉语言（VL）预训练最近受到了广泛的关注。但是，大多数现有的端到端预训练方法只旨在解决诸如图像文本检索，视觉询问答案（VQA）和图像字幕等VL任务，以测试对图像的高级了解，或者仅对目标区域进行测试 - 对诸如短语接地和对象检测等任务的水平理解。我们提出了Fiber（基于回避的变压器），这是一种新的VL模型体系结构，可以无缝处理这两种类型的任务。 Fiber没有将多模式融合到模型深处，而不是将融合后的专用变压器层用于融合，而是通过将交叉注意力插入图像和文本骨干杆中，从而在记忆和性能方面带来了增长。此外，与以前的工作不同，它要么仅在图像文本数据上进行训练，要么在带有框级注释的细粒度数据上进行培训，我们提出了一种两阶段的预训练策略，该策略有效地使用了这两种数据：（（ i）基于图像文本数据的粗粒细化预训练；然后是（ii）基于图像文本框数据的细粒度预训练。我们对各种VL任务进行全面的实验，从VQA，图像字幕和检索到短语接地，参考表达理解和对象检测。使用深层多模式融合，结合两阶段的预训练，光纤可对所有任务的强基础进行一致的性能改进，通常使用幅度更优于更多数据的方法。代码可从https://github.com/microsoft/fiber获得。

Vision-and语言（VL）预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明，基于完全变换器的VL模型可以比以前的基于区域特征的方法更有效，但它们在下游任务上的性能通常显着降低。在本文中，我们呈现仪表〜（\ textbf {m} ultimodal \ textbf {e} nd-to-text \ textbf {t} ransform \ textbf {er}），我们通过它系统地调查如何设计和预先列车基于完全变换器的VL模型以端到端的方式。具体而言，我们将模型设计沿多个尺寸分析：视觉编码器（例如，剪辑 - vit，Swin变压器），文本编码器（例如，Roberta，Deberta），多模式融合（例如，合并注意力与共同关注），架构设计（例如，仅编码器与编码器 - 解码器）和预训练目标（例如，屏蔽图像建模）。我们对广泛的VL任务进行全面实验，并提供有关如何在保持快速推理速度的同时培训表演VL变压器的见解。值得注意的是，仪表〜使用仅使用4M图像进行预培训的VQAV2 TEST-STD设置的精度为77.64 \％，超过最先进的区域特征的VINVL模型+1.04 \％，以及优于以前最好的完全变换器的ALBEF模型+1.6 \％。

我们提出了GLIPV2，这是一个接地的VL理解模型，该模型既服务于本地化任务（例如，对象检测，实例分割）和视觉语言（VL）理解任务（例如VQA，图像字幕）。 GLIPV2优雅地将本地化预训练和视觉语言预训练（VLP）具有三个预训练任务：短语接地作为对检测任务的VL重新重新制定，区域词对比度学习作为新型的区域词对比度对比度对比学习任务，以及蒙面的语言建模。这种统一不仅简化了先前的多阶段VLP程序，而且还可以在本地化和理解任务之间实现相互利益。实验结果表明，在各种本地化和理解任务上，单个GLIPV2模型（所有模型权重）在SOTA性能附近实现。该模型还显示了（1）在开放式摄制对象检测任务上进行的强零射击和很少的自适应性能，以及（2）VL理解任务上的卓越接地能力。代码将在https://github.com/microsoft/glip上发布。

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

在本文中，我们提出了一种单一统一的变压器（UFO），其能够处理视觉语言的单峰输入（例如，图像或语言）或多模式输入（例如，图像和问题的串联）（ VL）表示学习。现有方法通常为每个模态和/或特定融合网络设计个人网络，用于多模式任务。为了简化网络架构，我们使用单个变压器网络并在VL预培训期间强制执行多任务学习，其包括图像文本对比丢失，图像文本匹配丢失和基于双向的屏蔽语言建模损耗SEQ2Seq注意面具。相同的变压器网络用作不同预训练任务中的图像编码器，文本编码器或融合网络。经验上，我们观察不同任务之间的冲突，并在视觉问题应答，Coco图像标题（交叉熵优化）和Nocaps（在香料中）实现新的艺术状态。在其他下游任务中，例如，图像文本检索，我们也实现了竞争性能。

远见和语言预测已成为解决多模式下游任务的普遍方法。当前的趋势是朝着更大的模型和预处理数据集迈进。从长远来看，这一计算头急促似乎是不合理的，而是朝着可持续的解决方案迈进，事实上，排除了资源有限的学术实验室。在这项工作中，我们提出了一个称为VICHA的新框架，该框架有效利用输入数据以通过以下方式提高学习，以： ，（c）利用图像级注释，称为视觉概念，使用现有基础模型（例如剪辑）获得，以提高图像编码器的性能。尽管对数据的预估计少了四倍，但我们的VICHA策略在下游任务（例如图像文本检索，VQA，视觉推理，视觉上和视觉接地）上的其他方法优于其他方法。该代码将在此处公开提供：https：//github.com/mshukor/vicha

从纯图像和具有对比性损失的纯图像和文本预测的自我监督的视觉语言是有效的，但是由于双流式体系结构仅在全球层面上与图像和文本表示形式对齐，因此忽略了细粒度​​的对齐。早些时候，受监督的，非对比度的方法具有更细粒度的对齐方式，但需要致密的注释，这些注释不可伸缩。我们提出了一个单个流体系结构，该体系结构使用两个新颖的任务：对称交叉模式重建（XMM）和一个伪标记的关键字预测，将图像和语言对齐：全局，细粒度的补丁和概念/语义（PSL）。在XMM中，我们从一种模态掩盖了输入令牌，并使用跨模式信息重建掩盖的令牌，从而改善了两种模式之间的细粒度对齐。在PSL中，我们使用注意力在标题中选择关键字，使用动量编码器推荐标题中缺少但在图像中表示的其他重要关键字，然后训练视觉编码器以预测这些关键字的存在，并帮助它。学习对于将文本令牌接地到图像区域至关重要的语义概念。我们证明了对图像文本检索，接地，视觉问题的回答/推理的竞争性能和提高的数据效率，以针对对更多数据进行培训的较大模型和模型。 Zaidkhan.me/simla上可用的代码和型号。

Vision-Language Transformers can be learned without human labels (e.g. class labels, bounding boxes, etc). Existing work, whether explicitly utilizing bounding boxes or patches, assumes that the visual backbone must first be trained on ImageNet class prediction before being integrated into a multimodal linguistic pipeline. We show that this is not necessary and introduce a new model Vision-Language from Captions (VLC) built on top of Masked Auto-Encoders that does not require this supervision. In fact, in a head-to-head comparison between ViLT, the current state-of-the-art patch-based vision-language transformer which is pretrained with supervised object classification, and our model, VLC, we find that our approach 1. outperforms ViLT on standard benchmarks, 2. provides more interpretable and intuitive patch visualizations, and 3. is competitive with many larger models that utilize ROIs trained on annotated bounding-boxes.

Vision-Language Pre-Training (VLP) has shown promising capabilities to align image and text pairs, facilitating a broad variety of cross-modal learning tasks. However, we observe that VLP models often lack the visual grounding/localization capability which is critical for many downstream tasks such as visual reasoning. In this work, we propose a novel Position-guided Text Prompt (PTP) paradigm to enhance the visual grounding ability of cross-modal models trained with VLP. Specifically, in the VLP phase, PTP divides the image into $N\times N$ blocks, and identifies the objects in each block through the widely used object detector in VLP. It then reformulates the visual grounding task into a fill-in-the-blank problem given a PTP by encouraging the model to predict the objects in the given blocks or regress the blocks of a given object, e.g. filling `P" or ``O" in aPTP ``The block P has a O". This mechanism improves the visual grounding capability of VLP models and thus helps them better handle various downstream tasks. By introducing PTP into several state-of-the-art VLP frameworks, we observe consistently significant improvements across representative cross-modal learning model architectures and several benchmarks, e.g. zero-shot Flickr30K Retrieval (+4.8 in average recall@1) for ViLT \cite{vilt} baseline, and COCO Captioning (+5.3 in CIDEr) for SOTA BLIP \cite{blip} baseline. Moreover, PTP achieves comparable results with object-detector based methods, and much faster inference speed since PTP discards its object detector for inference while the later cannot. Our code and pre-trained weight will be released at \url{https://github.com/sail-sg/ptp}.

This paper presents a detailed study of improving visual representations for vision language (VL) tasks and develops an improved object detection model to provide object-centric representations of images. Compared to the most widely used bottom-up and top-down model [2], the new model is bigger, better-designed for VL tasks, and pre-trained on much larger training corpora that combine multiple public annotated object detection datasets. Therefore, it can generate representations of a richer collection of visual objects and concepts. While previous VL research focuses mainly on improving the vision-language fusion model and leaves the object detection model improvement untouched, we show that visual features matter significantly in VL models. In our experiments we feed the visual features generated by the new object detection model into a Transformer-based VL fusion model OSCAR [21], and utilize an improved approach OSCAR+ to pre-train the VL model and fine-tune it on a wide range of downstream VL tasks. Our results show that the new visual features significantly improve the performance across all VL tasks, creating new state-of-the-art results on seven public benchmarks. Code, models and pre-extracted features are released at https://github.com/pzzhang/VinVL. ♥ Microsoft Corporation♠ University of Washington † indicates equal contributions.

We study joint learning of Convolutional Neural Network (CNN) and Transformer for vision-language pre-training (VLPT) which aims to learn cross-modal alignments from millions of image-text pairs. State-of-the-art approaches extract salient image regions and align regions with words step-by-step. As region-based visual features usually represent parts of an image, it is challenging for existing visionlanguage models to fully understand the semantics from paired natural languages. In this paper, we propose SOHO to "See Out of tHe bOx" that takes a whole image as input, and learns vision-language representation in an endto-end manner. SOHO does not require bounding box annotations which enables inference 10 times faster than regionbased approaches. In particular, SOHO learns to extract comprehensive yet compact image features through a visual dictionary (VD) that facilitates cross-modal understanding. VD is designed to represent consistent visual abstractions of similar semantics. It is updated on-the-fly and utilized in our proposed pre-training task Masked Visual Modeling (MVM). We conduct experiments on four well-established vision-language tasks by following standard VLPT settings. In particular, SOHO achieves absolute gains of 2.0% R@1 score on MSCOCO text retrieval 5k test split, 1.5% accuracy on NLVR 2 test-P split, 6.7% accuracy on SNLI-VE test split, respectively.

Vision语言中最现有的方法依赖于通过对象检测提取的对象中心特征，并在提取的功能和文本之间进行细粒度对齐。我们认为物体检测的使用可能不适合视觉语言预培训。相反，我们指出应该执行任务，以便文本中提到的“视觉概念”的区域位于图像中，并且在文本和视觉概念之间的平时对齐中，识别在其中的校准处于多个 - 粒度。本文提出了一种称为X-VLM的新方法，以执行“多粒度的视觉语言预训练”。实验结果表明，X-VLM在许多下游视觉语言任务中始终如一地优于最先进的方法。

近年来，具有两个较高架构的视觉语言（VL）模型主导了视觉表示的学习。当前的VL模型要么使用轻型Uni-Modal编码器，并在交叉模式编码器中同时提取，对齐和融合这两种模态，或者将最后一层的Uni-Modal-Modal特征直接馈入顶部的交叉模式编码器，而忽略了语义深度单模式编码器中不同级别的信息。两种方法都可能限制视觉表示学习和限制模型性能。在本文中，我们介绍了多个桥梁层，该层在Uni-Modal编码器的顶层和跨模式编码器的每一层之间建立了连接。这可以在不同语义级别的视觉和文本表示之间进行全面的自下而上相互作用，从而导致更有效的跨模式对齐和融合。我们提出的桥梁可以预先训练，仅需$ 4 $ m的图像，可以在各种下游视觉语言任务上实现最先进的性能。在VQAV2 Test-STD集合中，Bridge-Tower的准确性为$ 78.73 \％$，与以前的最先进的仪表型号相同的the Art仪表均优于先前的最先进的仪表\％$ $，并且几乎没有其他参数，并且几乎没有其他参数和其他参数计算成本。值得注意的是，当进一步扩展模型时，桥梁可以达到81.15美元\％$的准确性，超过了在较大的数据集中预先训练的模型。代码可在https://github.com/microsoft/bridgetower上找到。

Large-scale vision and language representation learning has shown promising improvements on various vision-language tasks. Most existing methods employ a transformer-based multimodal encoder to jointly model visual tokens (region-based image features) and word tokens. Because the visual tokens and word tokens are unaligned, it is challenging for the multimodal encoder to learn image-text interactions. In this paper, we introduce a contrastive loss to ALign the image and text representations BEfore Fusing (ALBEF) them through cross-modal attention, which enables more grounded vision and language representation learning. Unlike most existing methods, our method does not require bounding box annotations nor high-resolution images. To improve learning from noisy web data, we propose momentum distillation, a self-training method which learns from pseudo-targets produced by a momentum model. We provide a theoretical analysis of ALBEF from a mutual information maximization perspective, showing that different training tasks can be interpreted as different ways to generate views for an image-text pair. ALBEF achieves state-of-the-art performance on multiple downstream visionlanguage tasks. On image-text retrieval, ALBEF outperforms methods that are pre-trained on orders of magnitude larger datasets. On VQA and NLVR 2 , ALBEF achieves absolute improvements of 2.37% and 3.84% compared to the state-ofthe-art, while enjoying faster inference speed. Code and models are available at https://github.com/salesforce/ALBEF.

我们介绍了一个统一的视觉 - 语言普试模型（VLMO），共同学习双编码器和带有模块化变压器网络的融合编码器。具体而言，我们介绍了模态 - 专家（Mome）变压器的混合，其中每个块包含一个模态特定专家和共同的自我注意层。由于Mome的柔性柔韧性，预先调整的VLMO可以精细调整为viSion语言分类任务的融合编码器，或用作双编码器，用于有效的图像文本检索。此外，我们提出了一个航向的预训练策略，它有效地利用了除了图像文本对之外的大规模图像和仅文本数据。实验结果表明，VLMO在各种视觉语言任务上实现了最先进的结果，包括VQA和NLVR2。代码和预用模型可以在https://aka.ms/vlmo获得。

The availability of large-scale image captioning and visual question answering datasets has contributed significantly to recent successes in vision-and-language pretraining. However, these datasets are often collected with overrestrictive requirements inherited from their original target tasks (e.g., image caption generation), which limit the resulting dataset scale and diversity. We take a step further in pushing the limits of vision-and-language pretraining data by relaxing the data collection pipeline used in Conceptual Captions 3M (CC3M) [70] and introduce the Conceptual 12M (CC12M), a dataset with 12 million image-text pairs specifically meant to be used for visionand-language pre-training. We perform an analysis of this dataset and benchmark its effectiveness against CC3M on multiple downstream tasks with an emphasis on long-tail visual recognition. Our results clearly illustrate the benefit of scaling up pre-training data for vision-and-language tasks, as indicated by the new state-of-the-art results on both the nocaps and Conceptual Captions benchmarks. 1

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

最先进的愿景和愿景和语言模型依靠大规模的Visio-linguisting预借鉴，以获得各种下游任务的良好性能。通常，这种模型通常是跨模态（对比）或多模态（具有早期融合）但不是两者;它们通常只针对特定的方式或任务。有希望的方向将是使用单一整体普遍模型，作为“基础”，目标是一次性的所有方式 - 真正的视觉和语言基础模型应该擅长视力任务，语言任务和交叉和多数模态视觉和语言任务。我们将Flava介绍在这样的模型中，并在跨越这些目标模式的广泛的35个任务上展示令人印象深刻的性能。

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。

本文介绍了用于学习对象级别，语言感知和富含语义的视觉表示的接地语言图像预培训（GLIP）模型。 Glip统一对象检测和短语进行预培训。统一带来了两个好处：1）它允许GLIP从检测和接地数据中学习，以改善两个任务和引导良好的接地模型; 2）GLIP可以通过以自培训方式产生接地盒来利用大规模的图像文本对，使学习的表示是语义丰富的。在我们的实验中，我们在27M的接地数据上预先列车触胶，包括3M人的注释和24M Web爬网的图像文本对。学习的表示表明了强烈的零射击和对各种对象识别任务的可转换性。 1）直接在Coco和LVIS上评估（在训练期间没有在Coco中看到任何图像）时，Plip分别达到49.8 AP和26.9 AP，超过许多监督基线。 2）在COCO上微调后，GLIP在Val和61.5 AP上实现60.8 AP在测试开发上，超过先前的SOTA。 3）当转移到下游对象检测任务时，具有完全监控动态头的1次触发器竞争对手。代码将在https://github.com/microsoft/glip发布。