最近，许多研究表明，通过使用多模式的训练预训练目标扩展BERT体系结构，在各种视觉语言多模式任务（例如图像字幕和视觉问题）上进行了令人印象深刻的表现。在这项工作中，我们探讨了医学领域中的一系列多模式表示任务，专门使用放射学图像和非结构化报告。我们提出了医学视觉语言学习者（MEDVILL），该语言学习者采用基于BERT的建筑与一种新型的多模式注意掩盖方案相结合，以最大程度地提高概括性能，以实现视力语言理解任务（诊断分类，医疗图像报告，医学视觉，医疗视觉效果问答）和视觉生成任务（放射学报告生成）。通过统计和严格评估四个下游任务的拟议模型，该模型具有三个X光摄影图像报告数据集（Mimic-CXR，Open-I和VQA-RAD），我们从经验上凭经验证明了MEDVILL的卓越下游任务，包括各种基准，包括任务 - 特定体系结构。源代码可公开可用：https：//github.com/supersupermoon/medvill

视觉预训练的最新进展表明，在不同的视觉任务中表现出惊人的表现，阐明了对人工智能研究中对视觉和文本概念的全面理解的长期问题。但是，在医学领域的视觉预训练的应用方面取得了有限数量和多样性阻碍了对联合视觉语言概念的成功学习。在这项研究中，我们介绍了Max-VL，这是一种针对医疗领域中有效视觉预训练的模型。我们在实验上证明，预先训练的MAX-VL模型在各种视觉任务中都优于当前最新视觉语言模型。我们还提出了用于诊断新出现疾病和人为错误检测的临床实用性，并显示了该模型在不同领域数据中的广泛适用性。

Vision-Language预培训是一个新兴和快速发展的研究主题，将多模态知识从丰富的资源预训练任务转移到有限资源下游任务。与主要学习单个通用编码器的现有作品不同，我们提出了一种可训练的通用编码器 - 解码器网络（UNI-EDEN），以促进视觉语言感知（例如，视觉问题应答）和生成（例如，图像标题）。 UNI-EDEN是一种基于双流变换器的结构，由三个模块组成：对象和句子编码器，其单独了解每个模态的表示，以及通过模态交互能够实现多模态推理和句子的句子解码器。考虑到每个图像的语言表示可以跨越该层次结构的不同粒度，包括从简单到全面，个人标签，短语和自然句子，我们通过多粒愿景语言代理任务预先列车UNI-EDEN：屏蔽对象分类（MOC），蒙版区域短语生成（MRPG），图像句匹配（ISM）和屏蔽句生成（MSG）。以这种方式，UNI-EDEN赋予了多模态表示提取和语言建模的功率。广泛的实验证明了通过微调到四个视觉语言感知和发电下游任务来展示Uni-Eden的概括性。

This paper presents a unified Vision-Language Pre-training (VLP) model. The model is unified in that (1) it can be finetuned for either vision-language generation (e.g., image captioning) or understanding (e.g., visual question answering) tasks, and (2) it uses a shared multi-layer transformer network for both encoding and decoding, which differs from many existing methods where the encoder and decoder are implemented using separate models. The unified VLP model is pre-trained on a large amount of image-text pairs using the unsupervised learning objectives of two tasks: bidirectional and sequence-to-sequence (seq2seq) masked vision-language prediction. The two tasks differ solely in what context the prediction conditions on. This is controlled by utilizing specific self-attention masks for the shared transformer network. To the best of our knowledge, VLP is the first reported model that achieves state-of-the-art results on both vision-language generation and understanding tasks, as disparate as image captioning and visual question answering, across three challenging benchmark datasets: COCO Captions, Flickr30k Captions, and VQA 2.0. The code and the pre-trained models are available at https://github.com/LuoweiZhou/VLP.

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

We study joint learning of Convolutional Neural Network (CNN) and Transformer for vision-language pre-training (VLPT) which aims to learn cross-modal alignments from millions of image-text pairs. State-of-the-art approaches extract salient image regions and align regions with words step-by-step. As region-based visual features usually represent parts of an image, it is challenging for existing visionlanguage models to fully understand the semantics from paired natural languages. In this paper, we propose SOHO to "See Out of tHe bOx" that takes a whole image as input, and learns vision-language representation in an endto-end manner. SOHO does not require bounding box annotations which enables inference 10 times faster than regionbased approaches. In particular, SOHO learns to extract comprehensive yet compact image features through a visual dictionary (VD) that facilitates cross-modal understanding. VD is designed to represent consistent visual abstractions of similar semantics. It is updated on-the-fly and utilized in our proposed pre-training task Masked Visual Modeling (MVM). We conduct experiments on four well-established vision-language tasks by following standard VLPT settings. In particular, SOHO achieves absolute gains of 2.0% R@1 score on MSCOCO text retrieval 5k test split, 1.5% accuracy on NLVR 2 test-P split, 6.7% accuracy on SNLI-VE test split, respectively.

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。

This paper presents a detailed study of improving visual representations for vision language (VL) tasks and develops an improved object detection model to provide object-centric representations of images. Compared to the most widely used bottom-up and top-down model [2], the new model is bigger, better-designed for VL tasks, and pre-trained on much larger training corpora that combine multiple public annotated object detection datasets. Therefore, it can generate representations of a richer collection of visual objects and concepts. While previous VL research focuses mainly on improving the vision-language fusion model and leaves the object detection model improvement untouched, we show that visual features matter significantly in VL models. In our experiments we feed the visual features generated by the new object detection model into a Transformer-based VL fusion model OSCAR [21], and utilize an improved approach OSCAR+ to pre-train the VL model and fine-tune it on a wide range of downstream VL tasks. Our results show that the new visual features significantly improve the performance across all VL tasks, creating new state-of-the-art results on seven public benchmarks. Code, models and pre-extracted features are released at https://github.com/pzzhang/VinVL. ♥ Microsoft Corporation♠ University of Washington † indicates equal contributions.

Large-scale pre-training methods of learning cross-modal representations on image-text pairs are becoming popular for vision-language tasks. While existing methods simply concatenate image region features and text features as input to the model to be pre-trained and use selfattention to learn image-text semantic alignments in a brute force manner, in this paper, we propose a new learning method Oscar 1 , which uses object tags detected in images as anchor points to significantly ease the learning of alignments. Our method is motivated by the observation that the salient objects in an image can be accurately detected, and are often mentioned in the paired text. We pre-train an Oscar model on the public corpus of 6.5 million text-image pairs, and fine-tune it on downstream tasks, creating new state-of-the-arts on six well-established vision-language understanding and generation tasks. 2

医学视觉和语言预训练提供了一种可行的解决方案，可以从医学图像和文本中提取有效的视觉和语言表示。但是，很少有研究专门研究该领域，以促进医学视觉和语言理解。在本文中，我们提出了一种自我监督的学习范式，该学习范式使用多模式掩盖的自动编码器（M $^3 $ ae），通过从随机掩盖的图像和文本中重新构造缺失的像素和代币来学习跨模式域知识。有三个关键设计可以使这种简单的方法起作用。首先，考虑到视觉和语言的不同信息密度，我们为输入图像和文本采用不同的掩蔽比，其中将较大的掩模比用于图像。其次，我们使用来自不同层的视觉和文本特征来执行重建，以处理视觉和语言中不同级别的抽象。第三，我们为视觉和语言解码器开发了不同的设计（即，视觉的变压器和语言的多层感知器）。为了进行全面的评估并促进进一步的研究，我们构建了包括三个任务的医学视觉和语言基准。实验结果证明了我们方法的有效性，在所有下游任务上都取得了最新的结果。此外，我们进行进一步的分析，以更好地验证方法的不同组成部分和预训练的各种设置。源代码可在〜\ url {https://github.com/zhjohnchan/m3ae}中获得。

Vision-Language预培训（VLP）旨在从图像文本对中学习多模态表示，并以微调方式为下游视觉语言任务服务。主导VLP模型采用CNN变压器架构，该架构将图像与CNN嵌入，然后使用变压器对齐图像和文本。视觉内容之间的视觉关系在图像理解中发挥着重要作用，并且是模态对齐学习的基本。然而，由于局部接受领域在建模远程依赖性方面的弱点，CNNS具有局限性。因此，在相同的变压器网络中封装了学习视觉关系和模态对齐的两个目标。这种设计可能通过忽略每个目标的专用特性来限制变压器中的模态对准学习。为了解决这个问题，我们提出了一个完全变压器视觉嵌入VLP，以更好地学习视觉关系，进一步促进模态对齐。具体地，我们提出了一个名为Domank跨性流量的度量（IMF），以测量视觉和语言模态之间的交互（即，互别互别）。我们还设计了一种名为Massed Featuber Resollion（MFR）的新型屏蔽优化机制，在变压器中进一步推广了模范间学习。据我们所知，这是第一项探索VLP中可视化特征学习的变压器的利益的研究。我们在广泛的视觉语言任务中验证了我们的方法，包括图像文本检索，视觉问题应答（VQA），视觉征求和视觉推理。我们的方法不仅优于最先进的VLP性能，而且还显示了对IMF度量的好处。

由于其有效的模型架构以及大规模未标记的扫描/数字出生的文件的优势，在各种视觉上丰富的文档理解任务中已经证明了文本和布局的预先培训。我们提出了具有新的预培训任务的Layoutlmv2架构，以在单个多模态框架中模拟文本，布局和图像之间的交互。具体地，对于双流多模态变压器编码器，LayOutLMV2不仅使用现有屏蔽的视觉语言建模任务，还使用新的文本图像对齐和文本图像匹配任务，这使得它更好地捕获跨模块交互在预训练阶段。同时，它还将空间感知的自我注意机制集成到变压器架构中，以便模型可以完全理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMV2优于大幅度的LayOutlm，并在大量下游的下游富有的文件理解任务中实现了新的最先进的结果，包括Funsd（0.7895 $ \至0.8420美元），电源线（0.9493 $ \至0.9601美元），Srie（0.9524 $ \至0.9781美元），Kleister-NDA（0.8340 $ \ 0.8520美元），RVL-CDIP（0.9443 $ \至0.9564美元），DOCVQA（0.7295 $ \至0.8672美元） 。我们使我们的模型和代码公开可用于\ url {https://aka.ms/layoutlmv2}。

Joint image-text embedding is the bedrock for most Visionand-Language (V+L) tasks, where multimodality inputs are simultaneously processed for joint visual and textual understanding. In this paper, we introduce UNITER, a UNiversal Image-TExt Representation, learned through large-scale pre-training over four image-text datasets (COCO, Visual Genome, Conceptual Captions, and SBU Captions), which can power heterogeneous downstream V+L tasks with joint multimodal embeddings. We design four pre-training tasks: Masked Language Modeling (MLM), Masked Region Modeling (MRM, with three variants), Image-Text Matching (ITM), and Word-Region Alignment (WRA). Different from previous work that applies joint random masking to both modalities, we use conditional masking on pre-training tasks (i.e., masked language/region modeling is conditioned on full observation of image/text). In addition to ITM for global image-text alignment, we also propose WRA via the use of Optimal Transport (OT) to explicitly encourage finegrained alignment between words and image regions during pre-training. Comprehensive analysis shows that both conditional masking and OTbased WRA contribute to better pre-training. We also conduct a thorough ablation study to find an optimal combination of pre-training tasks. Extensive experiments show that UNITER achieves new state of the art across six V+L tasks (over nine datasets), including Visual Question

在过去的几年中，训练前模型的出现将单峰领域（例如计算机视觉（CV）和自然语言处理（NLP））带到了一个新时代。实质性的作品表明它们对下游大学任务有益，并避免从头开始训练新的模型。那么，此类预训练的模型可以应用于多模式任务吗？研究人员探索了这个问题并取得了重大进展。本文调查了视觉预训练（VLP）的最新进展和新的前沿，包括图像文本和视频文本预训练。为了使读者更好地掌握VLP，我们首先从五个方面回顾了其最新进展：功能提取，模型体系结构，培训预训练目标，预训练数据集和下游任务。然后，我们详细概述了特定的VLP模型。最后，我们讨论了VLP中的新边界。据我们所知，这是对VLP的首次调查。我们希望这项调查能够阐明VLP领域的未来研究。

医学视觉和语言预训练（MED-VLP）由于适用于从医学图像和文本中提取通用视觉和语言表示的适用性而受到了相当大的关注。大多数现有方法主要包含三个元素：Uni-Modal编码器（即视觉编码器和语言编码器），多模式融合模块以及借口任务，很少有研究考虑医疗领域专家知识的重要性，并明确利用此类此类此类此类此类。知识以促进Med-vlp。尽管在通用域中存在具有知识增强的视觉和语言预训练（VLP）方法，但大多数人都需要现成的工具包（例如，对象检测器和场景图解析器），这些工具包在医疗领域中是不可用的。在本文中，我们提出了一种系统有效的方法，从三个角度通过结构化医学知识来增强MED-VLP。首先，考虑知识可以被视为视觉和语言之间的中间媒介，我们通过知识对齐视觉编码器和语言编码器的表示。其次，我们将知识注入多模式融合模型，以使模型能够使用知识作为补充输入图像和文本进行推理。第三，我们指导该模型通过设计知识引起的借口任务来强调图像和文本中最关键的信息。为了进行全面的评估并促进进一步的研究，我们构建了包括三个任务的医学视觉和语言基准。实验结果说明了我们方法的有效性，在所有下游任务上都实现了最先进的性能。进一步的分析探讨了我们方法的不同组成部分和预训练的各种环境的影响。

变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。

自我监督的视觉和语言预处理（VLP）旨在从大规模的图像文本数据中学习可转移的多模式表示形式，并在填充后在广泛的视觉范围内实现强大的表现。以前的主流VLP方法通常采用依靠外部对象检测器来编码多模式变压器框架中的图像的两步策略，该框架遭受了限制性对象概念空间，有限的图像上下文和效率低下的计算。在本文中，我们提出了一个对象感知的端到端VLP框架，该框架将来自CNN的图像网格特征直接馈送到变压器中，并共同学习多模式表示。更重要的是，我们建议执行对象知识蒸馏，以促进在不同语义级别的学习跨模式对齐。为了实现这一目标，我们通过将对象特征及其来自外部检测器的语义标签作为监督来设计两个新颖的借口任务：1。）对象引导的蒙版视觉建模任务的重点是在多模式变压器中强制执行对象感知的表示的学习； 2.）短语区域对准任务旨在通过利用语言空间中名词短语和对象标签之间的相似性来改善跨模式对齐。对各种视觉语言任务进行的广泛实验证明了我们提出的框架的功效，并且我们在现有的预科策略中实现了竞争性或优越的表现。

There is a key problem in the medical visual question answering task that how to effectively realize the feature fusion of language and medical images with limited datasets. In order to better utilize multi-scale information of medical images, previous methods directly embed the multi-stage visual feature maps as tokens of same size respectively and fuse them with text representation. However, this will cause the confusion of visual features at different stages. To this end, we propose a simple but powerful multi-stage feature fusion method, MF2-MVQA, which stage-wise fuses multi-level visual features with textual semantics. MF2-MVQA achieves the State-Of-The-Art performance on VQA-Med 2019 and VQA-RAD dataset. The results of visualization also verify that our model outperforms previous work.

We present ViLBERT (short for Vision-and-Language BERT), a model for learning task-agnostic joint representations of image content and natural language. We extend the popular BERT architecture to a multi-modal two-stream model, processing both visual and textual inputs in separate streams that interact through co-attentional transformer layers. We pretrain our model through two proxy tasks on the large, automatically collected Conceptual Captions dataset and then transfer it to multiple established vision-and-language tasks -visual question answering, visual commonsense reasoning, referring expressions, and caption-based image retrieval -by making only minor additions to the base architecture. We observe significant improvements across tasks compared to existing task-specific modelsachieving state-of-the-art on all four tasks. Our work represents a shift away from learning groundings between vision and language only as part of task training and towards treating visual grounding as a pretrainable and transferable capability.Preprint. Under review.

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。