基于知识的视觉问题答案（VQA）希望模型依靠外部知识来进行强大的答案预测。尽管这很重要，但本文发现了阻碍当前最新方法发展的几个主要因素。一方面，利用显式知识的方法将知识视为经过精心训练的VQA模型的补充。尽管它们有效，但这些方法通常会遭受噪声纳入和错误传播的影响。另一方面，与隐式知识有关的是，基于知识的VQA的多模式隐式知识仍然在很大程度上尚未探索。这项工作为基于知识的VQA提供了统一的端到端检索器框架。特别是，我们阐明了从视觉语言预训练模型中的多模式隐式知识，以挖掘其在知识推理中的潜力。至于检索操作在显式知识上遇到的噪音问题，我们设计了一种新的方案，以创建伪标签以进行有效的知识监督。该方案不仅能够为知识检索提供指导，而且还可以将这些实例带入问题回答的可能性。为了验证所提出的方法的有效性，我们在基准数据集上进行了广泛的实验。实验结果表明，我们的方法以明显的边距优于现有基线。除了报道的数字外，本文还通过一些经验发现，进一步催生了对未来研究的知识利用的一些见解。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

使多模式数据中的每种模式贡献贡献至关重要，对于学习多功能多模式模型至关重要。但是，现有的方法通常在模型训练过程中由一种或几种模式主导，从而导致次优性能。在本文中，我们将此问题称为模态偏见，并试图在多模式分类的背景下进行系统，全面地进行研究。在进行了几个经验分析之后，我们认识到一种模式会影响模型预测，因为这种模式与实例标签具有虚假的相关性。为了主要促进对模式偏差问题的评估，我们分别构建了两个数据集，以根据分布式（OOD）协议一致的彩色数字识别和视频动作识别任务。在视觉问题回答任务中与基准合作，我们经验证明了这些OOD数据集中现有方法的性能退化是合理的，这是证明模式偏见学习合理的证据。此外，为了克服这个问题，我们提出了一种插件损失功能方法，从而根据训练集统计数据可以自适应地学习每个标签的特征空间。此后，我们将此方法应用于八个基准，以测试其有效性。从四个数据集的结果有关上述三个任务的结果，我们的方法与基准相比产生了显着的性能改进，这表明其在减少模态偏差问题上的优势。

最近的研究表明，许多发达的视觉问题的答案（VQA）模型受到先前问题的严重影响，这是指基于文本问题和答案之间的共同发生模式来提出预测而不是推理视觉内容。为了解决它，大多数现有方法都侧重于增强视觉特征学习，以减少对VQA模型决策的这种肤浅的快捷方式影响。然而，有限的努力已经致力于为其固有原因提供明确的解释。因此，缺乏以有目的的方式向前迈出前进的良好指导，导致模型构建困惑在克服这种非琐碎问题时。在本文中，我们建议从类 - 不平衡视图中解释VQA中的语言。具体地，我们设计了一种新颖的解释方案，从而在晚期训练阶段明显展出了误差频繁和稀疏答案的丢失。它明确揭示了为什么VQA模型倾向于产生频繁但是明显的错误答案，给出的给定问题，其正确答案在训练集中稀疏。基于此观察，我们进一步开发了一种新的损失重新缩放方法，以基于计算最终损失的训练数据统计来为每个答案分配不同权重。我们将我们的方法应用于三个基线，两个VQA-CP基准数据集的实验结果明显证明了其有效性。此外，我们还可以证明在其他计算机视觉任务上的类别不平衡解释方案的有效性，例如面部识别和图像分类。

In this paper, we propose an end-to-end Retrieval-Augmented Visual Language Model (REVEAL) that learns to encode world knowledge into a large-scale memory, and to retrieve from it to answer knowledge-intensive queries. REVEAL consists of four key components: the memory, the encoder, the retriever and the generator. The large-scale memory encodes various sources of multimodal world knowledge (e.g. image-text pairs, question answering pairs, knowledge graph triplets, etc) via a unified encoder. The retriever finds the most relevant knowledge entries in the memory, and the generator fuses the retrieved knowledge with the input query to produce the output. A key novelty in our approach is that the memory, encoder, retriever and generator are all pre-trained end-to-end on a massive amount of data. Furthermore, our approach can use a diverse set of multimodal knowledge sources, which is shown to result in significant gains. We show that REVEAL achieves state-of-the-art results on visual question answering and image captioning.

视觉问题回答（VQA）通常需要对视觉概念和语言语义的理解，这取决于外部知识。大多数现有方法利用了预训练的语言模型或/和非结构化文本，但是这些资源中的知识通常不完整且嘈杂。有些方法更喜欢使用经常具有强化结构知识的知识图（kgs），但是研究仍然相当初步。在本文中，我们提出了Lako，这是一种知识驱动的VQA方法，通过后期的文本注射。为了有效地纳入外部kg，我们将三元三元转移到文本中，并提出一种晚期注射机制。最后，我们将VQA作为文本生成任务，并具有有效的编码器范式。在使用OKVQA数据集的评估中，我们的方法可实现最新的结果。

最近与大型变压器的主要工作的主要重点是优化包装到模型参数中的信息量。在这项工作中，我们问了一个不同的问题：多峰变压器可以在他们推理中利用明确的知识吗？现有，主要是单峰，方法在知识检索范例下探讨了方法，随后回答预测，但留下了关于所使用的检索知识的质量和相关性的开放性问题，以及如何集成隐含和明确知识的推理过程。为了解决这些挑战，我们提出了一种新颖的模型 - 知识增强变压器（KAT） - 在OK-VQA的开放式多模式任务上实现了强大的最先进的结果（+6分）。我们的方法在结束到终端编码器 - 解码器架构中集成了隐式和显式知识，同时在答案生成期间仍然共同推理了两个知识源。在我们分析中提高了模型预测的可解释性，可以看到明确知识集成的额外好处。

在过去的几年中，训练前模型的出现将单峰领域（例如计算机视觉（CV）和自然语言处理（NLP））带到了一个新时代。实质性的作品表明它们对下游大学任务有益，并避免从头开始训练新的模型。那么，此类预训练的模型可以应用于多模式任务吗？研究人员探索了这个问题并取得了重大进展。本文调查了视觉预训练（VLP）的最新进展和新的前沿，包括图像文本和视频文本预训练。为了使读者更好地掌握VLP，我们首先从五个方面回顾了其最新进展：功能提取，模型体系结构，培训预训练目标，预训练数据集和下游任务。然后，我们详细概述了特定的VLP模型。最后，我们讨论了VLP中的新边界。据我们所知，这是对VLP的首次调查。我们希望这项调查能够阐明VLP领域的未来研究。

We study joint learning of Convolutional Neural Network (CNN) and Transformer for vision-language pre-training (VLPT) which aims to learn cross-modal alignments from millions of image-text pairs. State-of-the-art approaches extract salient image regions and align regions with words step-by-step. As region-based visual features usually represent parts of an image, it is challenging for existing visionlanguage models to fully understand the semantics from paired natural languages. In this paper, we propose SOHO to "See Out of tHe bOx" that takes a whole image as input, and learns vision-language representation in an endto-end manner. SOHO does not require bounding box annotations which enables inference 10 times faster than regionbased approaches. In particular, SOHO learns to extract comprehensive yet compact image features through a visual dictionary (VD) that facilitates cross-modal understanding. VD is designed to represent consistent visual abstractions of similar semantics. It is updated on-the-fly and utilized in our proposed pre-training task Masked Visual Modeling (MVM). We conduct experiments on four well-established vision-language tasks by following standard VLPT settings. In particular, SOHO achieves absolute gains of 2.0% R@1 score on MSCOCO text retrieval 5k test split, 1.5% accuracy on NLVR 2 test-P split, 6.7% accuracy on SNLI-VE test split, respectively.

Vision-Language预培训（VLP）旨在从图像文本对中学习多模态表示，并以微调方式为下游视觉语言任务服务。主导VLP模型采用CNN变压器架构，该架构将图像与CNN嵌入，然后使用变压器对齐图像和文本。视觉内容之间的视觉关系在图像理解中发挥着重要作用，并且是模态对齐学习的基本。然而，由于局部接受领域在建模远程依赖性方面的弱点，CNNS具有局限性。因此，在相同的变压器网络中封装了学习视觉关系和模态对齐的两个目标。这种设计可能通过忽略每个目标的专用特性来限制变压器中的模态对准学习。为了解决这个问题，我们提出了一个完全变压器视觉嵌入VLP，以更好地学习视觉关系，进一步促进模态对齐。具体地，我们提出了一个名为Domank跨性流量的度量（IMF），以测量视觉和语言模态之间的交互（即，互别互别）。我们还设计了一种名为Massed Featuber Resollion（MFR）的新型屏蔽优化机制，在变压器中进一步推广了模范间学习。据我们所知，这是第一项探索VLP中可视化特征学习的变压器的利益的研究。我们在广泛的视觉语言任务中验证了我们的方法，包括图像文本检索，视觉问题应答（VQA），视觉征求和视觉推理。我们的方法不仅优于最先进的VLP性能，而且还显示了对IMF度量的好处。

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

最近的几项研究指出，现有的视觉问题回答（VQA）模型严重遭受了先前的问题的困扰，这是指捕获问题类型和答案之间的表面统计相关性，而忽略了图像内容。通过创建精致的模型或引入额外的视觉注释，已经致力于加强图像依赖性。但是，这些方法无法充分探索视觉提示如何显式影响学习的答案表示，这对于减轻语言的依赖至关重要。此外，他们通常强调对学习的答案表示形式的班级歧视，这忽略了更精细的实例级别模式，并要求进一步优化。在本文中，我们从视觉扰动校准的角度提出了一种新颖的协作学习方案，该方案可以更好地研究细粒度的视觉效果，并通过学习实例级别的特征来减轻语言的先验问题。具体而言，我们设计了一个视觉控制器来构建具有不同扰动范围的两种策划图像，基于该图像的协作学习内置不变性和实体歧视的协作学习由两个精心设计的歧视者实现。此外，我们在潜在空间上实施信息瓶颈调制器，以进一步减轻偏见和表示校准。我们将视觉扰动感知框架强加于三个正统基准，并将实验结果对两个诊断性VQA-CP基准数据集进行了实验结果，显然表明了其有效性。此外，我们还证明了它在平衡的VQA基准上的鲁棒性是合理的。

根据图像回答语义复杂的问题是在视觉问题应答（VQA）任务中的具有挑战性。虽然图像可以通过深度学习来良好代表，但是始终简单地嵌入问题，并且不能很好地表明它的含义。此外，视觉和文本特征具有不同模式的间隙，很难对齐和利用跨模块信息。在本文中，我们专注于这两个问题，并提出了一种匹配关注（GMA）网络的图表。首先，它不仅为图像构建图形，而且在句法和嵌入信息方面构建了该问题的图表。接下来，我们通过双级图形编码器探讨了模特内的关系，然后呈现双边跨模型图匹配注意力以推断图像与问题之间的关系。然后将更新的跨模式特征发送到答案预测模块中以进行最终答案预测。实验表明，我们的网络在GQA数据集和VQA 2.0数据集上达到了最先进的性能。消融研究验证了GMA网络中每个模块的有效性。

视觉问题的视觉关注在视觉问题上应答（VQA）目标在定位有关答案预测的右图像区域，提供强大的技术来促进多模态理解。然而，最近的研究指出，来自视觉关注的突出显示的图像区域通常与给定的问题和答案无关，导致模型混淆正确的视觉推理。为了解决这个问题，现有方法主要是为了对准人类关注的视觉注意力。尽管如此，收集这种人类数据是费力且昂贵的，使其在数据集中调整良好开发的模型。为了解决这个问题，在本文中，我们设计了一种新的视觉关注正规化方法，即attreg，以便在VQA中更好地视觉接地。具体而言，attraT首先识别了由骨干模型出乎意料地忽略（即，分配低注意重量）的问题所必需的图像区域。然后，利用掩模引导的学习方案来规范视觉注意力，以便更多地关注这些忽略的关键区域。所提出的方法是非常灵活的，模型不可知，可以集成到基于大多数基于视觉关注的VQA模型中，并且不需要人类注意监督。已经进行了三个基准数据集，即VQA-CP V2，VQA-CP V1和VQA V2的广泛实验，以评估attreg的有效性。作为副产品，将Attreg纳入强基线LMH时，我们的方法可以实现新的最先进的准确性为60.00％，在VQA-CP V2基准数据集上绝对性能增益为7.01％。 。

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。

Vision-Language预培训是一个新兴和快速发展的研究主题，将多模态知识从丰富的资源预训练任务转移到有限资源下游任务。与主要学习单个通用编码器的现有作品不同，我们提出了一种可训练的通用编码器 - 解码器网络（UNI-EDEN），以促进视觉语言感知（例如，视觉问题应答）和生成（例如，图像标题）。 UNI-EDEN是一种基于双流变换器的结构，由三个模块组成：对象和句子编码器，其单独了解每个模态的表示，以及通过模态交互能够实现多模态推理和句子的句子解码器。考虑到每个图像的语言表示可以跨越该层次结构的不同粒度，包括从简单到全面，个人标签，短语和自然句子，我们通过多粒愿景语言代理任务预先列车UNI-EDEN：屏蔽对象分类（MOC），蒙版区域短语生成（MRPG），图像句匹配（ISM）和屏蔽句生成（MSG）。以这种方式，UNI-EDEN赋予了多模态表示提取和语言建模的功率。广泛的实验证明了通过微调到四个视觉语言感知和发电下游任务来展示Uni-Eden的概括性。

医学视觉和语言预训练（MED-VLP）由于适用于从医学图像和文本中提取通用视觉和语言表示的适用性而受到了相当大的关注。大多数现有方法主要包含三个元素：Uni-Modal编码器（即视觉编码器和语言编码器），多模式融合模块以及借口任务，很少有研究考虑医疗领域专家知识的重要性，并明确利用此类此类此类此类此类。知识以促进Med-vlp。尽管在通用域中存在具有知识增强的视觉和语言预训练（VLP）方法，但大多数人都需要现成的工具包（例如，对象检测器和场景图解析器），这些工具包在医疗领域中是不可用的。在本文中，我们提出了一种系统有效的方法，从三个角度通过结构化医学知识来增强MED-VLP。首先，考虑知识可以被视为视觉和语言之间的中间媒介，我们通过知识对齐视觉编码器和语言编码器的表示。其次，我们将知识注入多模式融合模型，以使模型能够使用知识作为补充输入图像和文本进行推理。第三，我们指导该模型通过设计知识引起的借口任务来强调图像和文本中最关键的信息。为了进行全面的评估并促进进一步的研究，我们构建了包括三个任务的医学视觉和语言基准。实验结果说明了我们方法的有效性，在所有下游任务上都实现了最先进的性能。进一步的分析探讨了我们方法的不同组成部分和预训练的各种环境的影响。

构建一个通用视频语言模型，用于解决各种视频理解任务（例如，文本视频检索，视频问答）是对机器学习领域的开放挑战。为了实现这一目标，最近的尝试训练模型，通常由单峰和跨模式的特征编码器组成，并具有受监督或成对的对比度的预文本任务。尽管提供了有吸引力的通用性，但最终的模型必须在效率和性能之间妥协。我们认为这些缺陷是由它们的预训练策略\ Textemdash引起的，它们不能很好地对齐和融合不同方式的特征。然后，我们将三叶草（一种相关的视频预培训方法）介绍给一个通用的视频语言模型，该模型用于解决既不效率也不妥协的多个视频理解任务。它通过新的三模式比对预训练任务来改善跨模式特征对齐和融合。此外，我们建议通过合并蒙面样品的学习和新颖的成对排名损失来增强三模式对齐。三叶草表现出了出色的一般性。它在多个下游任务上建立了新的最新技术，包括零射击和微调设置的三个检索任务，以及八个视频问答任务。代码和预培训模型将在https://github.com/leeyn-43/clover上发布。

基于知识的视觉问题的问题涉及除了图像内容之外还涉及需要外部知识的问题。这些知识通常有各种形式，包括视觉，文本和致辞知识。使用更多知识来源，增加了检索更无关紧要或嘈杂的事实的可能性，使其充实并找到答案的挑战。为了解决这一挑战，我们使用外部知识（MAVEX）提出了多模态答案验证，其中该想法是根据答案特定知识检索验证一组有希望的答案候选者。而不是在大多数现有方法中搜索大量不相关的事实中的答案，Mavex旨在学习如何从嘈杂来源中提取相关知识，这是对每个答复候选者的信任，以及如何使用候选者那个来源。除了以维基百科句子和概念概念的形式之外，我们的多模态设置是第一个利用外部视觉知识（使用谷歌搜索的图像）。我们的实验与OK-VQA是一个具有挑战性的知识VQA数据集，证明了MAVEX实现了新的最先进的结果。我们的代码可在https://github.com/jialinwu17/mavex提供

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.