多模式学习，尤其是大规模的多模式预训练，在过去的几年中已经迅速发展，并带来了人工智能（AI）的最大进步。尽管具有有效性，但了解多模式预训练模型的潜在机制仍然是一个巨大的挑战。揭示此类模型的解释性可能会使AI领域中新型学习范式的突破。为此，鉴于人脑的多模式性质，我们建议借助非侵入性脑成像技术（例如功能磁共振成像（fMRI））探索多模式学习模型的解释性。具体而言，我们首先提出了1500万个图像文本对预训练的新设计的多模式基础模型，该模型在各种认知下游任务中显示出强烈的多模式理解和概括能力。此外，从神经编码的角度来看（基于我们的基础模型），我们发现，与单峰相比，经过多模式训练的视觉和舌编码器都更像脑状。特别是，我们确定了许多大脑区域，其中多模式训练的编码器表现出更好的神经编码性能。这与现有有关探索大脑多感觉整合的研究的发现是一致的。因此，我们认为，多模式基础模型是神经科学家研究人脑中多模式信号处理机制的更合适的工具。我们的发现还证明了多模式基础模型作为理想的计算模拟器的潜力，以促进脑和大脑的AI研究。

人工智能（AI）的基本目标是模仿人类的核心认知活动。尽管在AI研究中取得了巨大的成功，但大多数现有方法仅具有单认知能力。为了克服这一局限性并迈出了朝着人工通用智能（AGI）迈出的坚实一步，我们开发了一个通过庞大的多模式数据进行预训练的基础模型，可以快速适应各种下游认知任务。为了实现这一目标，我们建议通过从Internet上拖延的语义相关数据进行自我监督的学习来预先培训我们的基础模型，并表明可以在各种下游任务上获得有希望的结果。特别是，使用开发的模型解剖工具，我们证明了我们的基础模型现在拥有强大的想象力。我们认为，我们的工作从我们的“弱或狭窄AI”的常见实践到“强或广泛的AI”迈出了转变的迈向AGI。

通过网络视频的快速增长，视频语言建模引起了很多关注。大多数现有方法都假定视频帧和文本描述是语义上关联的，并专注于视频级别的视频模型。但是，该假设通常是有两个原因的：（1）凭借视频内容丰富的语义，很难用单个视频级别的描述覆盖所有帧； （2）原始视频通常具有嘈杂/毫无意义的信息（例如，镜头，过渡或预告片）。尽管最近的许多作品部署了注意力来减轻此问题，但无关/嘈杂的信息仍然使得很难解决。为了克服此类挑战，我们提出了一个高效有效的模型，称为语言引导网络（LGDN），用于视频语言建模。与使用所有提取的视频帧的大多数现有方法不同，LGDN在语言监督下动态过滤了未对准或冗余的帧，并且每个视频仅获得2---4个显着帧，以进行交叉模式令牌级别的对准。在五个公共数据集上进行的广泛实验表明，我们的LGDN优于最先进的利润率。我们还提供了详细的消融研究，以揭示解决噪声问题的关键重要性，以启发未来的视频语言工作。

最近，跨模式的预训练任务一直是一个热点，因为它在各种下文研究中广泛应用，包括检索，字幕，问题答案等。然而，退出的方法采用单媒体预训练模型来探索进行跨模式检索的联合视觉表示，这很容易遭受计算爆炸的影响。此外，尽管常规的双流结构非常有效，但它们仍然缺乏重要的跨模式相互作用，导致性能低。在这些挑战的激励下，我们提出了一个对比的跨模式知识共享预训练（Cookie），以掌握联合文本图像表示。从结构上讲，Cookie由于可接受的时间消耗而采用了传统的双流结构。为了克服上述双流结构的固有缺陷，我们精心设计了两个有效的模块。具体而言，第一个模块是一个体重共享的变压器，它构建在视觉和文本编码器的头上，旨在将语义对齐文本和图像对齐。该设计使视觉和文本路径集中在相同的语义上。另一个是三个专门设计的对比学习，旨在分享不同模型之间的知识。共享的跨模式知识大大发展了单峰表示的研究，从而促进了单模式检索任务。对多模式匹配研究的广泛实验结果，包括跨模式检索，文本匹配和图像检索揭示了我们的计算效率和我们预训练模型的统计指标的上级。

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

视觉语言预训练（VLP）模型在各种下游任务上表现出色。他们的成功在很大程度上取决于预训练的跨模式数据集的规模。但是，中文中缺乏大规模数据集和基准阻碍了中国VLP模型和更广泛的多语言应用程序的发展。在这项工作中，我们发布了一个名为Wukong的大型中国跨模式数据集，其中包含从网络收集的1亿个中文图像文本对。 Wukong旨在基准基准不同的多模式预训练方法，以促进VLP研究和社区发展。此外，我们发布了一组模型，预先训练了各种图像编码器（vit-b/vit-l/swint），还将高级预训练技术应用于VLP，例如锁定图像文本调整，相对于代币的相似性学习和减少互动。还提供了广泛的实验和不同下游任务的基准测试，包括新的最大人验证的图像文本测试数据集。实验表明，Wukong可以作为不同的跨模式学习方法的有前途的中国预培训数据集和基准。对于10个数据集上的零摄像图像分类任务，$ Wukong_ {vit-l} $达到的平均准确度为73.03％。对于图像文本检索任务，它在AIC-ICC上的平均召回率为71.6％，比Wenlan 2.0高12.9％。此外，我们的Wukong模型在下游任务上进行了基准测试，例如多个数据集上的其他变体，例如Flickr8k-CN，Flickr-30K-CN，Coco-CN，Coco-CN等。更多信息可以参考：https：//wukong-dataset.github.io/wukong-dataset/。

大规模数据集上的视觉语言预训练（VLP）在各种下游任务上表现出了首要性能。对于VLP来说，完整且公平的基准（即包括大规模的预训练数据集和各种下游任务）是必不可少的。尽管有很多具有英语语料库的基准，但使用其他语言（例如中文）为VLP建立丰富的基准是一个关键问题。为此，我们为研究界建立了一个称为零的中国跨模式基准，以比较VLP模型。我们发布两个用于下游任务的预训练数据集和五个微调数据集。旁边，我们提出了一个新的预训练前训练框架，用于跨模式学习。具体而言，我们应用全局对比度预级分别学习图像和文本的各个表示。然后，我们通过图像文本交叉编码器和文本图像交叉编码器以细粒度的排名方式融合表示形式。为了进一步增强模型的能力，我们提出了一种由目标引导的蒸馏和特征引导的蒸馏组成的双向蒸馏策略。对于简洁起见，我们将型号r2d2命名。我们在四个公共跨模式数据集和拟议的五个下游数据集上实现最先进的性能。在Flickr30k-CN，可可-CN和Muge进行零射击任务时，与最平均召回的R2D2进行了2.5亿个数据集的R2D2，在2.5亿个数据集中进行了4.7％，5.4％和6.3％的均值改善，而与最新的召回相比艺术。数据集，模型和代码可在https://github.com/yuxie11/r2d2上找到

Recent cross-lingual cross-modal works attempt to extend Vision-Language Pre-training (VLP) models to non-English inputs and achieve impressive performance. However, these models focus only on understanding tasks utilizing encoder-only architecture. In this paper, we propose ERNIE-UniX2, a unified cross-lingual cross-modal pre-training framework for both generation and understanding tasks. ERNIE-UniX2 integrates multiple pre-training paradigms (e.g., contrastive learning and language modeling) based on encoder-decoder architecture and attempts to learn a better joint representation across languages and modalities. Furthermore, ERNIE-UniX2 can be seamlessly fine-tuned for varieties of generation and understanding downstream tasks. Pre-trained on both multilingual text-only and image-text datasets, ERNIE-UniX2 achieves SOTA results on various cross-lingual cross-modal generation and understanding tasks such as multimodal machine translation and multilingual visual question answering.

Video-Text检索（VTR）是多模式理解的一项有吸引力但具有挑战性的任务，该任务旨在在给定查询（视频）的情况下搜索相关的视频（文本）。现有方法通常采用完全异构的视觉文本信息来对齐视频和文本，同时缺乏对这两种模式中均匀的高级语义信息的认识。为了填补这一差距，在这项工作中，我们提出了一个新颖的视觉语言对准模型，名为VTR Hise，该模型通过合并显式高级语义来改善跨模式的表示。首先，我们探讨了显式高级语义的层次结构属性，并将其进一步分为两个级别，即离散的语义和整体语义。具体来说，对于视觉分支，我们利用了现成的语义实体预测器来生成离散的高级语义。同时，采用训练有素的视频字幕模型来输出整体高级语义。至于文本方式，我们将文本分为三个部分，包括发生，动作和实体。特别是，这种情况对应于整体高级语义，同时动作和实体代表离散的语义。然后，利用不同的图推理技术来促进整体和离散的高级语义之间的相互作用。广泛的实验表明，借助明确的高级语义，我们的方法在包括MSR-VTT，MSVD和DIDEMO在内的三个基准数据集上实现了优于最先进方法的卓越性能。

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

在过去的几年中，训练前模型的出现将单峰领域（例如计算机视觉（CV）和自然语言处理（NLP））带到了一个新时代。实质性的作品表明它们对下游大学任务有益，并避免从头开始训练新的模型。那么，此类预训练的模型可以应用于多模式任务吗？研究人员探索了这个问题并取得了重大进展。本文调查了视觉预训练（VLP）的最新进展和新的前沿，包括图像文本和视频文本预训练。为了使读者更好地掌握VLP，我们首先从五个方面回顾了其最新进展：功能提取，模型体系结构，培训预训练目标，预训练数据集和下游任务。然后，我们详细概述了特定的VLP模型。最后，我们讨论了VLP中的新边界。据我们所知，这是对VLP的首次调查。我们希望这项调查能够阐明VLP领域的未来研究。

We present a simple yet effective end-to-end Video-language Pre-training (VidLP) framework, Masked Contrastive Video-language Pretraining (MAC), for video-text retrieval tasks. Our MAC aims to reduce video representation's spatial and temporal redundancy in the VidLP model by a mask sampling mechanism to improve pre-training efficiency. Comparing conventional temporal sparse sampling, we propose to randomly mask a high ratio of spatial regions and only feed visible regions into the encoder as sparse spatial sampling. Similarly, we adopt the mask sampling technique for text inputs for consistency. Instead of blindly applying the mask-then-prediction paradigm from MAE, we propose a masked-then-alignment paradigm for efficient video-text alignment. The motivation is that video-text retrieval tasks rely on high-level alignment rather than low-level reconstruction, and multimodal alignment with masked modeling encourages the model to learn a robust and general multimodal representation from incomplete and unstable inputs. Coupling these designs enables efficient end-to-end pre-training: reduce FLOPs (60% off), accelerate pre-training (by 3x), and improve performance. Our MAC achieves state-of-the-art results on various video-text retrieval datasets, including MSR-VTT, DiDeMo, and ActivityNet. Our approach is omnivorous to input modalities. With minimal modifications, we achieve competitive results on image-text retrieval tasks.

The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .

从纯图像和具有对比性损失的纯图像和文本预测的自我监督的视觉语言是有效的，但是由于双流式体系结构仅在全球层面上与图像和文本表示形式对齐，因此忽略了细粒度​​的对齐。早些时候，受监督的，非对比度的方法具有更细粒度的对齐方式，但需要致密的注释，这些注释不可伸缩。我们提出了一个单个流体系结构，该体系结构使用两个新颖的任务：对称交叉模式重建（XMM）和一个伪标记的关键字预测，将图像和语言对齐：全局，细粒度的补丁和概念/语义（PSL）。在XMM中，我们从一种模态掩盖了输入令牌，并使用跨模式信息重建掩盖的令牌，从而改善了两种模式之间的细粒度对齐。在PSL中，我们使用注意力在标题中选择关键字，使用动量编码器推荐标题中缺少但在图像中表示的其他重要关键字，然后训练视觉编码器以预测这些关键字的存在，并帮助它。学习对于将文本令牌接地到图像区域至关重要的语义概念。我们证明了对图像文本检索，接地，视觉问题的回答/推理的竞争性能和提高的数据效率，以针对对更多数据进行培训的较大模型和模型。 Zaidkhan.me/simla上可用的代码和型号。

Video-Text检索是一类跨模式表示学习问题，其目标是选择与给定文本查询和候选视频库之间的文本查询相对应的视频。视觉训练预处理的对比范式在大规模数据集和统一的变压器体系结构中表现出了有希望的成功，并证明了联合潜在空间的力量。尽管如此，视觉域和文本域之间的固有差异仍未被消除，并且将不同的模态投射到联合潜在空间可能会导致单个模式内的信息扭曲。为了克服上述问题，我们提出了一种新的机制，可以学习从源模式空间$ \ mathcal {s} $到目标模态空间$ \ mathcal {t} $的新颖机制桥接视觉和文本域之间的差距。此外，为了保持翻译之间的循环一致性，我们采用了一个循环损失，涉及从$ \ MATHCAL {S} $到预测的目标空间$ \ Mathcal {t'} $的两个前向翻译，以及$ \ Mathcal {t't'的向后翻译} $返回$ \ Mathcal {s} $。在MSR-VTT，MSVD和DIDEMO数据集上进行的广泛实验证明了我们LAT方法的优势和有效性与香草的最新方法相比。

现代视频文本检索框架基本上由三个部分组成：视频编码器，文本编码器和相似性。随着Visual和Textual表示学习的成功，在视频文本检索领域也采用了基于变压器的编码器和融合方法。在本报告中，我们呈现Clip2TV，旨在探索关键元素在基于变压器的方法中。为实现这一目标，我们首先重新审视一些对多模态学习的工作，然后将一些技术介绍到视频文本检索中，最后通过不同配置的大量实验进行评估。值得注意的是，Clip2TV在MSR-VTT数据集上实现了52.9 @ R1，优先表现出先前的SOTA结果为4.1％。

本文介绍了Omnivl，这是一种新的基础模型，旨在使用一种通用体系结构来支持图像语言和视频语言任务。它为图像和视频输入采用了统一的基于变压器的视觉编码器，因此可以执行联合图像语言和视频语言预处理。我们首次证明了这样的范式受益于图像和视频任务，而不是传统的单向传输（例如，使用图像语言来帮助视频语言）。为此，我们提出了对图像语言和视频语言的脱钩关节预处理，以有效地将视觉模型分解为空间和时间维度，并在图像和视频任务上获得性能提升。此外，我们引入了一种新颖的统一视觉对比度（UNIVLC）损失，以利用图像文本，视频文本，图像标签（例如，图像分类），视频标签（例如，视频动作识别）在一起受到监督和吵闹的监督预处理数据都尽可能多地利用。无需额外的任务适配器，Omnivl可以同时支持仅视觉任务（例如，图像分类，视频操作识别），跨模式对齐任务（例如，图像/视频 - 文本检索）和多模式理解和生成任务（例如，图像/视频问答，字幕）。我们在各种下游任务上评估Omnivl，并以相似的模型大小和数据量表获得最新的或竞争结果。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

远见和语言预测已成为解决多模式下游任务的普遍方法。当前的趋势是朝着更大的模型和预处理数据集迈进。从长远来看，这一计算头急促似乎是不合理的，而是朝着可持续的解决方案迈进，事实上，排除了资源有限的学术实验室。在这项工作中，我们提出了一个称为VICHA的新框架，该框架有效利用输入数据以通过以下方式提高学习，以： ，（c）利用图像级注释，称为视觉概念，使用现有基础模型（例如剪辑）获得，以提高图像编码器的性能。尽管对数据的预估计少了四倍，但我们的VICHA策略在下游任务（例如图像文本检索，VQA，视觉推理，视觉上和视觉接地）上的其他方法优于其他方法。该代码将在此处公开提供：https：//github.com/mshukor/vicha

我们研究了联合视频和语言（VL）预培训，以实现跨模型学习和益处丰富的下游VL任务。现有的作品要么提取低质量的视频特征或学习有限的文本嵌入，但忽略了高分辨率视频和多样化的语义可以显着提高跨模型学习。在本文中，我们提出了一种新的高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），用于许多可视任务。特别是，我们收集具有两个不同属性的大型数据集：1）第一个高分辨率数据集包括371.5k小时的720p视频，2）最多样化的数据集涵盖15个流行的YouTube类别。为了启用VL预培训，我们通过学习丰富的时空特征的混合变压器联合优化HD-VILA模型，以及多峰变压器，用于强制学习视频功能与多样化文本的交互。我们的预训练模式实现了新的最先进的导致10 VL了解任务和2个新颖的文本到视觉生成任务。例如，我们以零拍摄MSR-VTT文本到视频检索任务的相对增加38.5％R @ 1的相对增长，高分辨率数据集LSMDC为53.6％。学习的VL嵌入也有效地在文本到视觉操纵和超分辨率任务中产生视觉上令人愉悦和语义相关结果。