构建一个通用视频语言模型，用于解决各种视频理解任务（例如，文本视频检索，视频问答）是对机器学习领域的开放挑战。为了实现这一目标，最近的尝试训练模型，通常由单峰和跨模式的特征编码器组成，并具有受监督或成对的对比度的预文本任务。尽管提供了有吸引力的通用性，但最终的模型必须在效率和性能之间妥协。我们认为这些缺陷是由它们的预训练策略\ Textemdash引起的，它们不能很好地对齐和融合不同方式的特征。然后，我们将三叶草（一种相关的视频预培训方法）介绍给一个通用的视频语言模型，该模型用于解决既不效率也不妥协的多个视频理解任务。它通过新的三模式比对预训练任务来改善跨模式特征对齐和融合。此外，我们建议通过合并蒙面样品的学习和新颖的成对排名损失来增强三模式对齐。三叶草表现出了出色的一般性。它在多个下游任务上建立了新的最新技术，包括零射击和微调设置的三个检索任务，以及八个视频问答任务。代码和预培训模型将在https://github.com/leeyn-43/clover上发布。

Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.

视频语言（VIDL）建模的巨大挑战在于从图像/视频理解模型和下游Vidl数据中提取的固定视频表示之间的断开。最近的研究试图通过端到端培训来减轻这种断开连接。为了使其进行计算可行，先前的作品倾向于“想象”视频输入，即，将一些稀疏的采样帧馈送到2D CNN中，然后是简单的均值汇集或连接以获得整体视频表示。虽然实现了有希望的结果，但这种简单的方法可能会失去对于执行下游VIDL任务至关重要的时间信息。在这项工作中，我们呈现紫罗兰色，全新的视频语言变压器，采用视频变压器，明确地模拟视频输入的时间动态。此外，与以前的研究不同，发现视频输入上的预训练任务（例如，屏蔽帧建模）不是非常有效的，我们设计了一个新的预训练任务，屏蔽了视觉令牌建模（MVM），以获得更好的视频建模。具体地，原始视频帧修补程序将“令牌化”转换为离散的视觉令牌，目标是基于蒙面的贴片恢复原始的视觉令牌。综合分析展示了通过视频变压器和MVM显式时间建模的有效性。因此，紫罗兰在5个视频问题的回答任务和4个文本到视频检索任务中实现了新的最先进的性能。

This paper presents SimVTP: a Simple Video-Text Pretraining framework via masked autoencoders. We randomly mask out the spatial-temporal tubes of input video and the word tokens of input text and then feed them into a unified autencoder to reconstruct the missing pixels and words. Our SimVTP has several properties: 1) Thanks to the unified autoencoder, SimVTP reconstructs the masked signal of one modality with the help from another modality, which implicitly learns the cross-modal alignment between video tubes and text tokens. 2) SimVTP not only benefits from a high video masking ratio (e.g. 90%) due to the temporal redundancy of video, but also needs a high text masking ratio (e.g. 75%), which is much higher than BERT (e.g. 15%), to achieve optimal performance. This is because the aid of video modality makes text reconstruction less challenging, which thus needs a higher mask ratio to make the pretext harder for useful feature learning. 3) Equipping SimVTP with video-text contrastive learning (VTC) and video-text matching (VTM), which are two commonly used cross-modal training strategies, could further improve the transferable performance significantly. 4) SimVTP is dataefficent, e.g., pre-training only on 10% data of WebVid-2M, SimVTP achieves surprisingly good results (43.8 R@1) on MSRVTT, which is far above recent state-of-the-art methods pre-trained on both CC3M and WebVid-2M. We transfer our pre-trained model to various downstream tasks and achieve superior performance. The codes and models will be released at https://github.com/mayuelala/SimVTP.

近年来，统一的视觉语言框架已经大大提高，其中大多数采用编码器架构将图像文本任务统一为序列到序列的生成。但是，现有的视频语言（VIDL）模型仍需要在每个任务的模型体系结构和培训目标中进行特定于任务的设计。在这项工作中，我们探索了一个统一的VIDL框架薰衣草，其中蒙版语言建模（MLM）用作所有前训练和下游任务的常见接口。这样的统一导致了简化的模型体系结构，在多模式编码器之上，只需要一个轻巧的MLM头，而不是具有更多参数的解码器。令人惊讶的是，实验结果表明，这个统一的框架在14个VIDL基准测试中实现了竞争性能，涵盖了视频问答，文本到视频检索和视频字幕。广泛的分析进一步证明了薰衣草比现有VIDL方法的优势：（i）在多任务列出时仅使用一组参数值支持所有下游任务； （ii）对各种下游任务的几乎没有概括； （iii）在视频问题回答任务上启用零射门评估。代码可从https://github.com/microsoft/lavender获得。

视频和语言预培训表明对各种下游任务有望改善。最先前的方法捕获与基于变换器的多模式编码器的跨模型交互，不完全解决单向视频和文本特征之间的错位。此外，学习细粒度的视觉语言对准通常需要离上的对象检测器来提供对象信息，这是由检测器有限的词汇和昂贵的计算成本的瓶颈。我们建议对齐和提示：一种高效有效的视频和语言预训练框架，具有更好的跨模型对齐。首先，我们介绍了一个视频文本对比（VTC）丢失，以对准实例级别的单峰视频文本功能，从而缓解跨模型交互的建模。然后，我们提出了一种新的视觉接地预训练任务，提示实体建模（PEM），旨在学习细粒度的区域实体对齐。为实现这一目标，我们首先介绍一个实体发射模块，该模块用VTC培训，以产生与实体名称实例化的视频裁剪和文本提示之间的相似性。 PEM任务然后询问模型以预测随机选择的视频作物的实体伪标签（I.E〜归一化相似度分数）。由此产生的预先训练的模型在文本 - 视频检索和VideoQ上实现了最先进的性能，通过大幅度的边距表现优于现有的工作。我们的代码和预先训练的型号将被释放。

本文介绍了Omnivl，这是一种新的基础模型，旨在使用一种通用体系结构来支持图像语言和视频语言任务。它为图像和视频输入采用了统一的基于变压器的视觉编码器，因此可以执行联合图像语言和视频语言预处理。我们首次证明了这样的范式受益于图像和视频任务，而不是传统的单向传输（例如，使用图像语言来帮助视频语言）。为此，我们提出了对图像语言和视频语言的脱钩关节预处理，以有效地将视觉模型分解为空间和时间维度，并在图像和视频任务上获得性能提升。此外，我们引入了一种新颖的统一视觉对比度（UNIVLC）损失，以利用图像文本，视频文本，图像标签（例如，图像分类），视频标签（例如，视频动作识别）在一起受到监督和吵闹的监督预处理数据都尽可能多地利用。无需额外的任务适配器，Omnivl可以同时支持仅视觉任务（例如，图像分类，视频操作识别），跨模式对齐任务（例如，图像/视频 - 文本检索）和多模式理解和生成任务（例如，图像/视频问答，字幕）。我们在各种下游任务上评估Omnivl，并以相似的模型大小和数据量表获得最新的或竞争结果。

预先培训用于学习可转让的视频文本表示的模型，以近年来引起了很多关注。以前的主导作品主要采用两个独立的编码器来有效检索，但忽略视频和文本之间的本地关联。另一种研究使用联合编码器与文本交互视频，但是由于每个文本视频对需要馈送到模型中的低效率。在这项工作中，我们能够通过新颖的借口任务进行微粒视频文本交互，以便通过新颖的借口任务进行检索，称为多项选择题（MCQ），其中参数模块BridgeFormer培训以接受由此构建的“问题”。文本功能通过诉诸视频功能。具体来说，我们利用了文本的丰富语义（即，名词和动词）来构建问题，可以培训视频编码器以捕获更多区域内容和时间动态。以问题和答案的形式，可以正确建立本地视频文本功能之间的语义关联。 BridgeFormer能够删除下游检索，只有两个编码器渲染高效且灵活的模型。我们的方法在具有不同实验设置（即零拍摄和微调）的五个数据集中，在五个数据集中优于最先进的方法，包括不同的实验设置（即零拍摄和微调），包括HOWTO100M（一百万个视频）。我们进一步开展零射击动作识别，可以作为视频到文本检索，我们的方法也显着超越了其对应物。作为额外的好处，我们的方法在单模下游任务中实现了竞争力，在单模下游任务上具有更短的预训练视频，例如，使用线性评估的动作识别。

We present a simple yet effective end-to-end Video-language Pre-training (VidLP) framework, Masked Contrastive Video-language Pretraining (MAC), for video-text retrieval tasks. Our MAC aims to reduce video representation's spatial and temporal redundancy in the VidLP model by a mask sampling mechanism to improve pre-training efficiency. Comparing conventional temporal sparse sampling, we propose to randomly mask a high ratio of spatial regions and only feed visible regions into the encoder as sparse spatial sampling. Similarly, we adopt the mask sampling technique for text inputs for consistency. Instead of blindly applying the mask-then-prediction paradigm from MAE, we propose a masked-then-alignment paradigm for efficient video-text alignment. The motivation is that video-text retrieval tasks rely on high-level alignment rather than low-level reconstruction, and multimodal alignment with masked modeling encourages the model to learn a robust and general multimodal representation from incomplete and unstable inputs. Coupling these designs enables efficient end-to-end pre-training: reduce FLOPs (60% off), accelerate pre-training (by 3x), and improve performance. Our MAC achieves state-of-the-art results on various video-text retrieval datasets, including MSR-VTT, DiDeMo, and ActivityNet. Our approach is omnivorous to input modalities. With minimal modifications, we achieve competitive results on image-text retrieval tasks.

Video-language pre-training is crucial for learning powerful multi-modal representation. However, it typically requires a massive amount of computation. In this paper, we develop SMAUG, an efficient pre-training framework for video-language models. The foundation component in SMAUG is masked autoencoders. Different from prior works which only mask textual inputs, our masking strategy considers both visual and textual modalities, providing a better cross-modal alignment and saving more pre-training costs. On top of that, we introduce a space-time token sparsification module, which leverages context information to further select only "important" spatial regions and temporal frames for pre-training. Coupling all these designs allows our method to enjoy both competitive performances on text-to-video retrieval and video question answering tasks, and much less pre-training costs by 1.9X or more. For example, our SMAUG only needs about 50 NVIDIA A6000 GPU hours for pre-training to attain competitive performances on these two video-language tasks across six popular benchmarks.

蒙版的视觉建模（MVM）最近已被证明对视觉预训练有效。虽然在视频输入（例如，蒙版框架建模）上进行了类似的重建目标，在视频语言（VIDL）预训练中探索了类似的重建目标，但先前研究中的预提取的视频功能在预训练期间无法通过MVM进行完善，因此无法通过MVM进行完善为下游性能不满意。在这项工作中，我们系统地检查了MVM在VIDL学习的背景下的潜力。具体而言，我们的研究基于完全端到端的视频变压器（Violet），该视频变压器（Violet）减轻了固定视频表示与MVM培训之间的断开连接。总共探索了MVM的八个不同的重建目标，从低级像素值和定向梯度到高级深度图，光流，离散的视觉令牌和潜在的视觉特征。我们进行全面的实验，并就导致有效MVM培训的因素提供见解。从经验上讲，我们展示了通过MVM目标预先训练的紫罗兰色，可以在13个VIDL基准测试中取得显着改进，从视频问题回答，视频字幕到文本到视频检索等等。

BERT型结构导致了视觉语言预培训的革命，并在众多视觉语言下游任务上实现最先进的结果。现有解决方案主要用掩码令牌的多模态输入大小化，以触发基于掩码的代理预训练任务（例如，屏蔽语言建模和屏蔽对象/帧预测）。在这项工作中，我们认为这种掩码的输入将不可避免地引入跨模型匹配代理任务的噪声，从而留下探索的固有视觉语言协会。作为替代方案，我们推导出一种特定形式的用于视频预培训的跨模型代理目标，即对比跨模型匹配和去噪（Coco）。通过将蒙版帧/单词序列视为主要取消屏蔽的噪声增强，通过同时追求掩蔽和未掩蔽输入之间的模态匹配和模态匹配和模态的帧间匹配和模态的帧内偏离，通过对比方式来加强视频协会。我们的CoCo代理目标可以进一步集成到用于视频预训练的任何BERT型编码器解码器结构中，被命名为对比跨模态伯特（Coco-Bert）。我们在电视数据集上预先火车Coco-Bert以及新收集的大型GIF视频数据集（动作）。通过广泛的下游任务（例如，跨模型检索，视频问题回答和视频标题）进行广泛的实验，我们证明了Coco-Bert作为预训练的结构的优越性。

培训有效的视频和语言模型直观地需要多个帧作为模型输入。但是，目前尚不清楚使用多个帧是否有利于下游任务，如果是的话，性能增益是否值得通过使用更多帧产生的巨大计算和内存成本。在这项工作中，我们探索了视频和语言学习的单帧模型。在各种视频和语言任务（包括文本到视频检索和视频问题）上，我们显示出令人惊讶的结果，即通过大规模的预训练和适当的框架合奏在推理时，与使用多个训练的现有方法相比，不考虑时间信息的单帧训练模型可以实现更好的性能。该结果揭示了流行的视频和语言数据集中存在强烈的“静态外观偏差”。因此，为了对视频和语言模型进行更全面的评估，我们建议基于现有的细粒度识别数据集，提出了两个新的检索任务，以鼓励时间建模。我们的代码可从https://github.com/jayleicn/singularity获得

Video-and-language pre-training has shown promising results for learning generalizable representations. Most existing approaches usually model video and text in an implicit manner, without considering explicit structural representations of the multi-modal content. We denote such form of representations as structural knowledge, which express rich semantics of multiple granularities. There are related works that propose object-aware approaches to inject similar knowledge as inputs. However, the existing methods usually fail to effectively utilize such knowledge as regularizations to shape a superior cross-modal representation space. To this end, we propose a Cross-modaL knOwledge-enhanced Pre-training (CLOP) method with Knowledge Regularizations. There are two key designs of ours: 1) a simple yet effective Structural Knowledge Prediction (SKP) task to pull together the latent representations of similar videos; and 2) a novel Knowledge-guided sampling approach for Contrastive Learning (KCL) to push apart cross-modal hard negative samples. We evaluate our method on four text-video retrieval tasks and one multi-choice QA task. The experiments show clear improvements, outperforming prior works by a substantial margin. Besides, we provide ablations and insights of how our methods affect the latent representation space, demonstrating the value of incorporating knowledge regularizations into video-and-language pre-training.

现有视觉语言预训练（VLP）方法主要依赖于配对的图像文本数据集，这些数据集由大量人类劳动注释，或者从互联网上爬行，然后是精心制作的数据清洁技术。为了减少对良好的图像文本对的依赖，有望直接利用仅大规模的仅文本和仅图像的语料库。本文提出了一种数据增强方法，即跨模式cutmix（CMC），用于在未配对的VLP中进行隐式跨模式对齐学习。具体而言，CMC将自然句子从文本视图转换为多模式视图，在该视图中，句子中的视觉词语单词被带有相似语义的各种图像贴片随机替换。拟议中的CMC有几个吸引人的礼节。首先，它增强了数据多样性，同时保持语义含义完好无损地解决了对齐数据稀缺的问题；其次，通过将跨模式噪声连接到单模式数据上，它指导模型以学习跨模态的令牌级相互作用，以更好地降级。此外，我们提出了一种名为VLMIXER的新的未配对VLP方法，该方法将CMC与对比度学习集成在一起，以将Uni-Mododal和多模式视图汇总在一起，以在不同模式之间进行更好的实例级别对齐。在五个下游任务上进行的广泛实验表明，VLMIXER可以超过以前最先进的未配对VLP方法。

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

图像和语言建模对于视觉前训练（VLP）至关重要，该培训旨在从大规模配对的图像文本数据中学习多模式表示。但是，我们观察到，大多数现有的VLP方法着重于建模图像和文本特征之间的相互作用，同时忽略图像和文本之间的信息差异，从而遭受焦点偏见。为了解决这个问题，我们提出了一个视觉语言掩盖自动编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进该模型获得细粒度和公正的特征。与以前的作品不同，Vlmae注意图像中几乎所有关键的补丁，提供了更全面的理解。广泛的实验表明，VLMAE在各种视觉语言下游任务中取得更好的性能，包括视觉问答，即使有20％的预训练速度，图像文本检索和视觉接地也是如此。

以前的视觉语言预训练模型主要构建具有令牌和对象（像素）的多模式输入，然后在它们之间执行交叉模式相互作用。我们认为，只有令牌和对象的输入限制了诸如短语到区域接地之类的高级语义对齐。同时，多层次对齐本质上是一致的，并且能够协同促进表示形式学习。因此，在本文中，我们建议学习视觉预训练（MVPTR）的多级语义一致性。在MVPTR中，我们遵循两种方式的嵌套结构，以引入概念为高级语义。为了简化从多模式多级输入的学习，我们的框架分为两个阶段，第一阶段着重于模式内多级表示学习，第二阶段通过粗粒和细粒度跨模态强化了跨模式的交互语义对齐任务。除了常用的图像文本匹配和掩盖语言模型任务外，我们还引入了第一阶段蒙版概念恢复任务以增强概念表示学习，第二阶段的另外两个任务在第二阶段中，以明确鼓励跨跨层次的多层次对准方式。我们的代码可在https://github.com/junction4nako/mvp_pytorch上找到。

事实证明，大规模的视觉和语言（V+L）预训练已被证明有效地增强了下游V+L任务。但是，当涉及时尚域时，现有的V+L方法是不足的，因为它们忽略了时尚V+L数据和下游任务的独特特征。在这项工作中，我们提出了一个以时尚为中心的新型V+L表示框架，被称为Fashionvil。它包含两个新型时尚特定的预训练任务，旨在使用时尚V+L数据利用两个内在属性。首先，与其他域仅包含单个图像文本对的其他域相比，时尚域中可能有多个图像。因此，我们提出了一项多视图对比学习任务，以将一个图像的可视化表示为另一个图像+文本的组成多模式表示。其次，时尚文本（例如，产品描述）通常包含丰富的细粒概念（属性/名词短语）。为了利用这一点，引入了伪归因于分类任务，以鼓励同一概念的学习的单峰（视觉/文本）表示。此外，时尚V+L任务唯一包含不符合常见的一流或两流体系结构的任务（例如，文本引导的图像检索）。因此，我们提出了一个灵活的，多功能的V+L模型体系结构，该体系结构由模态 - 静态变压器组成，以便可以灵活地适应任何下游任务。广泛的实验表明，我们的FashionVil在五个下游任务中实现了新的最新技术。代码可从https://github.com/brandonhanx/mmf获得。

动物的生物智能系统通过将信息与各种任务同时整合在不同的方式和处理中的信息。相比之下，当前的机器学习研究遵循一个特定于任务的范例，导致任务与开发新任务的感知模型的高度边际成本之间的负面合作。在本文中，我们展示了一个名为Uni-Perceiver的通用感知体系结构，其处理各种模型和任务，具有统一的建模和共享参数。具体而言，UNI-Perceiver将从任意模态的不同的任务输入和目标进行编码为具有模态 - 不可变换器编码器和轻量级模式特定标记的统一表示空间。不同的感知任务被建模为相同的配方，即通过其表示的相似性找到每个输入的最大可能性目标。该模型在多个单模和多模态任务上预先培训，并在各种下游任务上进行评估，包括在预训练阶段中未出现的新任务。结果表明，我们没有任何调整的预先训练的模型即使在新的任务上也可以实现合理的性能。通过在下游任务数据的1％上进行提示调整，可以将性能提高到接近最先进的方法的水平。全数据微调进一步提供结果与最先进的结果相提并论。代码应释放。