视频语言（VIDL）建模的巨大挑战在于从图像/视频理解模型和下游Vidl数据中提取的固定视频表示之间的断开。最近的研究试图通过端到端培训来减轻这种断开连接。为了使其进行计算可行，先前的作品倾向于“想象”视频输入，即，将一些稀疏的采样帧馈送到2D CNN中，然后是简单的均值汇集或连接以获得整体视频表示。虽然实现了有希望的结果，但这种简单的方法可能会失去对于执行下游VIDL任务至关重要的时间信息。在这项工作中，我们呈现紫罗兰色，全新的视频语言变压器，采用视频变压器，明确地模拟视频输入的时间动态。此外，与以前的研究不同，发现视频输入上的预训练任务（例如，屏蔽帧建模）不是非常有效的，我们设计了一个新的预训练任务，屏蔽了视觉令牌建模（MVM），以获得更好的视频建模。具体地，原始视频帧修补程序将“令牌化”转换为离散的视觉令牌，目标是基于蒙面的贴片恢复原始的视觉令牌。综合分析展示了通过视频变压器和MVM显式时间建模的有效性。因此，紫罗兰在5个视频问题的回答任务和4个文本到视频检索任务中实现了新的最先进的性能。

蒙版的视觉建模（MVM）最近已被证明对视觉预训练有效。虽然在视频输入（例如，蒙版框架建模）上进行了类似的重建目标，在视频语言（VIDL）预训练中探索了类似的重建目标，但先前研究中的预提取的视频功能在预训练期间无法通过MVM进行完善，因此无法通过MVM进行完善为下游性能不满意。在这项工作中，我们系统地检查了MVM在VIDL学习的背景下的潜力。具体而言，我们的研究基于完全端到端的视频变压器（Violet），该视频变压器（Violet）减轻了固定视频表示与MVM培训之间的断开连接。总共探索了MVM的八个不同的重建目标，从低级像素值和定向梯度到高级深度图，光流，离散的视觉令牌和潜在的视觉特征。我们进行全面的实验，并就导致有效MVM培训的因素提供见解。从经验上讲，我们展示了通过MVM目标预先训练的紫罗兰色，可以在13个VIDL基准测试中取得显着改进，从视频问题回答，视频字幕到文本到视频检索等等。

近年来，统一的视觉语言框架已经大大提高，其中大多数采用编码器架构将图像文本任务统一为序列到序列的生成。但是，现有的视频语言（VIDL）模型仍需要在每个任务的模型体系结构和培训目标中进行特定于任务的设计。在这项工作中，我们探索了一个统一的VIDL框架薰衣草，其中蒙版语言建模（MLM）用作所有前训练和下游任务的常见接口。这样的统一导致了简化的模型体系结构，在多模式编码器之上，只需要一个轻巧的MLM头，而不是具有更多参数的解码器。令人惊讶的是，实验结果表明，这个统一的框架在14个VIDL基准测试中实现了竞争性能，涵盖了视频问答，文本到视频检索和视频字幕。广泛的分析进一步证明了薰衣草比现有VIDL方法的优势：（i）在多任务列出时仅使用一组参数值支持所有下游任务； （ii）对各种下游任务的几乎没有概括； （iii）在视频问题回答任务上启用零射门评估。代码可从https://github.com/microsoft/lavender获得。

Video-language pre-training is crucial for learning powerful multi-modal representation. However, it typically requires a massive amount of computation. In this paper, we develop SMAUG, an efficient pre-training framework for video-language models. The foundation component in SMAUG is masked autoencoders. Different from prior works which only mask textual inputs, our masking strategy considers both visual and textual modalities, providing a better cross-modal alignment and saving more pre-training costs. On top of that, we introduce a space-time token sparsification module, which leverages context information to further select only "important" spatial regions and temporal frames for pre-training. Coupling all these designs allows our method to enjoy both competitive performances on text-to-video retrieval and video question answering tasks, and much less pre-training costs by 1.9X or more. For example, our SMAUG only needs about 50 NVIDIA A6000 GPU hours for pre-training to attain competitive performances on these two video-language tasks across six popular benchmarks.

The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework CLIPBERT that enables affordable endto-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that CLIP-BERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second genericdomain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available. 1 * Equal contribution.

Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.

构建一个通用视频语言模型，用于解决各种视频理解任务（例如，文本视频检索，视频问答）是对机器学习领域的开放挑战。为了实现这一目标，最近的尝试训练模型，通常由单峰和跨模式的特征编码器组成，并具有受监督或成对的对比度的预文本任务。尽管提供了有吸引力的通用性，但最终的模型必须在效率和性能之间妥协。我们认为这些缺陷是由它们的预训练策略\ Textemdash引起的，它们不能很好地对齐和融合不同方式的特征。然后，我们将三叶草（一种相关的视频预培训方法）介绍给一个通用的视频语言模型，该模型用于解决既不效率也不妥协的多个视频理解任务。它通过新的三模式比对预训练任务来改善跨模式特征对齐和融合。此外，我们建议通过合并蒙面样品的学习和新颖的成对排名损失来增强三模式对齐。三叶草表现出了出色的一般性。它在多个下游任务上建立了新的最新技术，包括零射击和微调设置的三个检索任务，以及八个视频问答任务。代码和预培训模型将在https://github.com/leeyn-43/clover上发布。

培训有效的视频和语言模型直观地需要多个帧作为模型输入。但是，目前尚不清楚使用多个帧是否有利于下游任务，如果是的话，性能增益是否值得通过使用更多帧产生的巨大计算和内存成本。在这项工作中，我们探索了视频和语言学习的单帧模型。在各种视频和语言任务（包括文本到视频检索和视频问题）上，我们显示出令人惊讶的结果，即通过大规模的预训练和适当的框架合奏在推理时，与使用多个训练的现有方法相比，不考虑时间信息的单帧训练模型可以实现更好的性能。该结果揭示了流行的视频和语言数据集中存在强烈的“静态外观偏差”。因此，为了对视频和语言模型进行更全面的评估，我们建议基于现有的细粒度识别数据集，提出了两个新的检索任务，以鼓励时间建模。我们的代码可从https://github.com/jayleicn/singularity获得

视频字幕的规范方法决定了用于从离线提取的密集视频特征学习的标题生成模型。这些特征提取器通常在以固定帧速率采样的视频帧上操作，并且通常在图像/视频理解任务上培训，而不适用于视频标题数据。在这项工作中，我们展示了Swinbert，一种用于视频字幕的基于端到端的变换器的模型，它将视频帧贴片直接作为输入，并输出自然语言描述。我们的方法代替利用多个2D / 3D特征提取器，该方法采用视频变压器来编码可适应可变长度的视频输入，而无需专用设计，可以针对不同的帧速率进行专用设计。基于该模型架构，我们表明视频标题可以从更密集地采样的视频帧中受益匪浅，而不是以前的成功，用于视频和语言理解任务的稀疏采样视频帧（例如，视频问题应答）。此外，为了避免连续视频帧中固有的冗余，我们建议通过更好的远程视频序列建模来自适应地学习稀疏的注意掩模并优化任务特定性能改进。通过对5个视频字幕数据集的广泛实验，我们展示了Swinbert通过较大的余量来实现对以前的方法的整体性能改进。此外，学习的稀疏注意力掩模将限制推向新的技术，可以在不同的视频长度和不同的数据集之间传输。

视频问题回答（VideoQA）是一项复杂的任务，需要多种模式数据进行培训。但是，对视频的问题和答案的手动注释是乏味的，禁止可扩展性。为了解决这个问题，最近的方法考虑了零拍设置，而无需手动注释视觉问题。特别是，一种有前途的方法调整了在网络级文本数据中预测的冻结自回归语言模型，以适应多模式输入。相比之下，我们在这里建立在冷冻双向语言模型（BILM）的基础上，并表明这种方法为零拍出的VideoQA提供了更强大，更便宜的替代方案。特别是（i）我们使用轻型训练模块将视觉输入与冷冻的BILM结合在一起，（ii）我们使用Web-Scrafe Multi-Mododal数据训练此类模块，最后（iii）我们通过掩盖语言执行零声录像带推断建模，其中蒙版文本是给定问题的答案。我们提出的方法Frozenbilm在零摄影的视频中的表现优于最高的，包括LSMDC-FIB，包括LSMDC-FIB，IVQA，MSRVTT-QA，MSVD-QA，ActivityNet-QA，TGIF-FRAMEQA，TGIF-FRAMEQA，，TGIF-FRAMEQA，，TGIF-FRAMEQA，，，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，MSRVTT-QA，，均优于最新技术。 How2QA和TVQA。它还在几次且完全监督的环境中展示了竞争性能。我们的代码和模型将在https://antoyang.github.io/frozenbilm.html上公开提供。

视频和语言预培训表明对各种下游任务有望改善。最先前的方法捕获与基于变换器的多模式编码器的跨模型交互，不完全解决单向视频和文本特征之间的错位。此外，学习细粒度的视觉语言对准通常需要离上的对象检测器来提供对象信息，这是由检测器有限的词汇和昂贵的计算成本的瓶颈。我们建议对齐和提示：一种高效有效的视频和语言预训练框架，具有更好的跨模型对齐。首先，我们介绍了一个视频文本对比（VTC）丢失，以对准实例级别的单峰视频文本功能，从而缓解跨模型交互的建模。然后，我们提出了一种新的视觉接地预训练任务，提示实体建模（PEM），旨在学习细粒度的区域实体对齐。为实现这一目标，我们首先介绍一个实体发射模块，该模块用VTC培训，以产生与实体名称实例化的视频裁剪和文本提示之间的相似性。 PEM任务然后询问模型以预测随机选择的视频作物的实体伪标签（I.E〜归一化相似度分数）。由此产生的预先训练的模型在文本 - 视频检索和VideoQ上实现了最先进的性能，通过大幅度的边距表现优于现有的工作。我们的代码和预先训练的型号将被释放。

本文介绍了Omnivl，这是一种新的基础模型，旨在使用一种通用体系结构来支持图像语言和视频语言任务。它为图像和视频输入采用了统一的基于变压器的视觉编码器，因此可以执行联合图像语言和视频语言预处理。我们首次证明了这样的范式受益于图像和视频任务，而不是传统的单向传输（例如，使用图像语言来帮助视频语言）。为此，我们提出了对图像语言和视频语言的脱钩关节预处理，以有效地将视觉模型分解为空间和时间维度，并在图像和视频任务上获得性能提升。此外，我们引入了一种新颖的统一视觉对比度（UNIVLC）损失，以利用图像文本，视频文本，图像标签（例如，图像分类），视频标签（例如，视频动作识别）在一起受到监督和吵闹的监督预处理数据都尽可能多地利用。无需额外的任务适配器，Omnivl可以同时支持仅视觉任务（例如，图像分类，视频操作识别），跨模式对齐任务（例如，图像/视频 - 文本检索）和多模式理解和生成任务（例如，图像/视频问答，字幕）。我们在各种下游任务上评估Omnivl，并以相似的模型大小和数据量表获得最新的或竞争结果。

我们研究了联合视频和语言（VL）预培训，以实现跨模型学习和益处丰富的下游VL任务。现有的作品要么提取低质量的视频特征或学习有限的文本嵌入，但忽略了高分辨率视频和多样化的语义可以显着提高跨模型学习。在本文中，我们提出了一种新的高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），用于许多可视任务。特别是，我们收集具有两个不同属性的大型数据集：1）第一个高分辨率数据集包括371.5k小时的720p视频，2）最多样化的数据集涵盖15个流行的YouTube类别。为了启用VL预培训，我们通过学习丰富的时空特征的混合变压器联合优化HD-VILA模型，以及多峰变压器，用于强制学习视频功能与多样化文本的交互。我们的预训练模式实现了新的最先进的导致10 VL了解任务和2个新颖的文本到视觉生成任务。例如，我们以零拍摄MSR-VTT文本到视频检索任务的相对增加38.5％R @ 1的相对增长，高分辨率数据集LSMDC为53.6％。学习的VL嵌入也有效地在文本到视觉操纵和超分辨率任务中产生视觉上令人愉悦和语义相关结果。

The last several years have witnessed remarkable progress in video-and-language (VidL) understanding. However, most modern VidL approaches use complex and specialized model architectures and sophisticated pretraining protocols, making the reproducibility, analysis and comparisons of these frameworks difficult. Hence, instead of proposing yet another new VidL model, this paper conducts a thorough empirical study demystifying the most important factors in the VidL model design. Among the factors that we investigate are (i) the spatiotemporal architecture design, (ii) the multimodal fusion schemes, (iii) the pretraining objectives, (iv) the choice of pretraining data, (v) pretraining and finetuning protocols, and (vi) dataset and model scaling. Our empirical study reveals that the most important design factors include: temporal modeling, video-to-text multimodal fusion, masked modeling objectives, and joint training on images and videos. Using these empirical insights, we then develop a step-by-step recipe, dubbed VindLU, for effective VidL pretraining. Our final model trained using our recipe achieves comparable or better than state-of-the-art results on several VidL tasks without relying on external CLIP pretraining. In particular, on the text-to-video retrieval task, our approach obtains 61.2% on DiDeMo, and 55.0% on ActivityNet, outperforming current SOTA by 7.8% and 6.1% respectively. Furthermore, our model also obtains state-of-the-art video question-answering results on ActivityNet-QA, MSRVTT-QA, MSRVTT-MC and TVQA. Our code and pretrained models are publicly available at: https://github.com/klauscc/VindLU.

Vision-Language Transformers can be learned without human labels (e.g. class labels, bounding boxes, etc). Existing work, whether explicitly utilizing bounding boxes or patches, assumes that the visual backbone must first be trained on ImageNet class prediction before being integrated into a multimodal linguistic pipeline. We show that this is not necessary and introduce a new model Vision-Language from Captions (VLC) built on top of Masked Auto-Encoders that does not require this supervision. In fact, in a head-to-head comparison between ViLT, the current state-of-the-art patch-based vision-language transformer which is pretrained with supervised object classification, and our model, VLC, we find that our approach 1. outperforms ViLT on standard benchmarks, 2. provides more interpretable and intuitive patch visualizations, and 3. is competitive with many larger models that utilize ROIs trained on annotated bounding-boxes.

We present a simple yet effective end-to-end Video-language Pre-training (VidLP) framework, Masked Contrastive Video-language Pretraining (MAC), for video-text retrieval tasks. Our MAC aims to reduce video representation's spatial and temporal redundancy in the VidLP model by a mask sampling mechanism to improve pre-training efficiency. Comparing conventional temporal sparse sampling, we propose to randomly mask a high ratio of spatial regions and only feed visible regions into the encoder as sparse spatial sampling. Similarly, we adopt the mask sampling technique for text inputs for consistency. Instead of blindly applying the mask-then-prediction paradigm from MAE, we propose a masked-then-alignment paradigm for efficient video-text alignment. The motivation is that video-text retrieval tasks rely on high-level alignment rather than low-level reconstruction, and multimodal alignment with masked modeling encourages the model to learn a robust and general multimodal representation from incomplete and unstable inputs. Coupling these designs enables efficient end-to-end pre-training: reduce FLOPs (60% off), accelerate pre-training (by 3x), and improve performance. Our MAC achieves state-of-the-art results on various video-text retrieval datasets, including MSR-VTT, DiDeMo, and ActivityNet. Our approach is omnivorous to input modalities. With minimal modifications, we achieve competitive results on image-text retrieval tasks.

Vision-and语言（VL）预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明，基于完全变换器的VL模型可以比以前的基于区域特征的方法更有效，但它们在下游任务上的性能通常显着降低。在本文中，我们呈现仪表〜（\ textbf {m} ultimodal \ textbf {e} nd-to-text \ textbf {t} ransform \ textbf {er}），我们通过它系统地调查如何设计和预先列车基于完全变换器的VL模型以端到端的方式。具体而言，我们将模型设计沿多个尺寸分析：视觉编码器（例如，剪辑 - vit，Swin变压器），文本编码器（例如，Roberta，Deberta），多模式融合（例如，合并注意力与共同关注），架构设计（例如，仅编码器与编码器 - 解码器）和预训练目标（例如，屏蔽图像建模）。我们对广泛的VL任务进行全面实验，并提供有关如何在保持快速推理速度的同时培训表演VL变压器的见解。值得注意的是，仪表〜使用仅使用4M图像进行预培训的VQAV2 TEST-STD设置的精度为77.64 \％，超过最先进的区域特征的VINVL模型+1.04 \％，以及优于以前最好的完全变换器的ALBEF模型+1.6 \％。

Joint image-text embedding is the bedrock for most Visionand-Language (V+L) tasks, where multimodality inputs are simultaneously processed for joint visual and textual understanding. In this paper, we introduce UNITER, a UNiversal Image-TExt Representation, learned through large-scale pre-training over four image-text datasets (COCO, Visual Genome, Conceptual Captions, and SBU Captions), which can power heterogeneous downstream V+L tasks with joint multimodal embeddings. We design four pre-training tasks: Masked Language Modeling (MLM), Masked Region Modeling (MRM, with three variants), Image-Text Matching (ITM), and Word-Region Alignment (WRA). Different from previous work that applies joint random masking to both modalities, we use conditional masking on pre-training tasks (i.e., masked language/region modeling is conditioned on full observation of image/text). In addition to ITM for global image-text alignment, we also propose WRA via the use of Optimal Transport (OT) to explicitly encourage finegrained alignment between words and image regions during pre-training. Comprehensive analysis shows that both conditional masking and OTbased WRA contribute to better pre-training. We also conduct a thorough ablation study to find an optimal combination of pre-training tasks. Extensive experiments show that UNITER achieves new state of the art across six V+L tasks (over nine datasets), including Visual Question

在本文中，我们研究了如何在视觉和语言（V+L）表示学习中使用蒙版的信号建模。与其独立开发蒙面语言建模（MLM）和蒙面图像建模（MIM），我们建议建立关节蒙面的视觉和语言建模，其中一种模态的掩盖信号是在另一种方式的帮助下重建的。这是由图像文本配对数据的性质和文本传达几乎相同的信息但以不同格式传达的。在另一种模态下进行的一种模式的掩盖信号重建也可以隐式学习语言令牌和图像贴片之间的跨模式对齐。我们对各种V+L任务的实验表明，该建议的方法不仅可以通过使用大量数据来实现最先进的性能，而且还可以通过有限的培训数据的制度优于其他竞争对手。

在过去的几年中，训练前模型的出现将单峰领域（例如计算机视觉（CV）和自然语言处理（NLP））带到了一个新时代。实质性的作品表明它们对下游大学任务有益，并避免从头开始训练新的模型。那么，此类预训练的模型可以应用于多模式任务吗？研究人员探索了这个问题并取得了重大进展。本文调查了视觉预训练（VLP）的最新进展和新的前沿，包括图像文本和视频文本预训练。为了使读者更好地掌握VLP，我们首先从五个方面回顾了其最新进展：功能提取，模型体系结构，培训预训练目标，预训练数据集和下游任务。然后，我们详细概述了特定的VLP模型。最后，我们讨论了VLP中的新边界。据我们所知，这是对VLP的首次调查。我们希望这项调查能够阐明VLP领域的未来研究。