当前的文本到视频检索方法（T2VR）经过培训和测试，并在视频捕获方向的数据集（例如MSVD，MSR-VTT和VATEX）上进行了测试。这些数据集的一个关键属性是，假定视频在短时间内被暂时预先修剪，而提供的字幕很好地描述了视频内容的要旨。因此，对于给定的配对视频和标题，该视频应该与标题完全相关。但是，实际上，由于查询尚不清楚，因此预处理的视频剪辑可能不包含足够的内容来完全满足查询。这表明文学与现实世界之间存在差距。为了填补空白，我们在本文中提出了一个新颖的T2VR子任务，称为部分相关的视频检索（PRVR）。未修剪的视频被认为是部分相关的W.R.T.给定的文本查询是否包含与查询相关的时刻。 PRVR旨在从大量未修剪视频中检索此类相关视频。 PRVR与单个视频时刻检索和视频语料库时刻的检索有所不同，因为后两个是要检索时刻而不是未修剪的视频。我们将PRVR作为多个实例学习（MIL）问题，同时将视频视为一袋视频片段和一袋视频帧。剪辑和帧表示不同时间尺度的视频内容。我们提出了一个多尺度的相似性学习（MS-SL）网络，该网络共同学习PRVR的剪辑规模和框架尺度相似性。在三个数据集（TVR，ActivityNet字幕和Charades-STA）上进行了广泛的实验，证明了该方法的可行性。我们还表明，我们的方法可用于改善视频语料库时刻的检索。

视频时刻检索旨在搜索与给定语言查询最相关的那一刻。然而，该社区中的大多数现有方法通常需要季节边界注释，这昂贵且耗时地标记。因此，最近仅通过使用粗略视频级标签来提出弱监督的方法。尽管有效，但这些方法通常是独立处理候选人的候选人，同时忽略了不同时间尺度中候选者之间的自然时间依赖性的关键问题。要应对这个问题，我们提出了一种多尺度的2D表示学习方法，用于弱监督视频时刻检索。具体地，我们首先构造每个时间刻度的二维图以捕获候选者之间的时间依赖性。该地图中的两个维度表示这些候选人的开始和结束时间点。然后，我们使用学习卷积神经网络从每个刻度变化的地图中选择Top-K候选。通过新设计的时刻评估模块，我们获得所选候选人的对齐分数。最后，标题和语言查询之间的相似性被用作进一步培训候选者选择器的监督。两个基准数据集Charades-STA和ActivityNet标题的实验表明，我们的方法能够实现最先进的结果。

在本文中，我们在通过文本的视频检索的新上下文中重新访问\ emph {特征融合}，是一个旧的主题。与以前的研究不同，仅在一端考虑特征融合，让它成为视频或文本，我们的目标是在统一框架内两端的特征融合。我们假设优化特征的凸组合是优选通过计算重大的多头自我关注来建模它们的相关性。因此，我们提出了轻质的注意力特征融合（Laff）。Laff在早期和晚期阶段和视频和文本的结尾执行功能融合，使其成为利用不同（现成）功能的强大方法。在四个公共数据集中进行广泛的实验，即MSR-VTT，MSVD，TGIF，Vatex和大规模的Trecvid AVS基准评估（2016-2020）显示了Laff的可行性。此外，LAFF实现了实现的，使其对现实世界部署的吸引力。

本文解决了自然语言视频本地化（NLVL）的问题。几乎所有现有的作品都遵循“仅一次外观”框架，该框架利用单个模型直接捕获视频疑问对之间的复杂跨和自模式关系并检索相关段。但是，我们认为这些方法忽略了理想本地化方法的两个必不可少的特征：1）帧差异：考虑正/负视频帧的不平衡，在本地化过程中突出显示正帧并削弱负面框架是有效的。 2）边界优先：为了预测确切的段边界，该模型应捕获连续帧之间更细粒度的差异，因为它们的变化通常是平滑的。为此，我们灵感来自于人类如何看待和定位一个细分市场，我们提出了一个两步的人类框架，称为掠夺 - 储存式融合（SLP）。 SLP由脱脂和排列（SL）模块和双向仔细（BP）模块组成。 SL模块首先是指查询语义，并在滤除无关的帧时从视频中选择最佳匹配的帧。然后，BP模块基于此框架构造了初始段，并通过探索其相邻帧来动态更新它，直到没有帧共享相同的活动语义为止。三个具有挑战性的基准测试的实验结果表明，我们的SLP优于最新方法，并将其定位更精确的段边界。

视频文本检索一直是多模式研究中的至关重要和基本任务。大型多模式对比预训练的发展，视频文本检索的开发已大大促进，这主要侧重于粗粒或细粒对比。然而，在先前的研究中很少探索过跨粒度的对比，这是粗粒表示和细粒度表示之间的对比。与细粒度或粗粒的对比相比，交叉粒度对比度计算了粗粒粒度特征与每个细粒特征之间的相关性，并且能够过滤出不必要的细颗粒特征，这些特征由粗粒度的特征引导相似性计算，从而提高了检索的准确性。为此，本文提出了一种新型的多透明对比模型，即X-CLIP，用于视频文本检索。但是，另一个挑战在于相似性聚集问题，该问题旨在将细粒度和跨粒度相似性矩阵与实例级别的相似性汇总。为了应对这一挑战，我们提出了对相似性矩阵（AOSM）模块的关注，以使模型重点放在基本帧和单词之间的对比度上，从而降低了不必要的帧和单词对检索结果的影响。 X-CLIP具有多透明的对比度和提议的AOSM模块，在五个广泛使用的视频文本检索数据集上取得了出色的性能，包括MSR-VTT（49.3 R@1），MSVD（50.4 R@1），LSMDC（26.11）（26.1 r@1），didemo（47.8 r@1）和ActivityNet（46.2 r@1）。它的表现优于先前的最先前， +6.3％， +6.6％， +11.1％， +6.7％， +3.8％的相对改善对这些基准测试，这表明了多透明的对比度和AOSM的优势。

视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。

文本和视频之间交叉模态检索的任务旨在了解视觉和语言之间的对应关系。现有研究遵循基于文本和视频嵌入的测量文本视频相似度的趋势。在常见的做法中，通过将视频帧馈送到用于全球视觉特征提取的视频帧或仅通过使用图形卷积网络使用本地细粒度的框架区域来实现简单的语义关系来构造视频表示。然而，这些视频表示在学习视频表示中的视觉组件之间没有充分利用时空关系，从而无法区分具有相同视觉组件但具有不同关系的视频。为了解决这个问题，我们提出了一种视觉时空关系增强的网络（VSR-Net），这是一种新的跨模型检索框架，其考虑组件之间的空间视觉关系，以增强桥接文本 - 视频模型中的全局视频表示。具体地，使用多层时空变压器来编码视觉时空关系，以学习视觉关系特征。我们将全局视觉和细粒度的关系功能与两个嵌入空格上的文本功能对齐，用于交叉模态文本 - 视频检索。在MSR-VTT和MSVD数据集中进行了广泛的实验。结果表明了我们提出的模型的有效性。我们将发布促进未来研究的代码。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

尽管最近在跨模式检索领域取得了进展，但由于缺乏手动注释的数据集，研究的重点较少。在本文中，我们提出了一种用于低资源语言的噪声跨语法跨模式检索方法。为此，我们使用机器翻译（MT）来构建低资源语言的伪并行句子对。但是，由于MT并不完美，因此它倾向于在翻译过程中引入噪音，从而使文本嵌入被损坏，从而损害了检索性能。为了减轻这一点，我们引入了一种多视图自我验证方法来学习噪声稳定目标语言表示，该方法采用了跨注意模块来生成软伪靶标，以从基于相似性的视图和功能 - 功能 - 基于视图。此外，受到无监督的MT的反向翻译的启发，我们最大程度地减少了原点句子和反翻译句子之间的语义差异，以进一步提高文本编码器的噪声稳健性。在三个视频文本和图像文本跨模式检索基准跨不同语言上进行了广泛的实验，结果表明，我们的方法显着改善了整体性能，而无需使用额外的人体标记数据。此外，从最近的视觉和语言预训练框架（即剪辑）中配备了预训练的视觉编码器，我们的模型可实现显着的性能增长，这表明我们的方法与流行的预训练模型兼容。代码和数据可在https://github.com/huiguanlab/nrccr上找到。

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

否定是一种常见的语言技能，使人类能够表达我们不想要的东西。自然，人们可能会期望视频检索能够以否定的方式支持自然语言查询，例如，发现坐在地板上而不是和狗一起玩的孩子的照片。但是，最先进的基于深度学习的视频检索模型缺乏这种能力，因为它们通常在视频说明数据集中受过培训，例如MSR-VTT和VATEX，而缺乏否定的描述。他们的检索结果基本上忽略了示例查询中的否定器，错误地返回的视频显示了孩子们玩狗。本文介绍了关于学习视频检索中否定的第一个研究，并做出如下的贡献。通过重新修复两个现有数据集（MSR-VTT和VATEX），我们提出了一个新的评估协议，以进行否定。我们建议一种基于学习的方法来培训否定视频检索模型。关键的想法是首先通过部分否定其原始标题来为特定的培训视频构造软性标题，然后对三胞胎进行双向约束损失。这种辅助损失将重量添加到标准检索损失中。重新组合基准的实验表明，通过拟议的方法重新训练剪辑（对比语言图像预训练）模型清楚地提高了其用否定处理查询的能力。此外，原始基准测试的模型性能也得到了改进。

作为多媒体信息检索中越来越流行的任务，视频瞬间检索（VMR）旨在根据给定的语言查询从未修剪视频中定位目标时刻。以前的大多数方法都在很大程度上取决于众多手动注释（即瞬间边界），在实践中获取非常昂贵。此外，由于不同数据集之间的域间隙，直接将这些预训练的模型应用于看不见的域，这会导致显着的性能下降。在本文中，我们专注于一项新任务：跨域VMR，其中一个域中完全注重数据集（````源域'''），但是感兴趣的域（``目标域''）仅包含未通知的数据集。据我们所知，我们介绍了有关跨域VMR的第一项研究。为了解决这一新任务，我们提出了一个新型的多模式跨域比对（MMCDA）网络，以将注释知识从源域转移到目标域。但是，由于源和目标域之间的域差异以及视频和查询之间的语义差距，直接将经过训练的模型应用于目标域通常会导致性能下降。为了解决这个问题，我们开发了三个新型模块：（i）域对齐模块旨在使每种模式的不同域之间的特征分布对齐； （ii）跨模式对齐模块旨在将视频和查询特征映射到关节嵌入空间中，并将目标域不同模态之间的特征分布对齐； （iii）特定的比对模块试图获得特定帧与给定查询之间的细粒度相似性以进行最佳定位。通过共同训练这三个模块，我们的MMCDA可以学习域不变和语义一致的跨模式表示。

时间接地旨在本地化与给定的自然语言查询语义对齐的视频片刻。现有方法通常在融合表示上应用检测或回归管道，研究重点是设计复杂的预测头或融合策略。相反，从时间接地作为度量学习问题的角度来看，我们呈现了一个相互匹配的网络（MMN），以直接模拟联合嵌入空间中的语言查询和视频矩之间的相似性。这种新的公制学习框架可以完全利用两个新方面的负面样本：在相互匹配方案中构建负跨模型对和跨不同视频的挖掘负对。这些新的阴性样本可以通过跨模态相互匹配来增强两个模式的联合表示学习，以最大化其互信。实验表明，与四个视频接地基准测试的最先进的方法相比，我们的MMN实现了竞争力的表现。基于MMN，我们为第三张图片车间的HC-STVG挑战提供了一个胜利者解决方案。这表明度量学习仍然是通过捕获关节嵌入空间中的基本跨模式相关性的时间接地的有希望的方法。代码可在https://github.com/mcg-nju/mmn获得。

我们提出了Locommer，一种基于变压器的视频接地模型，其在恒定的存储空间中运行，无论视频长度如何，即帧数。 Locommer专为任务而设计，在那里需要处理整个长视频，并在其核心贴上两个主要贡献。首先，我们的模型包含一种新的采样技术，将输入要素序列分成固定数量的部分，并使用随机方法选择每个部分的单个特征，这允许我们获得代表视频内容的特征样本集在手中的任务，同时保持内存占用空间。其次，我们提出了一种模块化设计，将功能分开，使我们能够通过监督自我关注头来学习归纳偏差，同时还有效利用预先接受训练的文本和视频编码器。我们在相关的基准数据集中测试我们的建议，以进行视频接地，表明该表现形式不仅可以实现优异的结果，包括在YouCookii上的最先进的性能，也可以比竞争对手更有效，并且它一直有效在平均工作的情况下，最新工作的表现，均值较大，最终导致Chardes-STA的新的最先进的性能。

根据文本描述检索目标视频是巨大实用价值的任务，并且在过去几年中受到了不断的关注。在本文中，我们专注于多查询视频检索的较少设置，其中提供了多个查询，以便搜索视频档案。首先表明，多查询检索任务是更务实的，代表现实世界用例，更好地评估当前模型的检索能力，从而应得进一步调查与更普遍的单程检索再现。然后，我们提出了几种新方法，用于利用训练时间来利用多个查询，以改善从常规单查验训练模型的简单组合多个查询的相似性输出。我们的模型在三个不同的数据集中始终如一地占有几种竞争基础。例如，Recall @ 1可以在MSR-VTT上提高4.7点，在MSVD上的4.1点和Gatex上的11.7点，在最先进的Clip4Clip模型上构建的强大基线。我们相信进一步的建模努力将为这种方向带来新的见解，并在现实世界视频检索应用中表现更好的新系统。代码可在https://github.com/princetonvisualai/mqvr获得。

文本视频检索是一项具有巨大实际价值的任务，并受到了越来越多的关注，其中学习时空视频表示是研究热点之一。最先进的视频检索模型中的视频编码通常会直接采用预训练的视觉主链，其网络结构固定，因此无法进一步改进它们以产生细粒度的空间时间表视频表示。在本文中，我们提出了令牌移位和选择网络（TS2-NET），这是一种新型的令牌移动和选择变压器体系结构，该架构会动态调整令牌序列，并从输入视频样本中选择时间和空间维度中的信息令牌。令牌移位模块在时间上暂时移动整个代币特征，来回跨相邻帧，以保留完整的令牌表示并捕获微妙的动作。然后，令牌选择模块选择对局部空间语义贡献最大的令牌。基于彻底的实验，拟议的TS2-NET在主要文本视频检索基准上实现了最先进的性能，包括有关MSRVTT，VATEX，LSMDC，LSMDC，ActivityNetnet和DideMo的新记录。

The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features from language models. These feature extractors are trained independently and usually on tasks different from the target domains, rendering these fixed features sub-optimal for downstream tasks. Moreover, due to the high computational overload of dense video features, it is often difficult (or infeasible) to plug feature extractors directly into existing approaches for easy finetuning. To provide a remedy to this dilemma, we propose a generic framework CLIPBERT that enables affordable endto-end learning for video-and-language tasks, by employing sparse sampling, where only a single or a few sparsely sampled short clips from a video are used at each training step. Experiments on text-to-video retrieval and video question answering on six datasets demonstrate that CLIP-BERT outperforms (or is on par with) existing methods that exploit full-length videos, suggesting that end-to-end learning with just a few sparsely sampled clips is often more accurate than using densely extracted offline features from full-length videos, proving the proverbial less-is-more principle. Videos in the datasets are from considerably different domains and lengths, ranging from 3-second genericdomain GIF videos to 180-second YouTube human activity videos, showing the generalization ability of our approach. Comprehensive ablation studies and thorough analyses are provided to dissect what factors lead to this success. Our code is publicly available. 1 * Equal contribution.

视频文本预训练（VTP）旨在从大规模的网络视频中学习可转移的代表。迄今为止，几乎所有现有的VTP方法都仅限于基于检索的下游任务，例如视频检索，而它们在基于本地化的任务（例如时间基础）上的转移潜力不足。在本文中，我们实验分析并证明了当前VTP方法与本地化任务的不相容性，并提出了一种新颖的面向定位的视频文本预训练框架，称为LocvTP。具体而言，我们执行细粒对比度对准作为通过剪贴字对数发现方案对粗粒粒度的补充。为了进一步增强学习功能的时间推理能力，我们提出了一个上下文投影头和暂时意识的对比损失，以感知上下文关系。对六个数据集的四个下游任务进行的广泛实验表明，我们的LOCVTP在基于检索和基于本地化的任务上都达到了最先进的性能。此外，我们进行了全面的消融研究和彻底的分析，以探索最佳的模型设计和培训策略。

现代视频文本检索框架基本上由三个部分组成：视频编码器，文本编码器和相似性。随着Visual和Textual表示学习的成功，在视频文本检索领域也采用了基于变压器的编码器和融合方法。在本报告中，我们呈现Clip2TV，旨在探索关键元素在基于变压器的方法中。为实现这一目标，我们首先重新审视一些对多模态学习的工作，然后将一些技术介绍到视频文本检索中，最后通过不同配置的大量实验进行评估。值得注意的是，Clip2TV在MSR-VTT数据集上实现了52.9 @ R1，优先表现出先前的SOTA结果为4.1％。