多模式视频问题答案旨在预测正确的答案并定位与问题相关的时间边界。问题的时间注释提高了质量检查的质量质量和解释性，但它们通常是经验和昂贵的。为了避免时间注释，我们设计了一个弱监督的问题接地（WSQG）设置，在该设置中，仅使用QA注释，并且根据时间注意力评分生成相关的时间边界。为了替代时间注释，我们将帧和字幕之间的对应关系转换为框架求和词（FS）自学，这有助于优化时间注意力分数，从而改善VideoQA模型中的视频语言理解。关于TVQA和TVQA+数据集的广泛实验表明，提出的WSQG策略在问题接地上获得了可比的性能，而FS自我实验有助于改善仅在QA-Supervision和全面的Supervision设置上的问题答案和接地性能。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

时间接地的任务旨在在未经监控的视频中定位视频时刻，具有给定的句子查询。本文首次调查了某些特定于时间接地任务的肤浅偏差，并提出了一种新型靶向解决方案。最令人惊讶的是，我们观察到现有的时间地面模型在视觉模态中严重依赖于某些偏差（例如，高偏好或频繁概念或某些时间间隔的高偏好）。当在跨场景测试设置中概括模型时，这导致较差的性能。为此，我们提出了一种新颖的方法，称为Debiaded Temporal语言定位器（DebiaStll），以防止模型天鹅绒记忆偏差并强制基于真正的模态关系将查询句子接地。 Debias-TLL同时列举两种型号。通过我们的设计，当判断样品时，这两个模型的预测的大大差异显示出更高的偏置样品的概率。利用信息性差异，我们设计了一种用于缓解数据偏差的数据重称之度方案。我们评估跨场景时间接地中提出的模型，其中火车/测试数据是异构的。实验表明，与最先进的竞争对手相比，所提出的方法的大幅度优势。

视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。

本文解决了颞句的接地。以前的作品通常通过学习帧级视频功能来解决此任务并将其与文本信息对齐。这些作品的一个主要限制是，由于帧级特征提取，它们未能利用具有微妙的外观差异的模糊视频帧。最近，一些方法采用更快的R-CNN来提取每帧中的详细物体特征来区分细粒的外观相似性。然而，由于对象检测模型缺乏时间建模，因此通过更快的R-CNN提取的对象级别特征遭受缺失的运动分析。为了解决这个问题，我们提出了一种新颖的运动外观推理网络（MARN），其包括动作感知和外观感知对象特征，以更好的原因对象关系来建立连续帧之间的活动。具体而言，我们首先介绍两个单独的视频编码器以将视频嵌入到相应的主导和外观 - 方面对象表示中。然后，我们开发单独的运动和外观分支，以分别学习运动引导和外观引导的对象关系。最后，来自两个分支的运动和外观信息都与用于最终接地的更多代表性的特征相关联。对两个具有挑战性的数据集（Chardes-Sta和Tacos）的广泛实验表明，我们提出的马恩在以前的最先进的方法中大大优于大幅度。

视频中的时间语言接地旨在本地化与给定查询句子相关的时间范围。以前的方法将其视为边界回归任务或跨度提取任务。本文将向视频阅读理解的临时语言配制，并提出了一个关系感知网络（RANET）来解决它。该框架旨在借助于粗细选择查询交互和选择选择关系构建，从预定义答案中选择视频时刻选择。建议选择查询互操作器以在句时刻和令牌时刻同时匹配视觉和文本信息，导致粗略和细微的跨模型交互。此外，通过利用图形卷积来引入新的多项选择关系构造函数，以捕获视频时刻选择的依赖性，以获得最佳选择选​​择。关于活动网络标题，炸玉米饼和Charades-sta的广泛实验证明了我们解决方案的有效性。代码已提供。

本文解决了自然语言视频本地化（NLVL）的问题。几乎所有现有的作品都遵循“仅一次外观”框架，该框架利用单个模型直接捕获视频疑问对之间的复杂跨和自模式关系并检索相关段。但是，我们认为这些方法忽略了理想本地化方法的两个必不可少的特征：1）帧差异：考虑正/负视频帧的不平衡，在本地化过程中突出显示正帧并削弱负面框架是有效的。 2）边界优先：为了预测确切的段边界，该模型应捕获连续帧之间更细粒度的差异，因为它们的变化通常是平滑的。为此，我们灵感来自于人类如何看待和定位一个细分市场，我们提出了一个两步的人类框架，称为掠夺 - 储存式融合（SLP）。 SLP由脱脂和排列（SL）模块和双向仔细（BP）模块组成。 SL模块首先是指查询语义，并在滤除无关的帧时从视频中选择最佳匹配的帧。然后，BP模块基于此框架构造了初始段，并通过探索其相邻帧来动态更新它，直到没有帧共享相同的活动语义为止。三个具有挑战性的基准测试的实验结果表明，我们的SLP优于最新方法，并将其定位更精确的段边界。

时间接地旨在本地化与给定的自然语言查询语义对齐的视频片刻。现有方法通常在融合表示上应用检测或回归管道，研究重点是设计复杂的预测头或融合策略。相反，从时间接地作为度量学习问题的角度来看，我们呈现了一个相互匹配的网络（MMN），以直接模拟联合嵌入空间中的语言查询和视频矩之间的相似性。这种新的公制学习框架可以完全利用两个新方面的负面样本：在相互匹配方案中构建负跨模型对和跨不同视频的挖掘负对。这些新的阴性样本可以通过跨模态相互匹配来增强两个模式的联合表示学习，以最大化其互信。实验表明，与四个视频接地基准测试的最先进的方法相比，我们的MMN实现了竞争力的表现。基于MMN，我们为第三张图片车间的HC-STVG挑战提供了一个胜利者解决方案。这表明度量学习仍然是通过捕获关节嵌入空间中的基本跨模式相关性的时间接地的有希望的方法。代码可在https://github.com/mcg-nju/mmn获得。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

视频时刻检索旨在搜索与给定语言查询最相关的那一刻。然而，该社区中的大多数现有方法通常需要季节边界注释，这昂贵且耗时地标记。因此，最近仅通过使用粗略视频级标签来提出弱监督的方法。尽管有效，但这些方法通常是独立处理候选人的候选人，同时忽略了不同时间尺度中候选者之间的自然时间依赖性的关键问题。要应对这个问题，我们提出了一种多尺度的2D表示学习方法，用于弱监督视频时刻检索。具体地，我们首先构造每个时间刻度的二维图以捕获候选者之间的时间依赖性。该地图中的两个维度表示这些候选人的开始和结束时间点。然后，我们使用学习卷积神经网络从每个刻度变化的地图中选择Top-K候选。通过新设计的时刻评估模块，我们获得所选候选人的对齐分数。最后，标题和语言查询之间的相似性被用作进一步培训候选者选择器的监督。两个基准数据集Charades-STA和ActivityNet标题的实验表明，我们的方法能够实现最先进的结果。

弱监督的参考表达接地（REG）旨在将特定目标扎根于语言表达描述的图像中，同时缺乏目标和表达之间的对应关系。弱监督的REG存在两个主要问题。首先，缺乏区域级注释会引入建议和查询之间的歧义。其次，大多数以前的弱监督的REG方法忽略了指南的判别位置和上下文，从而在将目标与其他相同类别对象区分开时造成了困难。为了应对上述挑战，我们设计了实体增强的自适应重建网络（enail）。具体而言，赚取包括三个模块：实体增强，自适应接地和协作重建。在实体增强中，我们计算语义相似性作为监督选择候选建议。自适应接地可以在主题，位置和背景下以分层关注计算候选提案的排名评分。协作重建从三个角度衡量排名结果：自适应重建，语言重建和属性分类。自适应机制有助于减轻不同参考表达式的差异。五个数据集的实验表明，赚取胜于现有的最新方法。定性结果表明，提议的收入可以更好地处理特定类别的多个对象在一起的情况。

我们提出了Locommer，一种基于变压器的视频接地模型，其在恒定的存储空间中运行，无论视频长度如何，即帧数。 Locommer专为任务而设计，在那里需要处理整个长视频，并在其核心贴上两个主要贡献。首先，我们的模型包含一种新的采样技术，将输入要素序列分成固定数量的部分，并使用随机方法选择每个部分的单个特征，这允许我们获得代表视频内容的特征样本集在手中的任务，同时保持内存占用空间。其次，我们提出了一种模块化设计，将功能分开，使我们能够通过监督自我关注头来学习归纳偏差，同时还有效利用预先接受训练的文本和视频编码器。我们在相关的基准数据集中测试我们的建议，以进行视频接地，表明该表现形式不仅可以实现优异的结果，包括在YouCookii上的最先进的性能，也可以比竞争对手更有效，并且它一直有效在平均工作的情况下，最新工作的表现，均值较大，最终导致Chardes-STA的新的最先进的性能。

Temporal sentence grounding (TSG) aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. All existing works first utilize a sparse sampling strategy to extract a fixed number of video frames and then conduct multi-modal interactions with query sentence for reasoning. However, we argue that these methods have overlooked two indispensable issues: 1) Boundary-bias: The annotated target segment generally refers to two specific frames as corresponding start and end timestamps. The video downsampling process may lose these two frames and take the adjacent irrelevant frames as new boundaries. 2) Reasoning-bias: Such incorrect new boundary frames also lead to the reasoning bias during frame-query interaction, reducing the generalization ability of model. To alleviate above limitations, in this paper, we propose a novel Siamese Sampling and Reasoning Network (SSRN) for TSG, which introduces a siamese sampling mechanism to generate additional contextual frames to enrich and refine the new boundaries. Specifically, a reasoning strategy is developed to learn the inter-relationship among these frames and generate soft labels on boundaries for more accurate frame-query reasoning. Such mechanism is also able to supplement the absent consecutive visual semantics to the sampled sparse frames for fine-grained activity understanding. Extensive experiments demonstrate the effectiveness of SSRN on three challenging datasets.

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

时间基础旨在找到目标视频时刻，该目标瞬间与未修剪视频中给定的句子查询相对应。但是，最近的作品发现现有方法遇到了严重的时间偏见问题。这些方法并不是根据训练集中查询的时间偏见过度依赖基于视觉文本语义对齐的目标矩位置。为此，本文提出了一个新颖的培训框架，用于接地模型，以使用洗牌视频解决时间偏见问题而不会失去接地精度。我们的框架介绍了两个辅助任务，即跨模式匹配和时间订单歧视，以促进接地模型训练。跨模式匹配任务利用了洗牌和原始视频之间的内容一致性迫使接地模型以挖掘视觉内容以匹配语义的查询。时间秩序歧视任务利用时间顺序的差异来加强对长期时间环境的理解。关于Charades-STA和活动网字幕的广泛实验证明了我们方法可以减轻对时间偏差的依赖并增强模型对不同时间分布的概括能力的有效性。代码可从https://github.com/haojc/shufflingvideosfortsg获得。

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

培训有效的视频和语言模型直观地需要多个帧作为模型输入。但是，目前尚不清楚使用多个帧是否有利于下游任务，如果是的话，性能增益是否值得通过使用更多帧产生的巨大计算和内存成本。在这项工作中，我们探索了视频和语言学习的单帧模型。在各种视频和语言任务（包括文本到视频检索和视频问题）上，我们显示出令人惊讶的结果，即通过大规模的预训练和适当的框架合奏在推理时，与使用多个训练的现有方法相比，不考虑时间信息的单帧训练模型可以实现更好的性能。该结果揭示了流行的视频和语言数据集中存在强烈的“静态外观偏差”。因此，为了对视频和语言模型进行更全面的评估，我们建议基于现有的细粒度识别数据集，提出了两个新的检索任务，以鼓励时间建模。我们的代码可从https://github.com/jayleicn/singularity获得

我们考虑在与给定文本查询相对应的视频中定位时空管的问题。这是一项具有挑战性的任务，需要对时间，空间和多模式相互作用进行联合有效的建模。为了解决此任务，我们提出了TubedEtr，这是一种基于变压器的体系结构，灵感来自此类模型在文本条件条件的对象检测中的最新成功。我们的模型特别包括：（i）有效的视频和文本编码器，该视频和文本编码器对稀疏采样帧进行了空间多模式相互作用，以及（ii）共同执行时空定位的时空解码器。我们通过广泛的消融研究证明了我们提出的组件的优势。我们还在时空视频接地任务上评估了我们的完整方法，并在具有挑战性的VIDSTG和HC-STVG基准方面证明了对最新技术的改进。代码和训练有素的模型可在https://antoyang.github.io/tubedetr.html上公开获得。

近年来，统一的视觉语言框架已经大大提高，其中大多数采用编码器架构将图像文本任务统一为序列到序列的生成。但是，现有的视频语言（VIDL）模型仍需要在每个任务的模型体系结构和培训目标中进行特定于任务的设计。在这项工作中，我们探索了一个统一的VIDL框架薰衣草，其中蒙版语言建模（MLM）用作所有前训练和下游任务的常见接口。这样的统一导致了简化的模型体系结构，在多模式编码器之上，只需要一个轻巧的MLM头，而不是具有更多参数的解码器。令人惊讶的是，实验结果表明，这个统一的框架在14个VIDL基准测试中实现了竞争性能，涵盖了视频问答，文本到视频检索和视频字幕。广泛的分析进一步证明了薰衣草比现有VIDL方法的优势：（i）在多任务列出时仅使用一组参数值支持所有下游任务； （ii）对各种下游任务的几乎没有概括； （iii）在视频问题回答任务上启用零射门评估。代码可从https://github.com/microsoft/lavender获得。