文本和视频之间交叉模态检索的任务旨在了解视觉和语言之间的对应关系。现有研究遵循基于文本和视频嵌入的测量文本视频相似度的趋势。在常见的做法中，通过将视频帧馈送到用于全球视觉特征提取的视频帧或仅通过使用图形卷积网络使用本地细粒度的框架区域来实现简单的语义关系来构造视频表示。然而，这些视频表示在学习视频表示中的视觉组件之间没有充分利用时空关系，从而无法区分具有相同视觉组件但具有不同关系的视频。为了解决这个问题，我们提出了一种视觉时空关系增强的网络（VSR-Net），这是一种新的跨模型检索框架，其考虑组件之间的空间视觉关系，以增强桥接文本 - 视频模型中的全局视频表示。具体地，使用多层时空变压器来编码视觉时空关系，以学习视觉关系特征。我们将全局视觉和细粒度的关系功能与两个嵌入空格上的文本功能对齐，用于交叉模态文本 - 视频检索。在MSR-VTT和MSVD数据集中进行了广泛的实验。结果表明了我们提出的模型的有效性。我们将发布促进未来研究的代码。

本文解决了颞句的接地。以前的作品通常通过学习帧级视频功能来解决此任务并将其与文本信息对齐。这些作品的一个主要限制是，由于帧级特征提取，它们未能利用具有微妙的外观差异的模糊视频帧。最近，一些方法采用更快的R-CNN来提取每帧中的详细物体特征来区分细粒的外观相似性。然而，由于对象检测模型缺乏时间建模，因此通过更快的R-CNN提取的对象级别特征遭受缺失的运动分析。为了解决这个问题，我们提出了一种新颖的运动外观推理网络（MARN），其包括动作感知和外观感知对象特征，以更好的原因对象关系来建立连续帧之间的活动。具体而言，我们首先介绍两个单独的视频编码器以将视频嵌入到相应的主导和外观 - 方面对象表示中。然后，我们开发单独的运动和外观分支，以分别学习运动引导和外观引导的对象关系。最后，来自两个分支的运动和外观信息都与用于最终接地的更多代表性的特征相关联。对两个具有挑战性的数据集（Chardes-Sta和Tacos）的广泛实验表明，我们提出的马恩在以前的最先进的方法中大大优于大幅度。

随着社交媒体的出现，每天都会上传大量的视频剪辑，并使用语言查询来检索最相关的视觉内容变得至关重要。大多数方法旨在学习纯文本和视觉内容的联合嵌入空间，而无需充分利用其模式内结构和模式间相关性。本文提出了一种新颖的变压器，将文本和视频明确地将文本和视频分解为对象，空间环境和时间上下文的语义角色，并具有注意力方案，以学习三个角色之间的内部和角色间相关性，以发现歧视性特征，以发现与不同的匹配水平。流行的YouCook2的初步结果表明，我们的方法超过了当前的最新方法，所有指标的利润很高。它还可以用两个指标覆盖两种SOTA方法。

每天都在社交渠道的普及时上传视频的海洋；因此，通过用户文本查询检索最相关的视频内容起着更为重要的作用。大多数方法仅考虑一个联合嵌入空间，而无需考虑每种模态的局部结构。其他一些方法考虑了分别由全球和局部特征组成的多个嵌入空间，忽略了丰富的模式间相关性。我们提出了一种新型的专家变压器罗马混合物，将文本和视频分为三个层次。空间上下文，时间上下文和对象上下文的角色。我们利用一种基于变压器的注意机制用充分的专家来完全利用全球和局部水平的视觉和文本嵌入，以考虑模式间和结构的相关性。结果表明，我们的方法优于YouCook2和MSR-VTT数据集上的最新方法，但给定相同的视觉主链而无需预训练。最后，我们进行了广泛的消融研究，以阐明我们的设计选择。

In this paper, we introduce ActBERT for self-supervised learning of joint video-text representations from unlabeled data. First, we leverage global action information to catalyze mutual interactions between linguistic texts and local regional objects. It uncovers global and local visual clues from paired video sequences and text descriptions for detailed visual and text relation modeling. Second, we introduce a TaNgled Transformer block (TNT) to encode three sources of information, i.e., global actions, local regional objects, and linguistic descriptions. Global-local correspondences are discovered via judicious clues extraction from contextual information. It enforces the joint video-text representation to be aware of fine-grained objects as well as global human intention. We validate the generalization capability of ActBERT on downstream video-and-language tasks, i.e., text-video clip retrieval, video captioning, video question answering, action segmentation, and action step localization. ActBERT significantly outperforms the stateof-the-art, demonstrating its superiority in video-text representation learning.actbct * This work was done when Linchao Zhu visited Baidu Research. Yi Yang is the corresponding author.

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

Video-Text检索（VTR）是多模式理解的一项有吸引力但具有挑战性的任务，该任务旨在在给定查询（视频）的情况下搜索相关的视频（文本）。现有方法通常采用完全异构的视觉文本信息来对齐视频和文本，同时缺乏对这两种模式中均匀的高级语义信息的认识。为了填补这一差距，在这项工作中，我们提出了一个新颖的视觉语言对准模型，名为VTR Hise，该模型通过合并显式高级语义来改善跨模式的表示。首先，我们探讨了显式高级语义的层次结构属性，并将其进一步分为两个级别，即离散的语义和整体语义。具体来说，对于视觉分支，我们利用了现成的语义实体预测器来生成离散的高级语义。同时，采用训练有素的视频字幕模型来输出整体高级语义。至于文本方式，我们将文本分为三个部分，包括发生，动作和实体。特别是，这种情况对应于整体高级语义，同时动作和实体代表离散的语义。然后，利用不同的图推理技术来促进整体和离散的高级语义之间的相互作用。广泛的实验表明，借助明确的高级语义，我们的方法在包括MSR-VTT，MSVD和DIDEMO在内的三个基准数据集上实现了优于最先进方法的卓越性能。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

视频文本检索一直是多模式研究中的至关重要和基本任务。大型多模式对比预训练的发展，视频文本检索的开发已大大促进，这主要侧重于粗粒或细粒对比。然而，在先前的研究中很少探索过跨粒度的对比，这是粗粒表示和细粒度表示之间的对比。与细粒度或粗粒的对比相比，交叉粒度对比度计算了粗粒粒度特征与每个细粒特征之间的相关性，并且能够过滤出不必要的细颗粒特征，这些特征由粗粒度的特征引导相似性计算，从而提高了检索的准确性。为此，本文提出了一种新型的多透明对比模型，即X-CLIP，用于视频文本检索。但是，另一个挑战在于相似性聚集问题，该问题旨在将细粒度和跨粒度相似性矩阵与实例级别的相似性汇总。为了应对这一挑战，我们提出了对相似性矩阵（AOSM）模块的关注，以使模型重点放在基本帧和单词之间的对比度上，从而降低了不必要的帧和单词对检索结果的影响。 X-CLIP具有多透明的对比度和提议的AOSM模块，在五个广泛使用的视频文本检索数据集上取得了出色的性能，包括MSR-VTT（49.3 R@1），MSVD（50.4 R@1），LSMDC（26.11）（26.1 r@1），didemo（47.8 r@1）和ActivityNet（46.2 r@1）。它的表现优于先前的最先前， +6.3％， +6.6％， +11.1％， +6.7％， +3.8％的相对改善对这些基准测试，这表明了多透明的对比度和AOSM的优势。

我们介绍了一种视听方法，用于远程文本到视频检索。与以前专为简短视频检索设计的方法（例如，持续时间为5-15秒）不同，我们的方法旨在检索捕获复杂人类动作的长时间视频。仅标准视频方法的一个挑战是与从这样的长视频中处理数百个密集提取的帧相关的大量计算成本。为了解决这个问题，我们建议用紧凑的音频提示替换视频的部分，这些线索简洁地汇总了动态音频事件，并且处理便宜。我们的方法称为Eclipse（带有声音编码的有效剪辑），通过添加一个统一的视听变压器块，将流行的剪辑模型调整为视听视频设置，该块从视频和音频流中捕获互补的提示。除了比仅长期视频的方法快2.92倍和2.34倍的内存效率外，我们的方法还可以在几个不同的远程视频数据集上，例如ActivityNet，QVHighighlights，Youcoook2，Youcoook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2， Didemo和Charades。

文本视频检索是一项具有巨大实际价值的任务，并受到了越来越多的关注，其中学习时空视频表示是研究热点之一。最先进的视频检索模型中的视频编码通常会直接采用预训练的视觉主链，其网络结构固定，因此无法进一步改进它们以产生细粒度的空间时间表视频表示。在本文中，我们提出了令牌移位和选择网络（TS2-NET），这是一种新型的令牌移动和选择变压器体系结构，该架构会动态调整令牌序列，并从输入视频样本中选择时间和空间维度中的信息令牌。令牌移位模块在时间上暂时移动整个代币特征，来回跨相邻帧，以保留完整的令牌表示并捕获微妙的动作。然后，令牌选择模块选择对局部空间语义贡献最大的令牌。基于彻底的实验，拟议的TS2-NET在主要文本视频检索基准上实现了最先进的性能，包括有关MSRVTT，VATEX，LSMDC，LSMDC，ActivityNetnet和DideMo的新记录。

Text-Video Retrieval plays an important role in multi-modal understanding and has attracted increasing attention in recent years. Most existing methods focus on constructing contrastive pairs between whole videos and complete caption sentences, while overlooking fine-grained cross-modal relationships, e.g., clip-phrase or frame-word. In this paper, we propose a novel method, named Hierarchical Cross-Modal Interaction (HCMI), to explore multi-level cross-modal relationships among video-sentence, clip-phrase, and frame-word for text-video retrieval. Considering intrinsic semantic frame relations, HCMI performs self-attention to explore frame-level correlations and adaptively cluster correlated frames into clip-level and video-level representations. In this way, HCMI constructs multi-level video representations for frame-clip-video granularities to capture fine-grained video content, and multi-level text representations at word-phrase-sentence granularities for the text modality. With multi-level representations for video and text, hierarchical contrastive learning is designed to explore fine-grained cross-modal relationships, i.e., frame-word, clip-phrase, and video-sentence, which enables HCMI to achieve a comprehensive semantic comparison between video and text modalities. Further boosted by adaptive label denoising and marginal sample enhancement, HCMI achieves new state-of-the-art results on various benchmarks, e.g., Rank@1 of 55.0%, 58.2%, 29.7%, 52.1%, and 57.3% on MSR-VTT, MSVD, LSMDC, DiDemo, and ActivityNet, respectively.

我们介绍了空间本地化叙述中的视频中的任务。我们的方法的关键是能够学会在与随附的叙述的视频中的大型视频中对自我监督进行空间地定位与自我监督的互动。为实现这一目标，我们提出了一种多层跨模型关注网络，可以在培训期间有效优化对比损失。我们介绍了一种分割的策略，可以通过视觉和自然语言方式计算和中间模态注意力之间的交替，这允许通过直接对比两种方式的表示来实现有效的培训。我们展示了我们对HOWTO100M教学数据集的自我训练的方法的有效性，并在YouCook2 DataSet中的本地化描述交互的新收集数据集上进行评估。我们展示了我们的方法优于替代基准，包括浅薄的共同关注和完全跨越的关注。我们还将我们的方法应用于在Flickr30k上的弱监管下的图像中的接地短语，并显示堆叠多个注意层是有效的，并且当与对区域丢失相结合时，在召回召回和指向时达到最先进的艺术状态手准确性。

视频字幕定位目标将复杂的视觉内容解释为文本说明，这要求模型充分了解包括对象及其交互的视频场景。流行的方法采用现成的对象检测网络来提供对象建议，并使用注意机制来建模对象之间的关系。他们通常会错过一些预验证模型的不确定语义概念，并且无法识别对象之间的确切谓词关系。在本文中，我们研究了为给定视频生成文本描述的开放研究任务，并提出了带有元概念的跨模式图（CMG）。具体而言，为了涵盖视频字幕中有用的语义概念，我们弱地学习了文本描述的相应视觉区域，其中相关的视觉区域和文本单词被命名为跨模式元概念。我们通过学习的跨模式元概念动态地构建元概念图。我们还构建了整体视频级别和本地框架级视频图，并具有预测的谓词，以建模视频序列结构。我们通过广泛的实验来验证我们提出的技术的功效，并在两个公共数据集上实现最新结果。

当前的文本到视频检索方法（T2VR）经过培训和测试，并在视频捕获方向的数据集（例如MSVD，MSR-VTT和VATEX）上进行了测试。这些数据集的一个关键属性是，假定视频在短时间内被暂时预先修剪，而提供的字幕很好地描述了视频内容的要旨。因此，对于给定的配对视频和标题，该视频应该与标题完全相关。但是，实际上，由于查询尚不清楚，因此预处理的视频剪辑可能不包含足够的内容来完全满足查询。这表明文学与现实世界之间存在差距。为了填补空白，我们在本文中提出了一个新颖的T2VR子任务，称为部分相关的视频检索（PRVR）。未修剪的视频被认为是部分相关的W.R.T.给定的文本查询是否包含与查询相关的时刻。 PRVR旨在从大量未修剪视频中检索此类相关视频。 PRVR与单个视频时刻检索和视频语料库时刻的检索有所不同，因为后两个是要检索时刻而不是未修剪的视频。我们将PRVR作为多个实例学习（MIL）问题，同时将视频视为一袋视频片段和一袋视频帧。剪辑和帧表示不同时间尺度的视频内容。我们提出了一个多尺度的相似性学习（MS-SL）网络，该网络共同学习PRVR的剪辑规模和框架尺度相似性。在三个数据集（TVR，ActivityNet字幕和Charades-STA）上进行了广泛的实验，证明了该方法的可行性。我们还表明，我们的方法可用于改善视频语料库时刻的检索。

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

本文提出了一个视频图形变压器（VGT）模型，用于视频Quetion Answering（VideoQA）。 VGT的唯一性是双重的：1）它设计了一个动态图形变压器模块，该模块通过明确捕获视觉对象，它们的关系和动态来编码视频，以进行复杂的时空推理； 2）它利用了删除的视频和文本变压器，以比较视频和文本以执行质量检查，而不是纠缠的跨模式变压器进行答案分类。视觉文本通信是通过其他跨模式相互作用模块完成的。借助更合理的视频编码和质量检查解决方案，我们表明VGT可以在挑战动态关系推理的视频中取得更好的性能，而不是在没有预处理的情况下。它的性能甚至超过了那些被数百万个外部数据鉴定的模型。我们进一步表明，VGT也可以从自我监督的交叉模式预处理中受益匪浅，但数据的数量级较小。这些结果清楚地表明了VGT的有效性和优势，并揭示了其具有更高数据预处理的潜力。通过全面的分析和一些启发式观察，我们希望VGT能够在现实视频中促进VQA研究超越粗略的认识/描述，以实现细粒度的关系推理。我们的代码可在https://github.com/sail-sg/vgt上找到。

Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.