在本报告中，我们向CVPR 2022中的EGO4D自然语言查询（NLQ）挑战介绍了Reler@zju-alibaba提交。给定视频剪辑和文本查询，该挑战的目标是确定视频的时间时刻剪辑可以获得查询的答案。为了解决这项任务，我们提出了一个多尺度的跨模式变压器和视频框架级对比度损失，以完全发现语言查询与视频剪辑之间的相关性。此外，我们提出了两种数据增强策略，以增加培训样本的多样性。实验结果证明了我们方法的有效性。最后的提交在排行榜上排名第一。

视频时间基础（VTG）的目标是根据自然语言（NL）描述在未修剪视频中定位时间矩。由于现实世界的应用程序提供了永无止境的视频流，因此它提出了对长形视频的时间基础的需求，这导致了两个主要挑战：（1）长视频长度使得很难处理整个视频而不减少样本速率并导致高计算负担； （2）随着候选时间的增加数量，准确的多模式对准更具挑战性。为了应对这些挑战，我们提出了一个有效的以窗户为中心的粗略对齐框架，它可以灵活地处理具有较高推理速度的长格式视频输入，并通过我们的新颖的Choce-Fine Muly-Fine增强了时间基础模态对齐框架。具体来说，我们通过滑动窗口方法将长视频将长视频切成候选窗口。 Cone（1）以窗户为中心，通过对比度学习和通过对NL查询相关的候选窗口进行过滤来学习窗口间的（粗粒）语义差异，并且（2）执行内部（罚款） - 使用强大的对比视力文本预训练模型的强大多模式对齐能力对候选力矩进行排名。长期视频的两个大规模VTG基准测试的广泛实验始终显示出可观的性能增长（MAD的3.13％至6.87％，从10.46％到EGO4D-NLQ上的10.46％至13.46％），并且Cone在两个数据集上都可以达到SOTA结果。分析揭示了组件的有效性和长期视频接地的效率较高，因为我们的系统在EGO4D-NLQ上提高了2倍的推理速度，而在MAD上提高了15倍的速度，同时保持了锥体的SOTA性能。

当前的文本到视频检索方法（T2VR）经过培训和测试，并在视频捕获方向的数据集（例如MSVD，MSR-VTT和VATEX）上进行了测试。这些数据集的一个关键属性是，假定视频在短时间内被暂时预先修剪，而提供的字幕很好地描述了视频内容的要旨。因此，对于给定的配对视频和标题，该视频应该与标题完全相关。但是，实际上，由于查询尚不清楚，因此预处理的视频剪辑可能不包含足够的内容来完全满足查询。这表明文学与现实世界之间存在差距。为了填补空白，我们在本文中提出了一个新颖的T2VR子任务，称为部分相关的视频检索（PRVR）。未修剪的视频被认为是部分相关的W.R.T.给定的文本查询是否包含与查询相关的时刻。 PRVR旨在从大量未修剪视频中检索此类相关视频。 PRVR与单个视频时刻检索和视频语料库时刻的检索有所不同，因为后两个是要检索时刻而不是未修剪的视频。我们将PRVR作为多个实例学习（MIL）问题，同时将视频视为一袋视频片段和一袋视频帧。剪辑和帧表示不同时间尺度的视频内容。我们提出了一个多尺度的相似性学习（MS-SL）网络，该网络共同学习PRVR的剪辑规模和框架尺度相似性。在三个数据集（TVR，ActivityNet字幕和Charades-STA）上进行了广泛的实验，证明了该方法的可行性。我们还表明，我们的方法可用于改善视频语料库时刻的检索。

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

视频文本检索一直是多模式研究中的至关重要和基本任务。大型多模式对比预训练的发展，视频文本检索的开发已大大促进，这主要侧重于粗粒或细粒对比。然而，在先前的研究中很少探索过跨粒度的对比，这是粗粒表示和细粒度表示之间的对比。与细粒度或粗粒的对比相比，交叉粒度对比度计算了粗粒粒度特征与每个细粒特征之间的相关性，并且能够过滤出不必要的细颗粒特征，这些特征由粗粒度的特征引导相似性计算，从而提高了检索的准确性。为此，本文提出了一种新型的多透明对比模型，即X-CLIP，用于视频文本检索。但是，另一个挑战在于相似性聚集问题，该问题旨在将细粒度和跨粒度相似性矩阵与实例级别的相似性汇总。为了应对这一挑战，我们提出了对相似性矩阵（AOSM）模块的关注，以使模型重点放在基本帧和单词之间的对比度上，从而降低了不必要的帧和单词对检索结果的影响。 X-CLIP具有多透明的对比度和提议的AOSM模块，在五个广泛使用的视频文本检索数据集上取得了出色的性能，包括MSR-VTT（49.3 R@1），MSVD（50.4 R@1），LSMDC（26.11）（26.1 r@1），didemo（47.8 r@1）和ActivityNet（46.2 r@1）。它的表现优于先前的最先前， +6.3％， +6.6％， +11.1％， +6.7％， +3.8％的相对改善对这些基准测试，这表明了多透明的对比度和AOSM的优势。

我们介绍了一种视听方法，用于远程文本到视频检索。与以前专为简短视频检索设计的方法（例如，持续时间为5-15秒）不同，我们的方法旨在检索捕获复杂人类动作的长时间视频。仅标准视频方法的一个挑战是与从这样的长视频中处理数百个密集提取的帧相关的大量计算成本。为了解决这个问题，我们建议用紧凑的音频提示替换视频的部分，这些线索简洁地汇总了动态音频事件，并且处理便宜。我们的方法称为Eclipse（带有声音编码的有效剪辑），通过添加一个统一的视听变压器块，将流行的剪辑模型调整为视听视频设置，该块从视频和音频流中捕获互补的提示。除了比仅长期视频的方法快2.92倍和2.34倍的内存效率外，我们的方法还可以在几个不同的远程视频数据集上，例如ActivityNet，QVHighighlights，Youcoook2，Youcoook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2，Youcook2， Didemo和Charades。

从给定自然语言（NL）用户查询的视频中检测自定义时刻和亮点是一个重要而是研究过的主题。追求这个方向的挑战之一是缺乏注释数据。要解决此问题，我们介绍了基于查询的视频亮点（QVHighlights）数据集。它由超过10,000个YouTube视频组成，涵盖了各种主题，从日常活动，在Lifestyle VLog视频中旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释：（1）人类写的自由表格NL查询，（2）视频W.R.T中的相关时刻。查询和（3）所有查询相关剪辑的五点比例显着分数。此综合注释使我们能够开发和评估检测相关时刻的系统以及为不同灵活的用户查询的突出亮点。我们还为此任务提供了一个强大的基线，矩DETR，一个变压器编码器 - 解码器模型，即视图检索作为直接设置预测问题，将提取的视频和查询表示作为输入和预测时刻坐标和显着分数结束 - 结尾。虽然我们的模型不利用任何人，但我们表明它与经验丰富的架构相比，它表现得很竞争。使用ASR标题的弱预测预测，动量基本上显着优于先前的方法。最后，我们展示了几个措施和可视化的力矩。数据和代码在https://github.com/jayleicn/moment_detr上公开使用

Text-Video Retrieval plays an important role in multi-modal understanding and has attracted increasing attention in recent years. Most existing methods focus on constructing contrastive pairs between whole videos and complete caption sentences, while overlooking fine-grained cross-modal relationships, e.g., clip-phrase or frame-word. In this paper, we propose a novel method, named Hierarchical Cross-Modal Interaction (HCMI), to explore multi-level cross-modal relationships among video-sentence, clip-phrase, and frame-word for text-video retrieval. Considering intrinsic semantic frame relations, HCMI performs self-attention to explore frame-level correlations and adaptively cluster correlated frames into clip-level and video-level representations. In this way, HCMI constructs multi-level video representations for frame-clip-video granularities to capture fine-grained video content, and multi-level text representations at word-phrase-sentence granularities for the text modality. With multi-level representations for video and text, hierarchical contrastive learning is designed to explore fine-grained cross-modal relationships, i.e., frame-word, clip-phrase, and video-sentence, which enables HCMI to achieve a comprehensive semantic comparison between video and text modalities. Further boosted by adaptive label denoising and marginal sample enhancement, HCMI achieves new state-of-the-art results on various benchmarks, e.g., Rank@1 of 55.0%, 58.2%, 29.7%, 52.1%, and 57.3% on MSR-VTT, MSVD, LSMDC, DiDemo, and ActivityNet, respectively.

在本文中，我们介绍了一项新任务，口语视频接地（SVG），旨在将口语描述中所需的视频片段定位。与使用文本相比，使用音频需要模型直接利用与原始语音视频相关的有用音素和音节。此外，我们在语音音频中随机添加环境声音，进一步增加了此任务的困难并更好地模拟真实应用程序。为了纠正歧视性音素并从嘈杂的音频中提取与视频相关的信息，我们在音频预训练过程中开发了一种新颖的视频指导课程学习（VGCL），可以利用重要的视觉感知来帮助理解口语语言并抑制外部噪音。考虑到推理期间，模型无法获得地面真实视频片段，我们设计了一种课程策略，该策略将输入视频从地面真相转移到预训练期间的整个视频内容。最后，该模型可以学习如何从整个视频剪辑中提取关键的视觉信息，以帮助了解口语。此外，我们基于ActivityNet收集了第一个大规模口语视频接地数据集，该数据集称为ActivityNet语音数据集。广泛的实验表明，我们提出的视频指导课程学习可以促进预训练过程以获得相互的音频编码器，从而大大促进了口头视频接地任务的性能。此外，我们证明，在嘈杂的声音的情况下，我们的模型优于将视频与ASR转录本扎根的方法，进一步证明了我们课程策略的有效性。

视频瞬间检索旨在找到给定自然语言查询描述的片刻的开始和结束时间戳（视频的一部分）。全面监督的方法需要完整的时间边界注释才能获得有希望的结果，这是昂贵的，因为注释者需要关注整个时刻。弱监督的方法仅依赖于配对的视频和查询，但性能相对较差。在本文中，我们仔细研究了注释过程，并提出了一种称为“ Glance注释”的新范式。该范式需要一个只有一个随机框架的时间戳，我们将其称为“目光”，在完全监督的对应物的时间边界内。我们认为这是有益的，因为与弱监督相比，添加了琐碎的成本，还提供了更大的潜力。在一眼注释设置下，我们提出了一种基于对比度学习的一眼注释（VIGA），称为视频力矩检索的方法。 Viga将输入视频切成片段，并在剪辑和查询之间形成对比，其中一眼指导的高斯分布重量被分配给所有夹子。我们的广泛实验表明，VIGA通过很大的边距较小的弱监督方法获得了更好的结果，甚至可以在某些情况下与完全监督的方法相媲美。

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

现代视频文本检索框架基本上由三个部分组成：视频编码器，文本编码器和相似性。随着Visual和Textual表示学习的成功，在视频文本检索领域也采用了基于变压器的编码器和融合方法。在本报告中，我们呈现Clip2TV，旨在探索关键元素在基于变压器的方法中。为实现这一目标，我们首先重新审视一些对多模态学习的工作，然后将一些技术介绍到视频文本检索中，最后通过不同配置的大量实验进行评估。值得注意的是，Clip2TV在MSR-VTT数据集上实现了52.9 @ R1，优先表现出先前的SOTA结果为4.1％。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

培训有效的视频和语言模型直观地需要多个帧作为模型输入。但是，目前尚不清楚使用多个帧是否有利于下游任务，如果是的话，性能增益是否值得通过使用更多帧产生的巨大计算和内存成本。在这项工作中，我们探索了视频和语言学习的单帧模型。在各种视频和语言任务（包括文本到视频检索和视频问题）上，我们显示出令人惊讶的结果，即通过大规模的预训练和适当的框架合奏在推理时，与使用多个训练的现有方法相比，不考虑时间信息的单帧训练模型可以实现更好的性能。该结果揭示了流行的视频和语言数据集中存在强烈的“静态外观偏差”。因此，为了对视频和语言模型进行更全面的评估，我们建议基于现有的细粒度识别数据集，提出了两个新的检索任务，以鼓励时间建模。我们的代码可从https://github.com/jayleicn/singularity获得

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

在这份技术报告中，我们将解决方案介绍给以人为中心的时空视频接地任务。我们提出了一个名为stvgformer的简洁有效框架，该框架将时空视觉语言依赖性与静态分支和动态分支建模。静态分支在单个帧中执行交叉模式的理解，并根据框架内视觉提示（如对象出现）学会在空间上定位目标对象。动态分支在多个帧上执行交叉模式理解。它学会了根据动作（如动作）的动态视觉提示来预测目标力矩的开始和结束时间。静态分支和动态分支均设计为跨模式变压器。我们进一步设计了一种新型的静态动力相互作用块，以使静态和动态分支相互传递有用和互补信息，这被证明可以有效地改善对硬病例的预测。我们提出的方法获得了39.6％的VIOU，并在第四人中挑战中获得了HC-STVG曲目的第一名。

时间句子接地（TSG）是多媒体信息检索中的一项重要但具有挑战性的任务。尽管以前的TSG方法已经达到了不错的性能，但它们倾向于捕获数据集中经常出现的视频问题对的选择偏差，而不是呈现强大的多模式推理能力，尤其是对于很少出现的对。在本文中，我们研究了上述选择偏见的问题，并因此提出了一个偏见-TSG（D-TSG）模型，以过滤和消除视觉和语言方式中的负偏见，以增强模型的概括能力。具体来说，我们建议从两个角度来减轻问题：1）特征蒸馏。我们构建了一个多模式的偏见分支，以首先捕获视觉和语言偏见，然后应用一个偏差识别模块以明确识别真正的负偏见并将其从良性多模式表示中删除。 2）对比样品产生。我们构建两种类型的负样本来强制执行模型，以准确学习对齐的多模式语义并做出完整的语义推理。我们将提出的模型应用于通常和很少出现的TSG案例，并通过在三个基准数据集（ActivityNet标题，Tacos和Charades-STA）上实现最先进的性能来证明其有效性。

通过网络视频的快速增长，视频语言建模引起了很多关注。大多数现有方法都假定视频帧和文本描述是语义上关联的，并专注于视频级别的视频模型。但是，该假设通常是有两个原因的：（1）凭借视频内容丰富的语义，很难用单个视频级别的描述覆盖所有帧； （2）原始视频通常具有嘈杂/毫无意义的信息（例如，镜头，过渡或预告片）。尽管最近的许多作品部署了注意力来减轻此问题，但无关/嘈杂的信息仍然使得很难解决。为了克服此类挑战，我们提出了一个高效有效的模型，称为语言引导网络（LGDN），用于视频语言建模。与使用所有提取的视频帧的大多数现有方法不同，LGDN在语言监督下动态过滤了未对准或冗余的帧，并且每个视频仅获得2---4个显着帧，以进行交叉模式令牌级别的对准。在五个公共数据集上进行的广泛实验表明，我们的LGDN优于最先进的利润率。我们还提供了详细的消融研究，以揭示解决噪声问题的关键重要性，以启发未来的视频语言工作。

随着社交媒体的出现，每天都会上传大量的视频剪辑，并使用语言查询来检索最相关的视觉内容变得至关重要。大多数方法旨在学习纯文本和视觉内容的联合嵌入空间，而无需充分利用其模式内结构和模式间相关性。本文提出了一种新颖的变压器，将文本和视频明确地将文本和视频分解为对象，空间环境和时间上下文的语义角色，并具有注意力方案，以学习三个角色之间的内部和角色间相关性，以发现歧视性特征，以发现与不同的匹配水平。流行的YouCook2的初步结果表明，我们的方法超过了当前的最新方法，所有指标的利润很高。它还可以用两个指标覆盖两种SOTA方法。

参考图像分割旨在通过自然语言表达段段。在文本和图像之间的不同数据属性中，对网络充满良好的对齐文本和像素级别特征是具有挑战性的。现有方法使用借预制模型来促进学习，但分别从预磨料模型转移语言/视觉知识，忽略多模态对应信息。灵感来自最近对比语言 - 图像预测（剪辑）的预先推进（剪辑），在本文中，我们提出了一个端到端的剪辑驱动的参考图像分割框架（CRIS）。有效地转移多模态知识，克里斯语言解码和对比学习来实现文本到像素对齐的对比学习。更具体地，我们设计了一种视觉语言解码器，以将微粒语义信息从文本表示传播到每个像素级激活，这促进了两个模态之间的一致性。此外，我们呈现文本到像素对比学学习，明确强制执行类似于相关像素级别特征的文本特征，并与无关相似。三个基准数据集的实验结果表明，我们的拟议框架显着优于现有的性能而无需任何后处理。代码将被释放。