时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

我们考虑在与给定文本查询相对应的视频中定位时空管的问题。这是一项具有挑战性的任务，需要对时间，空间和多模式相互作用进行联合有效的建模。为了解决此任务，我们提出了TubedEtr，这是一种基于变压器的体系结构，灵感来自此类模型在文本条件条件的对象检测中的最新成功。我们的模型特别包括：（i）有效的视频和文本编码器，该视频和文本编码器对稀疏采样帧进行了空间多模式相互作用，以及（ii）共同执行时空定位的时空解码器。我们通过广泛的消融研究证明了我们提出的组件的优势。我们还在时空视频接地任务上评估了我们的完整方法，并在具有挑战性的VIDSTG和HC-STVG基准方面证明了对最新技术的改进。代码和训练有素的模型可在https://antoyang.github.io/tubedetr.html上公开获得。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

本文研究了时间句子接地的多媒体问题（TSG），该问题旨在根据给定的句子查询准确地确定未修剪视频中的特定视频段。传统的TSG方法主要遵循自上而下或自下而上的框架，不是端到端。他们严重依靠耗时的后处理来完善接地结果。最近，提出了一些基于变压器的方法来有效地对视频和查询之间的细粒语义对齐进行建模。尽管这些方法在一定程度上达到了显着的性能，但它们同样将视频的框架和查询的单词视为用于关联的变压器输入，未能捕获其不同水平的粒度与独特的语义。为了解决这个问题，在本文中，我们提出了一种新型的等级局部 - 全球变压器（HLGT）来利用这种层次结构信息，并模拟不同粒度的不同级别的相互作用和不同的模态之间的相互作用，以学习更多细粒度的多模式表示。具体而言，我们首先将视频和查询分为单个剪辑和短语，以通过时间变压器学习其本地上下文（相邻依赖关系）和全局相关性（远程依赖）。然后，引入了全球本地变压器，以了解本地级别和全球级别语义之间的相互作用，以提供更好的多模式推理。此外，我们开发了一种新的跨模式周期一致性损失，以在两种模式之间实施相互作用，并鼓励它们之间的语义一致性。最后，我们设计了一个全新的跨模式平行变压器解码器，以集成编码的视觉和文本特征，以进行最终接地。在三个具有挑战性的数据集上进行了广泛的实验表明，我们提出的HLGT实现了新的最新性能。

视觉接地是定位自然语言表达式指示的目标的任务。现有方法将通用对象检测框架扩展到此问题。它们将视觉接地基于预先生成的提案或锚点的特征，并将这些功能与文本嵌入融合，以找到文本提到的目标。但是，对这些预定义位置的视觉特征进行建模可能无法完全利用文本查询中的视觉上下文和属性信息，从而限制其性能。在本文中，我们提出了一个基于变压器的框架，以通过建立文本条件的判别特征和执行多阶段的跨模式推理来进行准确的视觉接地。具体而言，我们开发了一个视觉语言验证模块，以将视觉特征集中在与文本描述相关的区域上，同时抑制了无关区域。还设计了一种语言指导的特征编码器来汇总目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模式解码器，以迭代地推测图像和文本之间的相关性，以进行准确的目标定位。在五个广泛使用的数据集上进行的广泛实验验证了我们提出的组件的功效，并证明了最先进的性能。我们的代码在https://github.com/yangli18/vltvg上公开。

在这份技术报告中，我们将解决方案介绍给以人为中心的时空视频接地任务。我们提出了一个名为stvgformer的简洁有效框架，该框架将时空视觉语言依赖性与静态分支和动态分支建模。静态分支在单个帧中执行交叉模式的理解，并根据框架内视觉提示（如对象出现）学会在空间上定位目标对象。动态分支在多个帧上执行交叉模式理解。它学会了根据动作（如动作）的动态视觉提示来预测目标力矩的开始和结束时间。静态分支和动态分支均设计为跨模式变压器。我们进一步设计了一种新型的静态动力相互作用块，以使静态和动态分支相互传递有用和互补信息，这被证明可以有效地改善对硬病例的预测。我们提出的方法获得了39.6％的VIOU，并在第四人中挑战中获得了HC-STVG曲目的第一名。

本文解决了颞句的接地。以前的作品通常通过学习帧级视频功能来解决此任务并将其与文本信息对齐。这些作品的一个主要限制是，由于帧级特征提取，它们未能利用具有微妙的外观差异的模糊视频帧。最近，一些方法采用更快的R-CNN来提取每帧中的详细物体特征来区分细粒的外观相似性。然而，由于对象检测模型缺乏时间建模，因此通过更快的R-CNN提取的对象级别特征遭受缺失的运动分析。为了解决这个问题，我们提出了一种新颖的运动外观推理网络（MARN），其包括动作感知和外观感知对象特征，以更好的原因对象关系来建立连续帧之间的活动。具体而言，我们首先介绍两个单独的视频编码器以将视频嵌入到相应的主导和外观 - 方面对象表示中。然后，我们开发单独的运动和外观分支，以分别学习运动引导和外观引导的对象关系。最后，来自两个分支的运动和外观信息都与用于最终接地的更多代表性的特征相关联。对两个具有挑战性的数据集（Chardes-Sta和Tacos）的广泛实验表明，我们提出的马恩在以前的最先进的方法中大大优于大幅度。

时空视频接地（STVG）是一项具有挑战性的任务，旨在根据自然语言查询在语义上在语义上定位感兴趣的对象的时空管。大多数以前的作品不仅严重依赖于更快的R-CNN提取的锚盒，而且还简单地将视频视为一系列单独的帧，因此缺乏其时间建模。取而代之的是，在本文中，我们是第一个为STVG提出的无锚框架的人，称为Gaussian基于高斯内核的交叉模态网络（GKCMN）。具体而言，我们利用每个视频框架的基于高斯内核的热图来定位与查询相关的对象。混合的串行和并行连接网络进一步开发，以利用框架之间的空间和时间关系以更好地接地。VIDSTG数据集的实验结果证明了我们提出的GKCMN的有效性。

视频接地旨在通过给定语言查询，本地化未经监控的视频中的相应视频时刻。现有方法通常以间接方式解决此任务，通过将其作为提案和匹配或融合和检测问题。解决这些替代问题通常需要在培训和手工制作的近重复结果中进行复杂的标签分配。同时，现有的作品通常专注于具有单句的稀疏视频接地，作为输入可能导致由于其不清晰的描述而产生模糊的本地化。在本文中，我们通过将段落作为输入同时定位多个时刻来解决密集视频接地的新问题。从视频接地的视角是语言条件回归，我们通过重新拟合变压器 - 相似的架构（PRVG）来提出端到端的并行解码范式。我们的PRVG中的关键设计是使用语言作为查询，并基于语言调制的可视表示直接回归矩界限。由于其简单设计，我们的PRVG框架可以应用于不同的测试方案（稀疏或密集的接地），并允许无需任何后处理技术的有效推理。此外，我们设计了强大的提案级注意力损失，以指导PRVG的培训，这不变于时刻持续时间，并有助于模型收敛。我们对ActivityNet标题和炸玉米饼的两个视频接地基准进行实验，展示了我们的PRVG可以显着优于以前的方法。我们还进行深入的研究，以研究并行回归范例对视频接地的有效性。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

Given an untrimmed video and natural language query, video sentence grounding aims to localize the target temporal moment in the video. Existing methods mainly tackle this task by matching and aligning semantics of the descriptive sentence and video segments on a single temporal resolution, while neglecting the temporal consistency of video content in different resolutions. In this work, we propose a novel multi-resolution temporal video sentence grounding network: MRTNet, which consists of a multi-modal feature encoder, a Multi-Resolution Temporal (MRT) module, and a predictor module. MRT module is an encoder-decoder network, and output features in the decoder part are in conjunction with Transformers to predict the final start and end timestamps. Particularly, our MRT module is hot-pluggable, which means it can be seamlessly incorporated into any anchor-free models. Besides, we utilize a hybrid loss to supervise cross-modal features in MRT module for more accurate grounding in three scales: frame-level, clip-level and sequence-level. Extensive experiments on three prevalent datasets have shown the effectiveness of MRTNet.

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

文本和视频之间交叉模态检索的任务旨在了解视觉和语言之间的对应关系。现有研究遵循基于文本和视频嵌入的测量文本视频相似度的趋势。在常见的做法中，通过将视频帧馈送到用于全球视觉特征提取的视频帧或仅通过使用图形卷积网络使用本地细粒度的框架区域来实现简单的语义关系来构造视频表示。然而，这些视频表示在学习视频表示中的视觉组件之间没有充分利用时空关系，从而无法区分具有相同视觉组件但具有不同关系的视频。为了解决这个问题，我们提出了一种视觉时空关系增强的网络（VSR-Net），这是一种新的跨模型检索框架，其考虑组件之间的空间视觉关系，以增强桥接文本 - 视频模型中的全局视频表示。具体地，使用多层时空变压器来编码视觉时空关系，以学习视觉关系特征。我们将全局视觉和细粒度的关系功能与两个嵌入空格上的文本功能对齐，用于交叉模态文本 - 视频检索。在MSR-VTT和MSVD数据集中进行了广泛的实验。结果表明了我们提出的模型的有效性。我们将发布促进未来研究的代码。

引用视频对象细分旨在分割给定语言表达式所引用的对象。现有作品通常需要压缩视频bitstream在分割之前将其解码为RGB帧，从而增加了计算和存储要求，并最终减慢了推断。这可能会妨碍其在现实世界计算资源有限的场景中的应用，例如自动驾驶汽车和无人机。为了减轻此问题，在本文中，我们探讨了压缩视频的引用对象细分任务，即原始视频数据流。除了视频引用对象分割任务本身的固有难度外，从压缩视频中获得歧视性表示也很具有挑战性。为了解决这个问题，我们提出了一个多发网络，该网络由双路线双注意模块和一个基于查询的跨模式变压器模块组成。具体而言，双路线双意见模块旨在从三种模态的压缩数据中提取有效表示，即i框架，运动矢量和残留。基于查询的跨模式变压器首先对语言和视觉方式之间的相关性进行建模，然后使用融合的多模式特征来指导对象查询以生成内容感知的动态内核并预测最终的分割掩码。与以前的作品不同，我们建议只学习一个内核，因此，它可以删除现有方法的复杂后掩模匹配程序。在三个具有挑战性的数据集上进行的广泛有希望的实验结果表明，与几种用于处理RGB数据的最新方法相比，我们的方法的有效性。源代码可在以下网址获得：https：//github.com/dexianghong/manet。

在这项工作中，我们探索了用于视觉接地的整洁而有效的基于变压器的框架。先前的方法通常解决了视觉接地的核心问题，即具有手动设计的机制，即多模式融合和推理。这样的启发式设计不仅复杂化，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，该TransVG通过变压器建立了多模式的对应关系，并通过直接回归框坐标来定位引用区域。我们从经验上表明，复杂的融合模块可以用具有更高性能的变压器编码层的简单堆栈代替。但是，TransVG中的核心融合变压器是针对Uni-Modal编码器的独立性，因此应在有限的视觉接地数据上从头开始训练，这使得很难优化并导致次优性能。为此，我们进一步介绍了TransVG ++以进行两倍的改进。一方面，我们通过利用Vision Transformer（VIT）进行视觉功能编码来将框架升级到一个纯粹的基于变压器的框架。对于另一个人来说，我们设计了语言有条件的视觉变压器，以去除外部融合模块，并重用Uni-Modal vit进行中间层的视觉融合。我们对五个普遍数据集进行了广泛的实验，并报告一系列最先进的记录。

我们提出了块茎：一种简单的时空视频动作检测解决方案。与依赖于离线演员检测器或手工设计的演员位置假设的现有方法不同，我们建议通过同时执行动作定位和识别从单个表示来直接检测视频中的动作微管。块茎学习一组管芯查询，并利用微调模块来模拟视频剪辑的动态时空性质，其有效地加强了与在时空空间中的演员位置假设相比的模型容量。对于包含过渡状态或场景变更的视频，我们提出了一种上下文意识的分类头来利用短期和长期上下文来加强行动分类，以及用于检测精确的时间动作程度的动作开关回归头。块茎直接产生具有可变长度的动作管，甚至对长视频剪辑保持良好的结果。块茎在常用的动作检测数据集AVA，UCF101-24和JHMDB51-21上优于先前的最先进。

暂时视频接地（TVG）旨在根据自然语言查询将时间段定位在未修饰的视频中。在这项工作中，我们提出了一个名为TVG探索和匹配的新范式，该范式无缝地统一了两种TVG方法：无提案和基于提案的方法；前者探索了直接查找细分市场的搜索空间，后者将预定义的提案与地面真相相匹配。为了实现这一目标，我们将TVG视为一个设定的预测问题，并设计了可端到端的可训练的语言视频变压器（LVTR），该视频变压器（LVTR）利用了丰富的上下文化和平行解码的建筑优势来设置预测。总体培训时间表与两次扮演不同角色的关键损失，即时间定位损失和设定指导损失的平衡。这两个损失允许每个建议可以回归目标细分并确定目标查询。更具体地说，LVTR首先探索搜索空间以使初始建议多样化，然后将建议与相应的目标匹配，以细粒度的方式对齐它们。探索和匹配方案成功地结合了两种互补方法的优势，而无需将先验知识（例如，非最大抑制）编码到TVG管道中。结果，LVTR在两个TVG基准（ActivityCaptions and Charades-sta）上设定了新的最新结果，其推理速度是两倍。代码可在https://github.com/sangminwoo/explore-and-match上找到。

在本文中，我们研究了如何使用现代视觉语言变形金刚实现更好的视觉接地，并为这项具有挑战性的任务提出了一种简单而强大的选择性训练（SIRI）机制。特别是，Siri传达了视觉接地研究的重要原则，即更好的初始视觉语言编码器将帮助该模型收敛到更好的局部最低限度，从而相应地提高性能。具体而言，随着训练的进行，我们不断更新编码器的参数，而定期重新定位的其余参数则可以根据增强的编码来更好地优化模型。 Siri在三个流行的基准测试中可以大大优于以前的方法。具体而言，我们的方法在Refcoco+ Testa上达到了83.04％的TOP1精度，超过了最先进的方法（从头开始训练）超过10.21％。此外，我们透露，即使培训数据有限，Siri也表现出色。我们还将其扩展到基于变压器的视觉接地模型和其他视觉语言任务，以验证有效性。

我们研究了视频引用表达理解（REC）的问题，该问题旨在将句子中描述的引用对象定位为视频帧中的视觉区域。尽管取得了最近的进展，但现有方法却遇到了两个问题：1）视频帧之间的本地化结果不一致； 2）参考对象和上下文对象之间的混淆。为此，我们提出了一个新颖的双对应网络（称为DCNET），该网络明确增强了框架间和跨模式的密集关联。首先，我们旨在为框架内所有现有实例建立框架间的相关性。具体而言，我们计算框架间的斑点余弦相似性，以估计密集的对齐方式，然后执行框架间的对比度学习以在特征空间中映射它们。其次，我们建议构建细粒斑点字对齐，以将每个贴片与某些单词相关联。由于缺乏这种详细的注释，我们还通过余弦相似性预测了斑点字的对应关系。广泛的实验表明，我们的DCNET在视频和图像基准测试中都达到了最先进的性能。此外，我们进行了全面的消融研究和彻底的分析，以探索最佳模型设计。值得注意的是，我们的框架间和跨模式对比损失是插件功能，适用于任何视频架构架构。例如，通过在共同接地之上进行构建，我们在vid-sentence数据集的Accu。0.5上提高了1.48％的性能。