最近的视频文本发现方法通常需要三个阶段的管道，即检测单个图像中的文本，识别本地化文本，跟踪文本流以及后处理以生成最终结果。这些方法通常遵循按匹配范式跟踪并开发复杂的管道。在本文中，植根于变压器序列建模，我们提出了一个简单但有效的端到端视频文本检测，跟踪和识别框架（TransDert）。转码主要包括两个优点：1）与相邻帧中的显式匹配范式不同，transdetr轨道和不同的匹配范围，并通过长期时间序列（超过7帧）隐含的不同查询所谓的文本查询隐式识别每个文本。 2）Transdetr是第一个端到端可训练的视频文本斑点框架，该框架同时介绍了三个子任务（例如，文本检测，跟踪，识别）。进行了四个视频文本数据集（即ICDAR2013视频，ICDAR2015视频，Minetto和YouTube视频文本）中的广泛实验，以证明Transdetr在预先的性能中达到了最大的表现，并且在视频文本发现任务方面的提高约为8.0％。 。可以在https://github.com/weijiawu/transdetr上找到Transdet的代码。

视频文本发现（VTS）是需要同时检测，跟踪和识别视频中文本的任务。现有的视频文本发现方法通常开发复杂的管道和多个模型，这不是实时应用程序的朋友。在这里，我们提出了一个带有对比表示学习（Cotext）的实时端到端视频文本检测器。我们的贡献分为三个：1）Cotext同时解决实时端到端可训练框架中的三个任务（例如，文本检测，跟踪，识别）。 2）通过对比度学习，Cotext模拟了多个帧的长距离依赖性和学习时间信息。 3）简单，轻巧的体系结构设计用于有效和准确的性能，包括带有蒙版ROI的基于CTC的GPU - 平行检测后处理。广泛的实验显示了我们方法的优越性。尤其是，Cotext在ICDAR2015VIDEO上以41.0 fps的速度实现了一个视频文本，以72.0％的IDF1命中，其video的范围为10.5％和32.0 fps，改进了先前的最佳方法。该代码可以在github.com/weijiawu/cotext上找到。

大多数现有的视频文本发现基准测试专注于评估单一语言和具有有限数据的场景。在这项工作中，我们引入了大规模的双语，开放世界视频文本基准数据集（BovText）。 BovText有四个功能。首先，我们提供2,000多个具有超过1,75万多帧的视频，比现有最大数据集大25倍，其中包含录像中的附带文本。其次，我们的数据集涵盖了具有多种各种场景的30多个开放类别，例如Life VLog，驾驶，电影等。第三，为不同的代表提供了丰富的文本类型注释（即标题，标题或场景文本）视频中的意义。第四，BOVTEXT提供双语文本注释，以促进多种文化的生活和沟通。此外，我们提出了一个与变压器的端到端视频文本发现框架，被称为TransVtspotter，它通过简单但高效的关注的查询密钥机制解决了视频中的多东方文本。它将来自前一个帧的对象特征应用于当前帧的跟踪查询，并引入旋转角度预测以适合多大学实例。在ICDAR2015（视频）上，Transvtspotter以44.1％的Mota，9 FPS实现最先进的性能。 DataSet和TransVtspotter的代码可以在GitHub中找到：COM = Weijiawu = BovText和GitHub：Com = Weijiawu = Transvtspotter。

语义表示对于视频文本跟踪（VTT）任务具有很大的益处，该任务需要同时对视频中的视频进行分类，检测和跟踪文本。大多数现有方法通过在连续帧中的外观相似性来解决此任务，同时忽略丰富的语义功能。在本文中，我们探讨了具有对语义和视觉表示的对比学习的强大追踪视频文本。相应地，我们介绍了一个具有语义和视觉表示（SVREP）的端到端视频文本跟踪器，它通过在视频序列中利用不同文本之间的视觉和语义关系来检测和跟踪文本。此外，通过轻量级架构，SVREP在保持竞争推断速度的同时实现最先进的性能。具体而言，使用Reset-18的骨干，SVREP实现了$ \ textbf {65.9 \％} $的$ \ textbf {65.9 \％} $，以$ \ textbf {16.7} $ fps，在ICDAR2015上运行（视频）与$ \ textbf {8.6 \％} $提高的数据集比以前的最先进的方法。

speed among all existing VIS models, and achieves the best result among methods using single model on the YouTube-VIS dataset. For the first time, we demonstrate a much simpler and faster video instance segmentation framework built upon Transformers, achieving competitive accuracy. We hope that VisTR can motivate future research for more video understanding tasks.

对象的时间建模是多个对象跟踪（MOT）的关键挑战。现有方法通过通过基于运动和基于外观的相似性启发式方法关联检测来跟踪。关联的后处理性质阻止了视频序列中时间变化的端到端。在本文中，我们提出了MOTR，它扩展了DETR并介绍了轨道查询，以模拟整个视频中的跟踪实例。轨道查询被转移并逐帧更新，以随着时间的推移执行迭代预测。我们提出了曲目感知的标签分配，以训练轨道查询和新生儿对象查询。我们进一步提出了时间聚集网络和集体平均损失，以增强时间关系建模。 Dancetrack上的实验结果表明，MOTR在HOTA度量方面的表现明显优于最先进的方法，字节范围为6.5％。在MOT17上，MOTR在关联性能方面优于我们的并发作品，跟踪器和Transtrack。 MOTR可以作为对时间建模和基于变压器的跟踪器的未来研究的更强基线。代码可在https://github.com/megvii-research/motr上找到。

在这项工作中，我们呈现SEQFormer，这是一个令人沮丧的视频实例分段模型。 SEQFormer遵循Vision变换器的原理，该方法模型视频帧之间的实例关系。然而，我们观察到一个独立的实例查询足以捕获视频中的时间序列，但应该独立地使用每个帧进行注意力机制。为此，SEQFormer在每个帧中定位一个实例，并聚合时间信息以学习视频级实例的强大表示，其用于动态地预测每个帧上的掩模序列。实例跟踪自然地实现而不进行跟踪分支或后处理。在YouTube-VIS数据集上，SEQFormer使用Reset-50个骨干和49.0 AP实现47.4个AP，其中Reset-101骨干，没有响铃和吹口哨。此类成果分别显着超过了以前的最先进的性能4.6和4.4。此外，与最近提出的Swin变压器集成，SEQFormer可以实现59.3的高得多。我们希望SEQFormer可能是一个强大的基线，促进了视频实例分段中的未来研究，同时使用更强大，准确，整洁的模型来实现该字段。代码和预先训练的型号在https://github.com/wjf5203/seqformer上公开使用。

Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

视频实例分割（VIS）在视频序列中共同处理多对象检测，跟踪和分割。过去，VIS方法反映了这些子任务在其建筑设计中的碎片化，因此在关节溶液上错过了这些子任务。变形金刚最近允许将整个VIS任务作为单个设定预测问题进行。然而，现有基于变压器的方法的二次复杂性需要较长的训练时间，高内存需求和处理低音尺度特征地图的处理。可变形的注意力提供了更有效的替代方案，但尚未探索其对时间域或分段任务的应用。在这项工作中，我们提出了可变形的Vis（Devis），这是一种利用可变形变压器的效率和性能的VIS方法。为了在多个框架上共同考虑所有VIS子任务，我们使用实例感知对象查询表示时间尺度可变形。我们进一步介绍了带有多尺度功能的新图像和视频实例蒙版头，并通过多提示剪辑跟踪执行近乎对方的视频处理。 Devis减少了内存和训练时间要求，并在YouTube-Vis 2021以及具有挑战性的OVIS数据集上实现了最先进的结果。代码可在https://github.com/acaelles97/devis上找到。

文本跟踪是在视频中跟踪多个文本，并为每个文本构造轨迹。现有方法通过利用逐个检测帧工作，即，检测每个帧中的文本实例，并在连续帧中的相应文本实例中检测到文本实例。我们认为，这种范式的跟踪准确性在更复杂的场景中严重限制，例如，由于行为模糊等，未错过的文本实例的错误检测文本轨迹的突破。此外，具有类似外观的不同TextInstances很容易混淆，导致文本实例的错误关联。为此，在本文中推出了一种新的时空互补文本跟踪模型。我们利用暹罗互补的模型来充分利用时间维度中的TextInstances的连续性特征，从而有效地解除了对文本实例的检测失去了检测，因此是每个文本轨迹的完整性。我们进一步通过文本相似度学习网络进一步整合了文本实例的语义提示和文本实例的视觉提示，该网络通过文本相似度学习网络提供了在具有类似外观的特性实例的存在中提供了高辨别力，因此避免了它们之间的误解。我们的方法在几个公共基准上实现了最先进的性能。在https://github.com/lsabrinax/videotextscm中提供的源代码。

我们提出了块茎：一种简单的时空视频动作检测解决方案。与依赖于离线演员检测器或手工设计的演员位置假设的现有方法不同，我们建议通过同时执行动作定位和识别从单个表示来直接检测视频中的动作微管。块茎学习一组管芯查询，并利用微调模块来模拟视频剪辑的动态时空性质，其有效地加强了与在时空空间中的演员位置假设相比的模型容量。对于包含过渡状态或场景变更的视频，我们提出了一种上下文意识的分类头来利用短期和长期上下文来加强行动分类，以及用于检测精确的时间动作程度的动作开关回归头。块茎直接产生具有可变长度的动作管，甚至对长视频剪辑保持良好的结果。块茎在常用的动作检测数据集AVA，UCF101-24和JHMDB51-21上优于先前的最先进。

引用的视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本引用的对象实例。由于这种多模式任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有方法通常依赖于复杂的流水线以解决它。在本文中，我们提出了一种简单的基于变压器的RVO方法。我们的框架称为多模式跟踪变压器（MTTR），将RVOS任务模拟作为序列预测问题。在计算机视觉和自然语言处理的最新进步之后，MTTR基于实现视频和文本可以通过单个多峰变压器模型有效地处理视频和文本。 MTTR是端到端的培训，没有文本相关的电感偏置组件，不需要额外的面具细化后处理步骤。因此，与现有方法相比，它显着简化了RVOS管道。标准基准的评估表明，MTTR在多个度量标准中显着优于前面的艺术。特别是，MTTR分别显示A2D句子和JHMDB句子数据集的令人印象深刻的+5.7和+ 5.0映射增长，同时处理每秒76帧。此外，我们在公开验证集的推荐集上报告了强劲的结果，这是一个更具挑战性的RVOS数据集，该数据集尚未得到研究人员的注意。重现我们的实验的代码可在https://github.com/mttr2021/mttr中获得

我们提出了一种称为独角兽的统一方法，可以使用相同的模型参数同时使用单个网络解决四个跟踪问题（SOT，MOT，VOS，MOTS）。由于对象跟踪问题本身的定义零散，因此开发了大多数现有的跟踪器来解决任务的单个或一部分，并过分地对特定任务的特征进行了专业化。相比之下，Unicorn提供了一个统一的解决方案，在所有跟踪任务中采用相同的输入，骨干，嵌入和头部。我们第一次完成了跟踪网络体系结构和学习范式的巨大统一。Unicorn在8个跟踪数据集中的特定于任务特定的对应物（包括Lasot，TrackingNet，Mot17，BDD100K，Davis16-17，MOTS20和BDD100K MOT）在PAR上或更好的对应物。我们认为，独角兽将是朝着一般视觉模型迈出的坚实一步。代码可从https://github.com/masterbin-iiau/unicorn获得。

作为计算机视觉的重要领域，对象跟踪形成了两个独立的社区，分别研究单个对象跟踪（SOT）和多个对象跟踪（MOT）。但是，由于两个任务的不同训练数据集和跟踪对象，因此在一个跟踪方案中的当前方法不容易适应另一种方法。尽管unitrack \ cite {wang2021Diverent}表明，具有多个头部的共享外观模型可用于处理单个跟踪任务，但它无法利用大规模跟踪数据集进行训练，并且在单个对象跟踪上执行良好的训练。在这项工作中，我们提出了统一的变压器跟踪器（UTT），以通过一个范式在不同方案中解决跟踪问题。在我们的UTT中开发了轨道变压器，以跟踪SOT和MOT中的目标。利用目标和跟踪框架功能之间的相关性以定位目标。我们证明SOT和MOT任务都可以在此框架内解决。该模型可以同时通过在单个任务数据集中优化SOT和MOT目标，同时端到端训练。广泛的实验是在几个基准测试基准上进行的，该基准具有在SOT和MOT数据集上训练的统一模型。代码将在https://github.com/flowerfan/trackron上找到。

我们基于以下假设，即明确面向对象的信息可能是理解整个序列的上下文，我们介绍了一个新的范式用于离线视频实例分割（VIS）。为此，我们提出了Vita，这是一个简单的结构，建立在基于现成的变压器的图像实例分割模型之上。具体而言，我们使用图像对象检测器作为将特定于对象的上下文提炼为对象令牌的一种手段。 Vita通过在不使用时空主链功能的情况下关联框架级对象令牌来完成视频级别的理解。通过使用凝结信息在对象之间有效建立关系，Vita用Resnet-50骨架在VIS基准上实现了最新的关系：49.8 AP，45.7 AP在YouTube-VIS 2019和2021和2021和19.6 AP上的AP上的Ovis上。此外，由于其基于对象令牌的结构与骨干功能脱节，Vita显示了以前的离线VIS方法未探索的几个实际优势 - 使用常见的GPU处理长长和高分辨率的视频，并冻结框架级检测器在图像域进行训练。代码将在https://github.com/sukjunhwang/vita上提供。

视频实例分割旨在预测每个帧的对象分割掩码，并关联多个帧的实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中共同执行对象分割和实例关联。尽管这些方法通常可以预测较高质量的对象分割掩码，但它们可能无法在具有挑战性的情况下与实例相关联，因为它们没有明确对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端视频实例分割框架，并在框架间反复注意，以建模相邻帧的时间实例一致性和全局时间上下文。我们的广泛实验表明，框架间的重复注意显着提高了时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubevis-2019（62.1 \％）和YouTubevis-2021（54.7 \％）数据集上都达到了最新的精度。此外，定量和定性结果表明，所提出的方法可以预测更具时间一致的实例分割掩码。

时间动作检测（TAD）旨在确定未修剪视频中每个动作实例的语义标签和边界。先前的方法通过复杂的管道来解决此任务。在本文中，我们提出了一个具有简单集的预测管道的端到端时间动作检测变压器（TADTR）。给定一组名为“动作查询”的可学习嵌入，Tadtr可以从每个查询的视频中自适应提取时间上下文，并直接预测动作实例。为了适应TAD的变压器，我们提出了三个改进，以提高其所在地意识。核心是一个时间可变形的注意模块，在视频中有选择地参加一组稀疏的密钥片段。片段的完善机制和动作回归头旨在完善预测实例的边界和信心。 TADTR需要比以前的检测器更低的计算成本，同时保留了出色的性能。作为一个独立的检测器，它在Thumos14（56.7％地图）和HACS段（32.09％地图）上实现了最先进的性能。结合一个额外的动作分类器，它在ActivityNet-1.3上获得了36.75％的地图。我们的代码可在\ url {https://github.com/xlliu7/tadtr}上获得。

几乎所有场景文本发现（检测和识别）方法依赖于昂贵的框注释（例如，文本线框，单词级框和字符级框）。我们首次证明培训场景文本发现模型可以通过每个实例的单点的极低成本注释来实现。我们提出了一种端到端的场景文本发现方法，将场景文本拍摄作为序列预测任务，如语言建模。给予图像作为输入，我们将所需的检测和识别结果作为一系列离散令牌制定，并使用自动回归变压器来预测序列。我们在几个水平，多面向和任意形状的场景文本基准上实现了有希望的结果。最重要的是，我们表明性能对点注释的位置不是很敏感，这意味着它可以比需要精确位置的边界盒更容易地注释并自动生成。我们认为，这种先锋尝试表明了场景文本的重要机会，比以前可能的比例更大的比例更大。

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。