Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

在这项工作中，我们呈现SEQFormer，这是一个令人沮丧的视频实例分段模型。 SEQFormer遵循Vision变换器的原理，该方法模型视频帧之间的实例关系。然而，我们观察到一个独立的实例查询足以捕获视频中的时间序列，但应该独立地使用每个帧进行注意力机制。为此，SEQFormer在每个帧中定位一个实例，并聚合时间信息以学习视频级实例的强大表示，其用于动态地预测每个帧上的掩模序列。实例跟踪自然地实现而不进行跟踪分支或后处理。在YouTube-VIS数据集上，SEQFormer使用Reset-50个骨干和49.0 AP实现47.4个AP，其中Reset-101骨干，没有响铃和吹口哨。此类成果分别显着超过了以前的最先进的性能4.6和4.4。此外，与最近提出的Swin变压器集成，SEQFormer可以实现59.3的高得多。我们希望SEQFormer可能是一个强大的基线，促进了视频实例分段中的未来研究，同时使用更强大，准确，整洁的模型来实现该字段。代码和预先训练的型号在https://github.com/wjf5203/seqformer上公开使用。

speed among all existing VIS models, and achieves the best result among methods using single model on the YouTube-VIS dataset. For the first time, we demonstrate a much simpler and faster video instance segmentation framework built upon Transformers, achieving competitive accuracy. We hope that VisTR can motivate future research for more video understanding tasks.

近年来，人们见证了应用上下文框架以提高对象检测作为视频对象检测的性能的趋势。现有方法通常一次汇总功能以增强功能。但是，这些方法通常缺少来自相邻帧的空间信息，并且缺乏功能聚合不足。为了解决这些问题，我们执行一种渐进式方式来引入时间信息和空间信息以进行集成增强。时间信息由时间特征聚合模型（TFAM）引入，通过在上下文框架和目标框架之间进行注意机制（即要检测到的框架）。同时，我们采用空间过渡意识模型（StAM）来传达每个上下文框架和目标框架之间的位置过渡信息。我们的PTSeformer建立在基于变压器的检测器DETR上，还遵循端到端的方式，以避免重大的后处理程序，同时在Imagenet VID数据集上获得88.1％的地图。代码可在https://github.com/hon-wong/ptseformer上找到。

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

对象的时间建模是多个对象跟踪（MOT）的关键挑战。现有方法通过通过基于运动和基于外观的相似性启发式方法关联检测来跟踪。关联的后处理性质阻止了视频序列中时间变化的端到端。在本文中，我们提出了MOTR，它扩展了DETR并介绍了轨道查询，以模拟整个视频中的跟踪实例。轨道查询被转移并逐帧更新，以随着时间的推移执行迭代预测。我们提出了曲目感知的标签分配，以训练轨道查询和新生儿对象查询。我们进一步提出了时间聚集网络和集体平均损失，以增强时间关系建模。 Dancetrack上的实验结果表明，MOTR在HOTA度量方面的表现明显优于最先进的方法，字节范围为6.5％。在MOT17上，MOTR在关联性能方面优于我们的并发作品，跟踪器和Transtrack。 MOTR可以作为对时间建模和基于变压器的跟踪器的未来研究的更强基线。代码可在https://github.com/megvii-research/motr上找到。

DETR has been recently proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance. However, it suffers from slow convergence and limited feature spatial resolution, due to the limitation of Transformer attention modules in processing image feature maps. To mitigate these issues, we proposed Deformable DETR, whose attention modules only attend to a small set of key sampling points around a reference. Deformable DETR can achieve better performance than DETR (especially on small objects) with 10× less training epochs. Extensive experiments on the COCO benchmark demonstrate the effectiveness of our approach. Code is released at https:// github.com/fundamentalvision/Deformable-DETR.

视频实例分割（VIS）在视频序列中共同处理多对象检测，跟踪和分割。过去，VIS方法反映了这些子任务在其建筑设计中的碎片化，因此在关节溶液上错过了这些子任务。变形金刚最近允许将整个VIS任务作为单个设定预测问题进行。然而，现有基于变压器的方法的二次复杂性需要较长的训练时间，高内存需求和处理低音尺度特征地图的处理。可变形的注意力提供了更有效的替代方案，但尚未探索其对时间域或分段任务的应用。在这项工作中，我们提出了可变形的Vis（Devis），这是一种利用可变形变压器的效率和性能的VIS方法。为了在多个框架上共同考虑所有VIS子任务，我们使用实例感知对象查询表示时间尺度可变形。我们进一步介绍了带有多尺度功能的新图像和视频实例蒙版头，并通过多提示剪辑跟踪执行近乎对方的视频处理。 Devis减少了内存和训练时间要求，并在YouTube-Vis 2021以及具有挑战性的OVIS数据集上实现了最先进的结果。代码可在https://github.com/acaelles97/devis上找到。

视频对象检测一直是计算机视觉中一个重要但充满挑战的话题。传统方法主要集中于设计图像级或框级特征传播策略以利用时间信息。本文认为，通过更有效，更有效的功能传播框架，视频对象探测器可以在准确性和速度方面提高。为此，本文研究了对象级特征传播，并提出了一个针对高性能视频对象检测的对象查询传播（QueryProp）框架。所提出的查询Prop包含两个传播策略：1）查询传播是从稀疏的钥匙帧到密集的非钥匙框架执行的，以减少非钥匙帧的冗余计算； 2）查询传播是从以前的关键帧到当前关键框架进行的，以通过时间上下文建模来改善特征表示。为了进一步促进查询传播，自适应传播门旨在实现灵活的钥匙框架选择。我们在Imagenet VID数据集上进行了广泛的实验。 QueryProp通过最先进的方法实现了可比的精度，并实现了不错的精度/速度权衡。代码可在https://github.com/hf1995/queryprop上获得。

时间动作检测（TAD）旨在确定未修剪视频中每个动作实例的语义标签和边界。先前的方法通过复杂的管道来解决此任务。在本文中，我们提出了一个具有简单集的预测管道的端到端时间动作检测变压器（TADTR）。给定一组名为“动作查询”的可学习嵌入，Tadtr可以从每个查询的视频中自适应提取时间上下文，并直接预测动作实例。为了适应TAD的变压器，我们提出了三个改进，以提高其所在地意识。核心是一个时间可变形的注意模块，在视频中有选择地参加一组稀疏的密钥片段。片段的完善机制和动作回归头旨在完善预测实例的边界和信心。 TADTR需要比以前的检测器更低的计算成本，同时保留了出色的性能。作为一个独立的检测器，它在Thumos14（56.7％地图）和HACS段（32.09％地图）上实现了最先进的性能。结合一个额外的动作分类器，它在ActivityNet-1.3上获得了36.75％的地图。我们的代码可在\ url {https://github.com/xlliu7/tadtr}上获得。

最近的视频文本发现方法通常需要三个阶段的管道，即检测单个图像中的文本，识别本地化文本，跟踪文本流以及后处理以生成最终结果。这些方法通常遵循按匹配范式跟踪并开发复杂的管道。在本文中，植根于变压器序列建模，我们提出了一个简单但有效的端到端视频文本检测，跟踪和识别框架（TransDert）。转码主要包括两个优点：1）与相邻帧中的显式匹配范式不同，transdetr轨道和不同的匹配范围，并通过长期时间序列（超过7帧）隐含的不同查询所谓的文本查询隐式识别每个文本。 2）Transdetr是第一个端到端可训练的视频文本斑点框架，该框架同时介绍了三个子任务（例如，文本检测，跟踪，识别）。进行了四个视频文本数据集（即ICDAR2013视频，ICDAR2015视频，Minetto和YouTube视频文本）中的广泛实验，以证明Transdetr在预先的性能中达到了最大的表现，并且在视频文本发现任务方面的提高约为8.0％。 。可以在https://github.com/weijiawu/transdetr上找到Transdet的代码。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

视觉变压器（VIT）正在改变对象检测方法的景观。 VIT的自然使用方法是用基于变压器的骨干替换基于CNN的骨干，该主链很简单有效，其价格为推理带来了可观的计算负担。更微妙的用法是DEDR家族，它消除了对物体检测中许多手工设计的组件的需求，但引入了一个解码器，要求超长时间进行融合。结果，基于变压器的对象检测不能在大规模应用中占上风。为了克服这些问题，我们提出了一种新型的无解码器基于完全变压器（DFFT）对象检测器，这是第一次在训练和推理阶段达到高效率。我们通过居中两个切入点来简化反对检测到仅编码单级锚点的密集预测问题：1）消除训练感知的解码器，并利用两个强的编码器来保留单层特征映射预测的准确性； 2）探索具有有限的计算资源的检测任务的低级语义特征。特别是，我们设计了一种新型的轻巧的面向检测的变压器主链，该主链有效地捕获了基于良好的消融研究的丰富语义的低级特征。 MS Coco基准测试的广泛实验表明，DFFT_SMALL的表现优于2.5％AP，计算成本降低28％，$ 10 \ $ 10 \乘以$ 10 \乘以$较少的培训时期。与尖端的基于锚的探测器视网膜相比，DFFT_SMALL获得了超过5.5％的AP增益，同时降低了70％的计算成本。

在本文中，我们对检测变压器（DETR）感兴趣，这是一种基于变压器编码器编码器架构的端到端对象检测方法，而无需手工制作的后处理，例如NMS。受到有条件的Detr的启发，这是一种具有快速训练收敛性的改进的DETR，对内部解码器层提出了盒子查询（最初称为空间查询），我们将对象查询重新将对象查询重新布置为盒子查询的格式，该格式是参考参考嵌入的组成点和框相对于参考点的转换。该重新制定表明在更快地使用R-CNN中广泛研究的DETR中的对象查询与锚固框之间的联系。此外，我们从图像内容中学习了盒子查询，从而进一步提高了通过快速训练收敛的有条件DETR的检测质量。此外，我们采用轴向自我注意的想法来节省内存成本并加速编码器。所得的检测器（称为条件DETR V2）取得比条件DETR更好的结果，可节省内存成本并更有效地运行。例如，对于DC $ 5 $ -Resnet- $ 50 $骨干，我们的方法在可可$ Val $ set上获得了$ 44.8 $ ap，$ 16.4 $ fps和有条件的detr相比，它运行了$ 1.6 \ tims $ $ $ $ $，节省$ 74 $ \ \ \ \ \ \ \ \ \ \ \ \ \ $ 74美元总体内存成本的百分比，并提高$ 1.0 $ ap得分。

人类时尚理解是一项至关重要的计算机视觉任务，因为它具有用于现实世界应用的全面信息。这种关注人类时装细分和属性识别。与以前的作品相反，将每个任务分别建模为多头预测问题，我们的见解是通过Vision Transformer建模将这两个任务用一个统一的模型桥接，以使每个任务受益。特别是，我们介绍了分割的对象查询和属性预测的属性查询。查询及其相应的功能都可以通过掩码预测链接。然后，我们采用两流查询学习框架来学习解耦的查询表示。我们为属性流设计了一种新颖的多层渲染模块，以探索更细粒度的功能。解码器设计与DETR具有相同的精神。因此，我们将提出的方法\ textit {fahsionformer}命名。在三个人类时尚数据集上进行的广泛实验说明了我们方法的有效性。特别是，在\ textit {a intivit {a intim trictric（ap $^{\ text {mask}} _ {_ {\ text {iou+f text {iou+f textiT { } _1} $）用于分割和属性识别}。据我们所知，我们是人类时装分析的第一个统一的端到端视觉变压器框架。我们希望这种简单而有效的方法可以作为时尚分析的新灵活基准。代码可从https://github.com/xushilin1/fashionformer获得。

视频实例分割（VIS）是一个新的固有多任务问题，旨在在视频序列中检测，细分和跟踪每个实例。现有方法主要基于单帧功能或多个帧的单尺度功能，其中忽略了时间信息或多尺度信息。为了结合时间和比例信息，我们提出了一种时间金字塔路由（TPR）策略，以从两个相邻帧的特征金字塔对有条件地对齐和进行像素级聚集。具体而言，TPR包含两个新的组件，包括动态对齐细胞路由（DACR）和交叉金字塔路由（CPR），其中DACR设计用于跨时间维度对齐和门控金字塔特征，而CPR则在跨音阶范围内暂时汇总的特征。此外，我们的方法是轻巧和插件模块，可以轻松地应用于现有的实例分割方法。在包括YouTube-Vis（2019，2021）和CityScapes-VP在内的三个数据集上进行的广泛实验证明了拟议方法对几种最先进的视频实例和全盘细分方法的有效性和效率。代码将在\ url {https://github.com/lxtgh/temporalpyramidrouting}上公开获得。

基于查询的变压器在许多图像域任务中构建长期注意力方面表现出了巨大的潜力，但是由于点云数据的压倒性大小，在基于激光雷达的3D对象检测中很少考虑。在本文中，我们提出了CenterFormer，这是一个基于中心的变压器网络，用于3D对象检测。 CenterFormer首先使用中心热图在基于标准的Voxel点云编码器之上选择中心候选者。然后，它将中心候选者的功能用作变压器中的查询嵌入。为了进一步从多个帧中汇总功能，我们通过交叉注意设计一种方法来融合功能。最后，添加回归头以预测输出中心功能表示形式上的边界框。我们的设计降低了变压器结构的收敛难度和计算复杂性。结果表明，与无锚对象检测网络的强基线相比，有了显着改善。 CenterFormer在Waymo Open数据集上实现了单个模型的最新性能，验证集的MAPH为73.7％，测试集的MAPH上有75.6％的MAPH，大大优于所有先前发布的CNN和基于变压器的方法。我们的代码可在https://github.com/tusimple/centerformer上公开获取

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。