最近，基于变压器的图像分割方法对先前的解决方案取得了显着的成功。虽然对于视频域，如何有效地模拟时间上下文，以跨越帧的对象实例的注意仍然是一个打开问题。在本文中，我们提出了一种具有新颖的实例感知时间融合方法的在线视频实例分段框架。我们首先利用表示，即全局上下文（实例代码）和CNN特征映射中的潜在代码来表示实例和像素级别功能。基于此表示，我们介绍了一种无裁剪的时间融合方法来模拟视频帧之间的时间一致性。具体地，我们在实例代码中编码全局实例特定信息，并在实例代码和CNN特征映射之间构建与混合关注的帧间上下文融合。使用订单约束进一步强制执行实例代码之间的帧间一致性。通过利用学习的混合时间一致性，我们能够直接检索和维护帧中的实例标识，从而消除了先前方法中的复杂帧实例匹配。已经在流行的VIS数据集中进行了广泛的实验，即YouTube-Vis-19/21。我们的模式实现了所有在线VIS方法中的最佳性能。值得注意的是，我们的模型也在使用Reset-50骨干时eClipses所有脱机方法。

视频实例细分（VIS）旨在在视频序列中对对象实例进行分类，分割和跟踪。最近基于变压器的神经网络证明了它们为VIS任务建模时空相关性的强大能力。依靠视频或剪辑级输入，它们的潜伏期和计算成本很高。我们提出了一个强大的上下文融合网络来以在线方式解决VIS，该网络可以预测实例通过前几个框架进行逐帧的细分框架。为了有效地获取每个帧的精确和时间一致的预测，关键思想是将有效和紧凑的上下文从参考框架融合到目标框架中。考虑到参考和目标框架对目标预测的不同影响，我们首先通过重要性感知的压缩总结上下文特征。采用变压器编码器来融合压缩上下文。然后，我们利用嵌入订单的实例来传达身份感知信息，并将身份与预测的实例掩码相对应。我们证明，我们强大的融合网络在现有的在线VIS方法中取得了最佳性能，并且比以前在YouTube-VIS 2019和2021基准上发布的剪辑级方法更好。此外，视觉对象通常具有声学签名，这些签名自然与它们在录音录像中自然同步。通过利用我们的上下文融合网络在多模式数据上的灵活性，我们进一步研究了音频对视频密集预测任务的影响，这在现有作品中从未讨论过。我们建立了一个视听实例分割数据集，并证明野外场景中的声学信号可以使VIS任务受益。

speed among all existing VIS models, and achieves the best result among methods using single model on the YouTube-VIS dataset. For the first time, we demonstrate a much simpler and faster video instance segmentation framework built upon Transformers, achieving competitive accuracy. We hope that VisTR can motivate future research for more video understanding tasks.

视频实例分割（VIS）在视频序列中共同处理多对象检测，跟踪和分割。过去，VIS方法反映了这些子任务在其建筑设计中的碎片化，因此在关节溶液上错过了这些子任务。变形金刚最近允许将整个VIS任务作为单个设定预测问题进行。然而，现有基于变压器的方法的二次复杂性需要较长的训练时间，高内存需求和处理低音尺度特征地图的处理。可变形的注意力提供了更有效的替代方案，但尚未探索其对时间域或分段任务的应用。在这项工作中，我们提出了可变形的Vis（Devis），这是一种利用可变形变压器的效率和性能的VIS方法。为了在多个框架上共同考虑所有VIS子任务，我们使用实例感知对象查询表示时间尺度可变形。我们进一步介绍了带有多尺度功能的新图像和视频实例蒙版头，并通过多提示剪辑跟踪执行近乎对方的视频处理。 Devis减少了内存和训练时间要求，并在YouTube-Vis 2021以及具有挑战性的OVIS数据集上实现了最先进的结果。代码可在https://github.com/acaelles97/devis上找到。

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

在这项工作中，我们呈现SEQFormer，这是一个令人沮丧的视频实例分段模型。 SEQFormer遵循Vision变换器的原理，该方法模型视频帧之间的实例关系。然而，我们观察到一个独立的实例查询足以捕获视频中的时间序列，但应该独立地使用每个帧进行注意力机制。为此，SEQFormer在每个帧中定位一个实例，并聚合时间信息以学习视频级实例的强大表示，其用于动态地预测每个帧上的掩模序列。实例跟踪自然地实现而不进行跟踪分支或后处理。在YouTube-VIS数据集上，SEQFormer使用Reset-50个骨干和49.0 AP实现47.4个AP，其中Reset-101骨干，没有响铃和吹口哨。此类成果分别显着超过了以前的最先进的性能4.6和4.4。此外，与最近提出的Swin变压器集成，SEQFormer可以实现59.3的高得多。我们希望SEQFormer可能是一个强大的基线，促进了视频实例分段中的未来研究，同时使用更强大，准确，整洁的模型来实现该字段。代码和预先训练的型号在https://github.com/wjf5203/seqformer上公开使用。

视频实例分割旨在预测每个帧的对象分割掩码，并关联多个帧的实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中共同执行对象分割和实例关联。尽管这些方法通常可以预测较高质量的对象分割掩码，但它们可能无法在具有挑战性的情况下与实例相关联，因为它们没有明确对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端视频实例分割框架，并在框架间反复注意，以建模相邻帧的时间实例一致性和全局时间上下文。我们的广泛实验表明，框架间的重复注意显着提高了时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubevis-2019（62.1 \％）和YouTubevis-2021（54.7 \％）数据集上都达到了最新的精度。此外，定量和定性结果表明，所提出的方法可以预测更具时间一致的实例分割掩码。

视频实例细分（VIS）是一项在视频中同时需要分类，细分和实例关联的任务。最近的VIS方法依靠复杂的管道来实现此目标，包括与ROI相关的操作或3D卷积。相比之下，我们通过添加额外的跟踪头提出了基于实例分割方法Condinst的简单有效的单阶段VIS框架。为了提高实例关联精度，提出了一种新型的双向时空对比度学习策略，用于跟踪跨帧的嵌入。此外，利用实例的时间一致性方案来产生时间连贯的结果。在YouTube-VIS-2019，YouTube-Vis-2021和OVIS-2021数据集上进行的实验验证了所提出方法的有效性和效率。我们希望所提出的框架可以作为许多其他实例级视频关联任务的简单而强大的替代方案。

对于在线视频实例分段（VI），以有效的方式充分利用来自先前帧的信息对于实时应用是必不可少的。最先前的方法遵循一个两级方法，需要额外的计算，例如RPN和Roialign，并且在VI中的所有子任务中没有完全利用视频中的可用信息。在本文中，我们提出了一种基于网格结构特征表示构建的在线VI的新颖单级框架。基于网格的功能允许我们使用完全卷积的网络进行实时处理，并且还可以轻松地重用和共享不同组件内的功能。我们还介绍了从可用帧中聚合信息的协同操作模块，以便丰富VI中所有子任务的功能。我们的设计充分利用了以高效的方式为所有任务的网格形式提供了以前的信息，我们在YouTube上实现了新的最先进的准确性（38.6 AP和36.9 AP）和速度（40.0fps） - 2019年和2021年在线VIS方法之间的数据集。

我们基于以下假设，即明确面向对象的信息可能是理解整个序列的上下文，我们介绍了一个新的范式用于离线视频实例分割（VIS）。为此，我们提出了Vita，这是一个简单的结构，建立在基于现成的变压器的图像实例分割模型之上。具体而言，我们使用图像对象检测器作为将特定于对象的上下文提炼为对象令牌的一种手段。 Vita通过在不使用时空主链功能的情况下关联框架级对象令牌来完成视频级别的理解。通过使用凝结信息在对象之间有效建立关系，Vita用Resnet-50骨架在VIS基准上实现了最新的关系：49.8 AP，45.7 AP在YouTube-VIS 2019和2021和2021和19.6 AP上的AP上的Ovis上。此外，由于其基于对象令牌的结构与骨干功能脱节，Vita显示了以前的离线VIS方法未探索的几个实际优势 - 使用常见的GPU处理长长和高分辨率的视频，并冻结框架级检测器在图像域进行训练。代码将在https://github.com/sukjunhwang/vita上提供。

在统一框架中为检测和跟踪建模的时间信息已被证明是视频实例分割（VIS）的有希望的解决方案。但是，如何有效地将时间信息纳入在线模型仍然是一个空旷的问题。在这项工作中，我们提出了一个名为Inspeacity（IAI）的新的在线Vis范式，该范式以有效的方式对检测和跟踪进行建模。详细说明，IAI采用了一个新颖的识别模块来明确预测跟踪实例的标识号。为了传递时间信息跨框架，IAI使用了结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们对三个VIS基准进行了广泛的实验。 IAI在YouTube-VIS-2019（Resnet-101 41.9地图）和YouTube-VIS-2021（Resnet-50 37.7地图）上胜过所有在线竞争对手。令人惊讶的是，在更具挑战性的OVI上，IAI实现了SOTA性能（20.3地图）。代码可从https://github.com/zfonemore/iai获得

引用的视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本引用的对象实例。由于这种多模式任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有方法通常依赖于复杂的流水线以解决它。在本文中，我们提出了一种简单的基于变压器的RVO方法。我们的框架称为多模式跟踪变压器（MTTR），将RVOS任务模拟作为序列预测问题。在计算机视觉和自然语言处理的最新进步之后，MTTR基于实现视频和文本可以通过单个多峰变压器模型有效地处理视频和文本。 MTTR是端到端的培训，没有文本相关的电感偏置组件，不需要额外的面具细化后处理步骤。因此，与现有方法相比，它显着简化了RVOS管道。标准基准的评估表明，MTTR在多个度量标准中显着优于前面的艺术。特别是，MTTR分别显示A2D句子和JHMDB句子数据集的令人印象深刻的+5.7和+ 5.0映射增长，同时处理每秒76帧。此外，我们在公开验证集的推荐集上报告了强劲的结果，这是一个更具挑战性的RVOS数据集，该数据集尚未得到研究人员的注意。重现我们的实验的代码可在https://github.com/mttr2021/mttr中获得

Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

近年来，视频实例细分（VIS）在很大程度上是通过离线模型提出的，而在线模型由于其性能较低而逐渐吸引了关注。但是，在线方法在处理长期视频序列和正在进行的视频中具有固有的优势，而由于计算资源的限制，离线模型失败了。因此，如果在线模型可以比离线模型获得可比甚至更好的性能，那将是非常可取的。通过解剖当前的在线模型和离线模型，我们证明了性能差距的主要原因是由特征空间中不同实例之间相似外观引起的框架之间存在错误的关联。观察到这一点，我们提出了一个基于对比度学习的在线框架，该框架能够学习更多的歧视实例嵌入，以进行关联，并充分利用历史信息以达到稳定性。尽管它很简单，但我们的方法在三个基准测试上都优于在线和离线方法。具体来说，我们在YouTube-VIS 2019上实现了49.5 AP，比先前的在线和离线艺术分别取得了13.2 AP和2.1 AP的显着改善。此外，我们在OVIS上实现了30.2 AP，这是一个更具挑战性的数据集，具有大量的拥挤和遮挡，超过了14.8 AP的先前艺术。提出的方法在第四次大规模视频对象分割挑战（CVPR2022）的视频实例细分轨道中赢得了第一名。我们希望我们方法的简单性和有效性以及对当前方法的见解，可以阐明VIS模型的探索。

Recently, the joint learning framework (JOINT) integrates matching based transductive reasoning and online inductive learning to achieve accurate and robust semi-supervised video object segmentation (SVOS). However, using the mask embedding as the label to guide the generation of target features in the two branches may result in inadequate target representation and degrade the performance. Besides, how to reasonably fuse the target features in the two different branches rather than simply adding them together to avoid the adverse effect of one dominant branch has not been investigated. In this paper, we propose a novel framework that emphasizes Learning to Learn Better (LLB) target features for SVOS, termed LLB, where we design the discriminative label generation module (DLGM) and the adaptive fusion module to address these issues. Technically, the DLGM takes the background-filtered frame instead of the target mask as input and adopts a lightweight encoder to generate the target features, which serves as the label of the online few-shot learner and the value of the decoder in the transformer to guide the two branches to learn more discriminative target representation. The adaptive fusion module maintains a learnable gate for each branch, which reweighs the element-wise feature representation and allows an adaptive amount of target information in each branch flowing to the fused target feature, thus preventing one branch from being dominant and making the target feature more robust to distractor. Extensive experiments on public benchmarks show that our proposed LLB method achieves state-of-the-art performance.

半监控视频对象分割（VOS）是指在近年来在第一帧中的注释中分割剩余帧中的目标对象，该帧近年来已经积极研究。关键挑战在于找到利用过去框架的时空上下文的有效方法来帮助学习当前帧的判别目标表示。在本文中，我们提出了一种具有专门设计的交互式变压器的新型暹罗网络，称为SITVOS，以实现从历史到当前帧的有效上下文传播。从技术上讲，我们使用变换器编码器和解码器单独处理过去的帧和当前帧，即，编码器从过去的帧中对目标对象的强大的时空上下文进行编码，而解码器将当前帧的特征嵌入为查询。从编码器输出检索目标。为了进一步增强目标表示，设计了一种特征交互模块（FIM）以促进编码器和解码器之间的信息流。此外，我们使用暹罗架构来提取过去和当前帧的骨干功能，它能够重用并且比现有方法更有效。三个挑战基准测试的实验结果验证了SITVOS在最先进的方法上的优越性。

最近的基于变压器的离线视频实例细分（VIS）方法取得了令人鼓舞的结果，并明显胜过在线方法。但是，它们对整个视频的依赖以及由全时空的注意力引起的巨大计算复杂性限制了它们在现实生活中的应用中，例如处理冗长的视频。在本文中，我们提出了一个基于单级变压器的高效在线VIS框架，名为InstanceFormer，该框架特别适合长期挑战性的视频。我们提出了三个新的组件来建模短期和长期依赖性和时间连贯性。首先，我们传播了对短期更改建模的先前实例的表示形式，位置和语义信息。其次，我们在解码器中提出了一种新颖的记忆交叉注意，该记忆使网络可以在某个时间窗口内研究早期实例。最后，我们采用时间对比度损失，在所有框架的实例表示中施加连贯性。记忆注意力和时间连贯性特别有益于远程依赖建模，包括诸如遮挡等挑战的情况。所提出的实例形式优于以前的在线基准方法在多个数据集上的较大边距。最重要的是，InstanceFormer超过了挑战和长数据集（例如YouTube-Vis-2021和OVIS）的离线方法。代码可从https://github.com/rajatkoner08/instanceformer获得。

In this work, we present a new computer vision task named video object of interest segmentation (VOIS). Given a video and a target image of interest, our objective is to simultaneously segment and track all objects in the video that are relevant to the target image. This problem combines the traditional video object segmentation task with an additional image indicating the content that users are concerned with. Since no existing dataset is perfectly suitable for this new task, we specifically construct a large-scale dataset called LiveVideos, which contains 2418 pairs of target images and live videos with instance-level annotations. In addition, we propose a transformer-based method for this task. We revisit Swin Transformer and design a dual-path structure to fuse video and image features. Then, a transformer decoder is employed to generate object proposals for segmentation and tracking from the fused features. Extensive experiments on LiveVideos dataset show the superiority of our proposed method.

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。