引用视频对象细分任务（RVO）的目的是在所有视频框架中通过语言表达式引用的给定视频中的对象实例。由于需要在各个实例中理解跨模式语义，因此此任务比传统的半监督视频对象细分更具挑战性，在该视频对象分割中，在第一帧中给出了地面真相对象掩盖。随着变压器在对象检测和对象细分方面的巨大成就，RVOS已取得了显着的进步，而Reformen to Reformer实现了最新的性能。在这项工作中，基于强大的基线框架 - 引用者，我们提出了几个技巧来进一步提高，包括周期性学习率，半监督方法和测试时间增加推断。改进的推荐子在CVPR2022上排名第二，参考YouTube-VOS挑战。

The task of referring video object segmentation aims to segment the object in the frames of a given video to which the referring expressions refer. Previous methods adopt multi-stage approach and design complex pipelines to obtain promising results. Recently, the end-to-end method based on Transformer has proved its superiority. In this work, we draw on the advantages of the above methods to provide a simple and effective pipeline for RVOS. Firstly, We improve the state-of-the-art one-stage method ReferFormer to obtain mask sequences that are strongly correlated with language descriptions. Secondly, based on a reliable and high-quality keyframe, we leverage the superior performance of video object segmentation model to further enhance the quality and temporal consistency of the mask results. Our single model reaches 70.3 J &F on the Referring Youtube-VOS validation set and 63.0 on the test set. After ensemble, we achieve 64.1 on the final leaderboard, ranking 1st place on CVPR2022 Referring Youtube-VOS challenge. Code will be available at https://github.com/Zhiweihhh/cvpr2022-rvos-challenge.git.

参照视频对象分割（R-VOS）是一个新兴的跨通道任务，其目的是分割目标对象中的所有的视频帧称为一个语言表达式。在这项工作中，我们提出了一个简单并在变压器建成统一的框架，称为ReferFormer。它认为在语言查询，并直接参加到视频帧中的最相关的区域。具体而言，我们引入一个小套空调的语言作为输入Transformer对象的查询。通过这种方式，所有的查询有义务仅发现指的对象。他们最终都转化为动态的内核，其捕捉的关键对象级信息，并发挥卷积过滤器的作用，生成特征地图分割口罩。对象跟踪通过连接在帧之间相应的查询自然实现。这种机制极大地简化了管道和终端到终端的框架是从以前的方法不同显著。在REF-YouTube的VOS，REF-DAVIS17大量的实验，A2D-句子和JHMDB-句显示ReferFormer的有效性。上REF-YouTube的VOS，参见-前达到55.6J＆F与RESNET-50主链而不花哨，这超过了8.4点之前的状态的最先进的性能。此外，与强斯文 - 大型骨干，ReferFormer实现了所有现有的方法中最好的J＆62.4 F。歼＆F度量可以通过采用一个简单的后处理技术来进一步升压到63.3。此外，我们分别显示55.0地图和43.7地图上A2D-句andJHMDB-句令人印象深刻的结果，这显著优于大幅度以前的方法。代码是公开的，在https://github.com/wjn922/ReferFormer。

随着深度学习的兴起，视频对象细分（VOS）取得了重大进展。但是，仍然存在一些棘手的问题，例如，类似的对象很容易混淆，很难找到微小的对象。为了解决这些问题并进一步提高VOS的性能，我们为这项任务提出了一个简单而有效的解决方案。在解决方案中，我们首先分析YouTube-VOS数据集的分布，并通过引入公共静态和视频分割数据集来补充数据集。然后，我们改善了具有不同特征的三个网络体系结构，并训练多个网络以学习视频中对象的不同特征。之后，我们使用一种简单的方法来集成所有结果，以确保不同的模型相互补充。最后，进行了微妙的后处理，以确保具有精确边界的准确视频对象分割。 YouTube-VOS数据集的大量实验表明，该建议的解决方案在YouTube-VOS 2022测试集上以86.1％的总分达到了最先进的性能，这是YouTube视频对象细分的第五名-VOS挑战2022。

引用的视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本引用的对象实例。由于这种多模式任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有方法通常依赖于复杂的流水线以解决它。在本文中，我们提出了一种简单的基于变压器的RVO方法。我们的框架称为多模式跟踪变压器（MTTR），将RVOS任务模拟作为序列预测问题。在计算机视觉和自然语言处理的最新进步之后，MTTR基于实现视频和文本可以通过单个多峰变压器模型有效地处理视频和文本。 MTTR是端到端的培训，没有文本相关的电感偏置组件，不需要额外的面具细化后处理步骤。因此，与现有方法相比，它显着简化了RVOS管道。标准基准的评估表明，MTTR在多个度量标准中显着优于前面的艺术。特别是，MTTR分别显示A2D句子和JHMDB句子数据集的令人印象深刻的+5.7和+ 5.0映射增长，同时处理每秒76帧。此外，我们在公开验证集的推荐集上报告了强劲的结果，这是一个更具挑战性的RVOS数据集，该数据集尚未得到研究人员的注意。重现我们的实验的代码可在https://github.com/mttr2021/mttr中获得

引用视频对象分割（R-VOS）旨在分割视频中的对象掩码，并给出将语言表达式转介到对象的情况下。这是最近引入的任务，吸引了不断增长的研究关注。但是，所有现有的作品都有很大的假设：表达式所描绘的对象必须存在于视频中，即表达式和视频必须具有对象级的语义共识。在现实世界中，通常会违反这种表达式的虚假视频，并且由于滥用假设，现有方法总是在此类错误查询中失败。在这项工作中，我们强调研究语义共识对于提高R-VOS的鲁棒性是必要的。因此，我们从没有语义共识假设的R-VOS构成了一个扩展任务，称为Robust R-VOS（$ \ Mathrm {R}^2 $ -VOS）。 $ \ mathrm {r}^2 $ - VOS任务与主R-VOS任务的联合建模及其双重问题（文本重建）基本相关。我们接受这样的观察，即嵌入空间通过文本视频文本转换的周期具有关系一致性，该转换将主要问题和双重问题连接起来。我们利用周期一致性来区分语义共识，从而推进主要任务。通过引入早期接地介质，可以实现对主要问题和双重问题的平行优化。收集了一个新的评估数据集，$ \ mathrm {r}^2 $ -Youtube-vos，以测量R-VOS模型针对未配对的视频和表达式的稳健性。广泛的实验表明，我们的方法不仅可以识别出无关表达式和视频的负面对，而且还提高了具有出色歧义能力的正对的分割精度。我们的模型在Ref-Davis17，Ref-Youtube-Vos和Novel $ \ Mathrm {r}^2 $ -Youtube-vos数据集上实现了最先进的性能。

Exploring dense matching between the current frame and past frames for long-range context modeling, memory-based methods have demonstrated impressive results in video object segmentation (VOS) recently. Nevertheless, due to the lack of instance understanding ability, the above approaches are oftentimes brittle to large appearance variations or viewpoint changes resulted from the movement of objects and cameras. In this paper, we argue that instance understanding matters in VOS, and integrating it with memory-based matching can enjoy the synergy, which is intuitively sensible from the definition of VOS task, \ie, identifying and segmenting object instances within the video. Towards this goal, we present a two-branch network for VOS, where the query-based instance segmentation (IS) branch delves into the instance details of the current frame and the VOS branch performs spatial-temporal matching with the memory bank. We employ the well-learned object queries from IS branch to inject instance-specific information into the query key, with which the instance-augmented matching is further performed. In addition, we introduce a multi-path fusion block to effectively combine the memory readout with multi-scale features from the instance segmentation decoder, which incorporates high-resolution instance-aware features to produce final segmentation results. Our method achieves state-of-the-art performance on DAVIS 2016/2017 val (92.6% and 87.1%), DAVIS 2017 test-dev (82.8%), and YouTube-VOS 2018/2019 val (86.3% and 86.3%), outperforming alternative methods by clear margins.

In this paper we present a new computer vision task, named video instance segmentation. The goal of this new task is simultaneous detection, segmentation and tracking of instances in videos. In words, it is the first time that the image instance segmentation problem is extended to the video domain. To facilitate research on this new task, we propose a large-scale benchmark called YouTube-VIS, which consists of 2,883 high-resolution YouTube videos, a 40-category label set and 131k high-quality instance masks.In addition, we propose a novel algorithm called Mask-Track R-CNN for this task. Our new method introduces a new tracking branch to Mask R-CNN to jointly perform the detection, segmentation and tracking tasks simultaneously. Finally, we evaluate the proposed method and several strong baselines on our new dataset. Experimental results clearly demonstrate the advantages of the proposed algorithm and reveal insight for future improvement. We believe the video instance segmentation task will motivate the community along the line of research for video understanding.

引用视频对象细分旨在分割给定语言表达式所引用的对象。现有作品通常需要压缩视频bitstream在分割之前将其解码为RGB帧，从而增加了计算和存储要求，并最终减慢了推断。这可能会妨碍其在现实世界计算资源有限的场景中的应用，例如自动驾驶汽车和无人机。为了减轻此问题，在本文中，我们探讨了压缩视频的引用对象细分任务，即原始视频数据流。除了视频引用对象分割任务本身的固有难度外，从压缩视频中获得歧视性表示也很具有挑战性。为了解决这个问题，我们提出了一个多发网络，该网络由双路线双注意模块和一个基于查询的跨模式变压器模块组成。具体而言，双路线双意见模块旨在从三种模态的压缩数据中提取有效表示，即i框架，运动矢量和残留。基于查询的跨模式变压器首先对语言和视觉方式之间的相关性进行建模，然后使用融合的多模式特征来指导对象查询以生成内容感知的动态内核并预测最终的分割掩码。与以前的作品不同，我们建议只学习一个内核，因此，它可以删除现有方法的复杂后掩模匹配程序。在三个具有挑战性的数据集上进行的广泛有希望的实验结果表明，与几种用于处理RGB数据的最新方法相比，我们的方法的有效性。源代码可在以下网址获得：https：//github.com/dexianghong/manet。

在统一框架中为检测和跟踪建模的时间信息已被证明是视频实例分割（VIS）的有希望的解决方案。但是，如何有效地将时间信息纳入在线模型仍然是一个空旷的问题。在这项工作中，我们提出了一个名为Inspeacity（IAI）的新的在线Vis范式，该范式以有效的方式对检测和跟踪进行建模。详细说明，IAI采用了一个新颖的识别模块来明确预测跟踪实例的标识号。为了传递时间信息跨框架，IAI使用了结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们对三个VIS基准进行了广泛的实验。 IAI在YouTube-VIS-2019（Resnet-101 41.9地图）和YouTube-VIS-2021（Resnet-50 37.7地图）上胜过所有在线竞争对手。令人惊讶的是，在更具挑战性的OVI上，IAI实现了SOTA性能（20.3地图）。代码可从https://github.com/zfonemore/iai获得

在这项工作中，我们呈现SEQFormer，这是一个令人沮丧的视频实例分段模型。 SEQFormer遵循Vision变换器的原理，该方法模型视频帧之间的实例关系。然而，我们观察到一个独立的实例查询足以捕获视频中的时间序列，但应该独立地使用每个帧进行注意力机制。为此，SEQFormer在每个帧中定位一个实例，并聚合时间信息以学习视频级实例的强大表示，其用于动态地预测每个帧上的掩模序列。实例跟踪自然地实现而不进行跟踪分支或后处理。在YouTube-VIS数据集上，SEQFormer使用Reset-50个骨干和49.0 AP实现47.4个AP，其中Reset-101骨干，没有响铃和吹口哨。此类成果分别显着超过了以前的最先进的性能4.6和4.4。此外，与最近提出的Swin变压器集成，SEQFormer可以实现59.3的高得多。我们希望SEQFormer可能是一个强大的基线，促进了视频实例分段中的未来研究，同时使用更强大，准确，整洁的模型来实现该字段。代码和预先训练的型号在https://github.com/wjf5203/seqformer上公开使用。

虽然深度学习方法近年来取得了高级视频对象识别性能，但在视频中感知封闭对象仍然是一个非常具有挑战性的任务。为促进遮挡理解的发展，我们在遮挡方案中收集一个名为OVIS的大规模数据集，用于遮挡方案中的视频实例分段。 ovis由296K高质量的屏幕和901个遮挡场景组成。虽然我们的人类视觉系统可以通过语境推理和关联来感知那些遮挡物体，但我们的实验表明当前的视频了解系统不能。在ovis数据集上，所有基线方法都遇到了大约80％的大约80％的大约80％，这表明仍然有很长的路要走在复杂的真实情景中理解模糊物体和视频。为了促进对视频理解系统的新范式研究，我们基于OVI数据集启动了挑战。提交的顶级执行算法已经比我们的基线实现了更高的性能。在本文中，我们将介绍OVIS数据集，并通过分析基线的结果和提交的方法来进一步剖析。可以在http://songbai.site/ovis找到ovis数据集和挑战信息。

我们的视频是否可以在场景中存在沉重的遮挡时感知对象？为了回答这个问题，我们收集一个名为OVIS的大型数据集，用于遮挡视频实例分段，即同时检测，段和跟踪遮挡场景中的实例。 OVIS由25个语义类别的296K高质量的掩码组成，通常发生对象遮挡。虽然我们的人类视觉系统可以通过语境推理和关联来理解那些被遮挡的情况，但我们的实验表明当前的视频理解系统不能。在ovis数据集上，最先进的算法实现的最高AP仅为16.3，这揭示了我们仍然处于创建对象，实例和视频中的新生阶段。我们还提出了一个简单的即插即用模块，执行时间特征校准，以补充闭塞引起的缺失对象线索。基于MaskTrack R-CNN和SIPMASK构建，我们在OVIS数据集中获得了显着的AP改进。 ovis数据集和项目代码可在http://songbai.site/ovis获得。

我们提出了Minvis，这是一个最小的视频实例细分（VIS）框架，该框架既可以通过基于视频的体系结构也不是培训程序来实现最先进的VIS性能。通过仅培训基于查询的图像实例分割模型，MINVIS在具有挑战性的VIS数据集上优于先前的最佳结果，超过10％的AP。由于Minvis将培训视频中的框架视为独立图像，因此我们可以在培训视频中大量示例带有带有任何修改的培训视频框架。 MINVIS只有1％的标签框架优于表现，或与YouTube-VIS 2019/2021上的完全监督的最新方法相媲美。我们的主要观察结果是，受过训练以歧视框架内对象实例的查询在时间上是一致的，可以用于跟踪实例，而无需任何手动设计的启发式方法。因此，MINVIS具有以下推理管道：我们首先将基于查询的图像实例分割应用于视频帧。然后，通过相应查询的两部分匹配来跟踪分段的实例。此推论是以在线方式完成的，无需立即处理整个视频。因此，MINVI具有降低标签成本和记忆要求的实际优势，同时又不牺牲VIS性能。代码可在以下网址找到：https：//github.com/nvlabs/minvis

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

视频实例分割旨在预测每个帧的对象分割掩码，并关联多个帧的实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中共同执行对象分割和实例关联。尽管这些方法通常可以预测较高质量的对象分割掩码，但它们可能无法在具有挑战性的情况下与实例相关联，因为它们没有明确对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端视频实例分割框架，并在框架间反复注意，以建模相邻帧的时间实例一致性和全局时间上下文。我们的广泛实验表明，框架间的重复注意显着提高了时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubevis-2019（62.1 \％）和YouTubevis-2021（54.7 \％）数据集上都达到了最新的精度。此外，定量和定性结果表明，所提出的方法可以预测更具时间一致的实例分割掩码。

Many of the recent successful methods for video object segmentation (VOS) are overly complicated, heavily rely on fine-tuning on the first frame, and/or are slow, and are hence of limited practical use. In this work, we propose FEELVOS as a simple and fast method which does not rely on fine-tuning. In order to segment a video, for each frame FEELVOS uses a semantic pixel-wise embedding together with a global and a local matching mechanism to transfer information from the first frame and from the previous frame of the video to the current frame. In contrast to previous work, our embedding is only used as an internal guidance of a convolutional network. Our novel dynamic segmentation head allows us to train the network, including the embedding, end-to-end for the multiple object segmentation task with a cross entropy loss. We achieve a new state of the art in video object segmentation without fine-tuning with a J &F measure of 71.5% on the DAVIS 2017 validation set. We make our code and models available at https://github.com/tensorflow/ models/tree/master/research/feelvos.

We propose a novel solution for semi-supervised video object segmentation. By the nature of the problem, available cues (e.g. video frame(s) with object masks) become richer with the intermediate predictions. However, the existing methods are unable to fully exploit this rich source of information. We resolve the issue by leveraging memory networks and learn to read relevant information from all available sources. In our framework, the past frames with object masks form an external memory, and the current frame as the query is segmented using the mask information in the memory. Specifically, the query and the memory are densely matched in the feature space, covering all the space-time pixel locations in a feed-forward fashion. Contrast to the previous approaches, the abundant use of the guidance information allows us to better handle the challenges such as appearance changes and occlussions. We validate our method on the latest benchmark sets and achieved the state-of-the-art performance (overall score of 79.4 on Youtube-VOS val set,

Referring image segmentation aims to segment the target object described by a given natural language expression. Typically, referring expressions contain complex relationships between the target and its surrounding objects. The main challenge of this task is to understand the visual and linguistic content simultaneously and to find the referred object accurately among all instances in the image. Currently, the most effective way to solve the above problem is to obtain aligned multi-modal features by computing the correlation between visual and linguistic feature modalities under the supervision of the ground-truth mask. However, existing paradigms have difficulty in thoroughly understanding visual and linguistic content due to the inability to perceive information directly about surrounding objects that refer to the target. This prevents them from learning aligned multi-modal features, which leads to inaccurate segmentation. To address this issue, we present a position-aware contrastive alignment network (PCAN) to enhance the alignment of multi-modal features by guiding the interaction between vision and language through prior position information. Our PCAN consists of two modules: 1) Position Aware Module (PAM), which provides position information of all objects related to natural language descriptions, and 2) Contrastive Language Understanding Module (CLUM), which enhances multi-modal alignment by comparing the features of the referred object with those of related objects. Extensive experiments on three benchmarks demonstrate our PCAN performs favorably against the state-of-the-art methods. Our code will be made publicly available.

半监控视频对象分割（VOS）旨在跟踪像素级别的视频初始帧中存在的指定对象。为了充分利用对象的外观信息，像素级别匹配广泛用于VOS。传统的特征匹配以样式方式运行，即，仅考虑从查询帧到参考帧的最佳匹配。查询框中的每个位置是指参考帧中的最佳位置，而不管每个参考帧位置的频率如何。在大多数情况下，这效果很好，并且对快速外观变化是强大的，但是当查询框架包含看起来类似于目标对象的后台分散组时可能会导致严重错误。为了缓解这一问题，我们介绍了一种自由派匹配机制，找到从查询帧到参考帧的最佳匹配，反之亦然。在查找查询帧像素的最佳匹配之前，首先考虑用于参考帧像素的最佳匹配以防止每个参考帧像素被过度参考。由于该机制以严格的方式操作，即，如果才能彼此确定匹配，则连接像素，因此可以有效地消除背景干扰器。此外，我们提出了一个掩模嵌入模块，以改善现有的掩模传播方法。通过使用坐标信息嵌入多个历史掩模，可以有效地捕获目标对象的位置信息。