视频对象细分（VOS）是视频理解的基础。基于变压器的方法在半监督VOS上显示出显着的性能改善。但是，现有的工作面临着挑战在彼此近距离接近视觉上类似对象的挑战。在本文中，我们提出了一种新型的双边注意力变压器，以进行半监督VO的运动出现空间（蝙蝠侠）。它通过新型的光流校准模块在视频中捕获对象运动，该模块将分割面膜与光流估计融合在一起，以改善对象内光流平滑度并减少物体边界处的噪声。然后在我们的新型双边注意力中采用了这种校准的光流，该流动流在相邻双边空间中的查询和参考帧之间的对应关系考虑，考虑到运动和外观。广泛的实验通过在所有四个流行的VOS基准上胜过所有现有最新的实验：YouTube-VOS 2019（85.0％），YouTube-VOS 2018（85.3％），Davis 2017VAL/TESTDEV（86.2.2 ％/82.2％）和戴维斯（Davis）2016（92.5％）。

半监督视频对象分割（VOS）的任务已经大大提升，最先进的性能是通过密集的基于匹配的方法进行的。最近的方法利用时空存储器（STM）网络并学习从所有可用源检索相关信息，其中使用对象掩模的过去帧形成外部存储器，并且使用存储器中的掩码信息分段为查询作为查询的当前帧进行分割。然而，当形成存储器并执行匹配时，这些方法仅在忽略运动信息的同时利用外观信息。在本文中，我们倡导\ emph {motion信息}的返回，并提出了一个用于半监督VOS的运动不确定性感知框架（MUMET）。首先，我们提出了一种隐含的方法来学习相邻帧之间的空间对应，构建相关成本卷。在构建密集的对应期间处理遮挡和纹理区域的挑战性案例，我们将不确定性纳入密集匹配并实现运动不确定性感知特征表示。其次，我们介绍了运动感知的空间注意模块，以有效地融合了语义特征的运动功能。关于具有挑战性的基准的综合实验表明，\ TextBF {\ Textit {使用少量数据并将其与强大的动作信息组合可以带来显着的性能Boost}}。我们只使用Davis17达到$ \ Mathcal {} $培训{76.5 \％} $ \ mathcal {f} $培训，这显着优于低数据协议下的\ texit {sota}方法。 \ textit {代码将被释放。}

We propose a novel solution for semi-supervised video object segmentation. By the nature of the problem, available cues (e.g. video frame(s) with object masks) become richer with the intermediate predictions. However, the existing methods are unable to fully exploit this rich source of information. We resolve the issue by leveraging memory networks and learn to read relevant information from all available sources. In our framework, the past frames with object masks form an external memory, and the current frame as the query is segmented using the mask information in the memory. Specifically, the query and the memory are densely matched in the feature space, covering all the space-time pixel locations in a feed-forward fashion. Contrast to the previous approaches, the abundant use of the guidance information allows us to better handle the challenges such as appearance changes and occlussions. We validate our method on the latest benchmark sets and achieved the state-of-the-art performance (overall score of 79.4 on Youtube-VOS val set,

本文研究了如何实现更好，更有效的学习学习，以解决在有挑战性的多对象方案下应对半监督视频对象细分。最先进的方法学会用单个正对象解码特征，因此必须在多对象方案下分别匹配和分割每个目标，从而多次消耗计算资源。为了解决问题，我们提出了一个与变压器（AOT）方法的关联对象，以共同且协作匹配和解码多个对象。详细说明，AOT采用识别机制将多个目标关联到相同的高维嵌入空间中。因此，我们可以同时处理多个对象的匹配和分割解码，就像处理单个对象一样有效地解码。为了充分模型多对象关联，设计了长期的短期变压器（LSTT）来构建层次匹配和传播。基于AOT，我们进一步提出了一个更灵活，更健壮的框架，将对象与可扩展的变压器（AOST）相关联，其中LSTT的可扩展版本旨在实现准确性效率折衷的运行时间适应。此外，AOST引入了更好的层次方式，以使识别和视力嵌入。我们对多对象和单对象基准进行了广泛的实验，以检查AOT系列框架。与最先进的竞争对手相比，我们的方法可以保持运行时效率的时间和卓越的性能。值得注意的是，我们在三个受欢迎的基准测试（即YouTube-VOS（86.5％），Davis 2017 Val/Test/Test（87.0％/84.7％）和Davis 2016（93.0％）（93.0％）上，我们实现了新的最先进性能。项目页面：https：//github.com/z-x-yang/aot。

半监控视频对象分割（VOS）旨在跟踪像素级别的视频初始帧中存在的指定对象。为了充分利用对象的外观信息，像素级别匹配广泛用于VOS。传统的特征匹配以样式方式运行，即，仅考虑从查询帧到参考帧的最佳匹配。查询框中的每个位置是指参考帧中的最佳位置，而不管每个参考帧位置的频率如何。在大多数情况下，这效果很好，并且对快速外观变化是强大的，但是当查询框架包含看起来类似于目标对象的后台分散组时可能会导致严重错误。为了缓解这一问题，我们介绍了一种自由派匹配机制，找到从查询帧到参考帧的最佳匹配，反之亦然。在查找查询帧像素的最佳匹配之前，首先考虑用于参考帧像素的最佳匹配以防止每个参考帧像素被过度参考。由于该机制以严格的方式操作，即，如果才能彼此确定匹配，则连接像素，因此可以有效地消除背景干扰器。此外，我们提出了一个掩模嵌入模块，以改善现有的掩模传播方法。通过使用坐标信息嵌入多个历史掩模，可以有效地捕获目标对象的位置信息。

无监督的视频对象分割（VOS）旨在在像素级别的视频序列中检测最显着的对象。在无监督的VO中，大多数最先进的方法除了外观提示外，还利用从光流图获得的运动提示来利用与背景相比，显着物体通常具有独特运动的属性。但是，由于它们过于依赖运动提示，在某些情况下可能是不可靠的，因此它们无法实现稳定的预测。为了减少现有两流VOS方法的这种运动依赖性，我们提出了一个新型的运动 - 选项网络，该网络可选地利用运动提示。此外，为了充分利用并非总是需要运动网络的属性，我们引入了协作网络学习策略。在所有公共基准数据集中，我们提出的网络以实时推理速度提供最先进的性能。

This paper focuses on developing a more effective method of hierarchical propagation for semi-supervised Video Object Segmentation (VOS). Based on vision transformers, the recently-developed Associating Objects with Transformers (AOT) approach introduces hierarchical propagation into VOS and has shown promising results. The hierarchical propagation can gradually propagate information from past frames to the current frame and transfer the current frame feature from object-agnostic to object-specific. However, the increase of object-specific information will inevitably lead to the loss of object-agnostic visual information in deep propagation layers. To solve such a problem and further facilitate the learning of visual embeddings, this paper proposes a Decoupling Features in Hierarchical Propagation (DeAOT) approach. Firstly, DeAOT decouples the hierarchical propagation of object-agnostic and object-specific embeddings by handling them in two independent branches. Secondly, to compensate for the additional computation from dual-branch propagation, we propose an efficient module for constructing hierarchical propagation, i.e., Gated Propagation Module, which is carefully designed with single-head attention. Extensive experiments show that DeAOT significantly outperforms AOT in both accuracy and efficiency. On YouTube-VOS, DeAOT can achieve 86.0% at 22.4fps and 82.0% at 53.4fps. Without test-time augmentations, we achieve new state-of-the-art performance on four benchmarks, i.e., YouTube-VOS (86.2%), DAVIS 2017 (86.2%), DAVIS 2016 (92.9%), and VOT 2020 (0.622). Project page: https://github.com/z-x-yang/AOT.

半监控视频对象分割（VOS）是指在近年来在第一帧中的注释中分割剩余帧中的目标对象，该帧近年来已经积极研究。关键挑战在于找到利用过去框架的时空上下文的有效方法来帮助学习当前帧的判别目标表示。在本文中，我们提出了一种具有专门设计的交互式变压器的新型暹罗网络，称为SITVOS，以实现从历史到当前帧的有效上下文传播。从技术上讲，我们使用变换器编码器和解码器单独处理过去的帧和当前帧，即，编码器从过去的帧中对目标对象的强大的时空上下文进行编码，而解码器将当前帧的特征嵌入为查询。从编码器输出检索目标。为了进一步增强目标表示，设计了一种特征交互模块（FIM）以促进编码器和解码器之间的信息流。此外，我们使用暹罗架构来提取过去和当前帧的骨干功能，它能够重用并且比现有方法更有效。三个挑战基准测试的实验结果验证了SITVOS在最先进的方法上的优越性。

基于3DCNN，ConvlSTM或光流的先前方法在视频显着对象检测（VSOD）方面取得了巨大成功。但是，它们仍然遭受高计算成本或产生的显着图质量较差的困扰。为了解决这些问题，我们设计了一个基于时空存储器（STM）网络，该网络从相邻帧中提取当前帧的有用时间信息作为VSOD的时间分支。此外，以前的方法仅考虑无时间关联的单帧预测。结果，模型可能无法充分关注时间信息。因此，我们最初将框架间的对象运动预测引入VSOD。我们的模型遵循标准编码器 - 编码器体系结构。在编码阶段，我们通过使用电流及其相邻帧的高级功能来生成高级的时间特征。这种方法比基于光流的方法更有效。在解码阶段，我们提出了一种有效的空间和时间分支融合策略。高级特征的语义信息用于融合低级特征中的对象细节，然后逐步获得时空特征以重建显着性图。此外，受图像显着对象检测（ISOD）中常用的边界监督的启发，我们设计了一种运动感知损失，用于预测对象边界运动，并同时对VSOD和对象运动预测执行多任务学习，这可以进一步促进模型以提取提取的模型时空特征准确并保持对象完整性。在几个数据集上进行的广泛实验证明了我们方法的有效性，并且可以在某些数据集上实现最新指标。所提出的模型不需要光流或其他预处理，并且在推理过程中可以达到近100 fps的速度。

本文的目的是一个模型，能够在视频中发现，跟踪和细分多个移动对象。我们做出四个贡献：首先，我们引入了一个以对象为中心的分段模型，具有深度订购的层表示。这是使用摄入光流的变压器体系结构的变体来实现的，每个查询向量为整个视频指定对象及其层。该模型可以有效地发现多个移动对象并处理相互阻塞。其次，我们引入了一条可扩展的管道，用于生成具有多个对象的合成训练数据，从而大大降低了对劳动密集型注释的要求，并支持SIM2REAL概括；第三，我们表明该模型能够学习对象的持久性和时间形状的一致性，并能够预测Amodal分割掩码。第四，我们评估了标准视频细分基准测试模型，戴维斯，MOCA，SEGTRACK，FBMS-59，并实现最新的无监督分割性能，甚至优于几种监督方法。通过测试时间适应，我们观察到进一步的性能提高。

本文提出了一种新颖的视频介绍方法。我们做出了三个主要贡献：首先，我们通过引入基于贴片的同型（DEPTH）扩展了以前的变压器，以补丁的对齐方式扩展了贴片对齐，该均值（DEPTH）改善了补丁级的功能对齐，而没有其他有各种变形的监督和受益的挑战场景。其次，我们引入了基于面膜修剪的贴片注意力（MPPA），以通过修剪较少的基本功能和使用显着性图来改善贴合的功能匹配。MPPA用无效的像素增强了扭曲令牌之间的匹配精度。第三，我们引入了空间加权适配器（STA）模块，以在从深度中学到的变形因子的指导下，准确地关注空间代币，尤其是对于具有敏捷运动的视频。实验结果表明，我们的方法在定性和定量上优于最新方法，并实现了新的最新方法。

最近，几种基于空间内存的方法已经验证了将中间框架及其面具作为内存有助于将视频中的目标对象细分目标对象。但是，它们主要集中于当前帧和内存框架之间的更好匹配，而无需明确关注内存质量。因此，较差的分割面罩的框架容易被记住，这导致了分割掩盖误差问题并进一步影响分割性能。此外，随着帧数的增长，内存框架的线性增加还限制了模型处理长视频的能力。为此，我们提出了一个质量感知的动态内存网络（QDMN）来评估每个帧的分割质量，从而使内存库可以选择性地存储准确的分段框架，以防止误差积累问题。然后，我们将细分质量与时间一致性相结合，以动态更新内存库以提高模型的实用性。我们的QDMN没有任何铃铛和哨子，在戴维斯和YouTube-Vos基准测试中都取得了新的最新性能。此外，广泛的实验表明，提议的质量评估模块（QAM）可以作为通用插件应用于基于内存的方法，并显着提高性能。我们的源代码可在https://github.com/workforai/qdmn上找到。

视频突出对象检测旨在在视频中找到最具视觉上的对象。为了探索时间依赖性，现有方法通常是恢复性的神经网络或光学流量。然而，这些方法需要高计算成本，并且往往会随着时间的推移积累不准确性。在本文中，我们提出了一种带有注意模块的网络，以学习视频突出物体检测的对比特征，而没有高计算时间建模技术。我们开发了非本地自我关注方案，以捕获视频帧中的全局信息。共注意配方用于结合低级和高级功能。我们进一步应用了对比学学习以改善来自相同视频的前景区域对的特征表示，并将前景 - 背景区域对被推除在潜在的空间中。帧内对比损失有助于将前景和背景特征分开，并且帧间的对比损失提高了时间的稠度。我们对多个基准数据集进行广泛的实验，用于视频突出对象检测和无监督的视频对象分割，并表明所提出的方法需要较少的计算，并且对最先进的方法进行有利地执行。

在蓬勃发展的视频时代，视频细分吸引了多媒体社区的越来越多的研究关注。半监督视频对象细分（VOS）旨在分割视频的所有目标框架中的对象，并给定带注释的参考帧掩码。大多数现有方法构建像素参考目标相关性，然后执行像素跟踪以获得目标掩码。由于忽略对象级别的提示，像素级方法使跟踪容易受到扰动的影响，甚至在相似对象之间进行了不加区分。朝向强大的VOS，关键见解是校准每个特定对象的表示和掩盖，以表达和歧视。因此，我们提出了一个新的深层网络，该网络可以自适应地构建对象表示并校准对象掩盖以实现更强的鲁棒性。首先，我们通过应用自适应对象代理（AOP）聚合方法来构建对象表示，其中代理代表在多级别上的任意形状段以供参考。然后，原型掩码最初是从基于AOP的参考目标相关性生成的。之后，通过网络调制进一步校准此类原始掩码，并根据对象代理表示条件。我们以渐进的方式巩固了此条件掩盖校准过程，其中对象表示和原始遮罩会演变为歧视性迭代。广泛的实验是在标准VOS基准，YouTube-VOS-18/19和Davis-17上进行的。我们的模型在现有已发表的作品中实现了最新的表现，并且还表现出对扰动的卓越鲁棒性。我们的项目回购位于https://github.com/jerryx1110/robust-video-object-ementation

最近，基于内存的方法显示了半监督视频对象分割的有希望的结果。这些方法可以通过对先前掩码的经常更新的内存来预测对象蒙版逐帧。与这种人均推断不同，我们通过将视频对象分割视为夹子掩盖传播来研究替代角度。在此每次CLIP推断方案中，我们使用一个间隔更新内存，并同时处理内存更新之间的一组连续帧（即剪辑）。该方案提供了两个潜在的好处：通过剪辑级优化和效率增益的准确性增益，通过平行计算多个帧。为此，我们提出了一种针对人均推理量身定制的新方法。具体而言，我们首先引入夹具操作，以根据CLIP相关性来完善特征。此外，我们采用了一种渐进匹配机制来在剪辑中有效地通过信息通行。通过两个模块的协同作用和新提议的每盘培训，我们的网络在YouTube-Vos 2018/2019 Val（84.6％和84.6％）和Davis 2016/2017 Val（91.9 Val（91.9 ％和86.1％）。此外，我们的模型在不同的内存更新间隔内显示出巨大的速度准确性权衡取舍，从而带来了巨大的灵活性。

当前的半监督视频对象分割（VOS）方法通常利用一个框架的整个功能来预测对象掩码和更新内存。这引入了重要的冗余计算。为了减少冗余，我们提出了一种区域意识到的视频对象细分（RAVOS）方法，该方法可预测感兴趣的区域（ROI），以进行有效的对象细分和内存存储。 Ravos包括一个快速对象运动跟踪器，可以在下一个帧中预测其ROI。为了有效的分割，根据ROI提取对象特征，并且对象解码器设计用于对象级分割。为了有效的内存存储，我们建议运动路径内存来通过记住两个帧之间对象的运动路径中的特征来滤除冗余上下文。除了Ravos，我们还提出了一个称为OVO的大型数据集，以基准在遮挡下基准VOS模型的性能。对戴维斯和YouTube-VOS基准和我们的新OVOS数据集的评估表明，我们的方法以更快的推理时间来实现最先进的性能，例如，戴维斯的42 fps的86.1 J＆F在YouTube-in YouTube-in YouTube-in YouTube-in YouTube-23 fps上达到42 fps- VOS。

多个对象跟踪和分段需要检测，跟踪和分割属于一组给定类的对象。大多数方法仅利用时间维度来解决关联问题，同时依赖于分段掩码本身的单帧预测。我们提出了原型的横向网络（PCAN），能够利用在线多个对象跟踪和分段的丰富的时空信息。 PCAN首先将时空内存蒸馏成一组原型，然后用横向从过去的框架中检索丰富的信息。要分段每个对象，PCAN采用原型外观模块来学习一组对比的前景和背景原型，然后随着时间的推移传播。广泛的实验表明，PCAN优于YouTube-VIS和BDD100K数据集的当前视频实例跟踪和分段竞争获奖者，并为单阶段和两级分割框架表示有效性。代码和视频资源有关http://vis.xyz/pub/pcan可用。

现有的基于匹配的方法通过从像素级内存中检索支持功能执行视频对象细分（VOS），而某些像素可能会遭受内存中缺乏对应关系（即看不见），这不可避免地限制了他们的细分性能。在本文中，我们提出了一个两流网络（TSN）。我们的TSN包含（i）带有常规像素级内存的像素流，以根据其像素级内存检索分割可见像素。 （ii）一个看不见的像素的实例流，其中对实例的整体理解是在动态分割头上以基于目标实例的特征进行条件的。 （iii）一个像素划分模块生成路由图，将两个流的输出嵌入在一起融合在一起。紧凑的实例流有效地提高了看不见的像素的分割精度，同时将两个流与自适应路由图融合在一起，导致整体性能提升。通过广泛的实验，我们证明了我们提出的TSN的有效性，并且还报告了2018年YouTube-VOS的最先进性能为86.1％，在Davis-2017验证案例中为87.5％。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。