最近，基于内存的方法显示了半监督视频对象分割的有希望的结果。这些方法可以通过对先前掩码的经常更新的内存来预测对象蒙版逐帧。与这种人均推断不同，我们通过将视频对象分割视为夹子掩盖传播来研究替代角度。在此每次CLIP推断方案中，我们使用一个间隔更新内存，并同时处理内存更新之间的一组连续帧（即剪辑）。该方案提供了两个潜在的好处：通过剪辑级优化和效率增益的准确性增益，通过平行计算多个帧。为此，我们提出了一种针对人均推理量身定制的新方法。具体而言，我们首先引入夹具操作，以根据CLIP相关性来完善特征。此外，我们采用了一种渐进匹配机制来在剪辑中有效地通过信息通行。通过两个模块的协同作用和新提议的每盘培训，我们的网络在YouTube-Vos 2018/2019 Val（84.6％和84.6％）和Davis 2016/2017 Val（91.9 Val（91.9 ％和86.1％）。此外，我们的模型在不同的内存更新间隔内显示出巨大的速度准确性权衡取舍，从而带来了巨大的灵活性。

We propose a novel solution for semi-supervised video object segmentation. By the nature of the problem, available cues (e.g. video frame(s) with object masks) become richer with the intermediate predictions. However, the existing methods are unable to fully exploit this rich source of information. We resolve the issue by leveraging memory networks and learn to read relevant information from all available sources. In our framework, the past frames with object masks form an external memory, and the current frame as the query is segmented using the mask information in the memory. Specifically, the query and the memory are densely matched in the feature space, covering all the space-time pixel locations in a feed-forward fashion. Contrast to the previous approaches, the abundant use of the guidance information allows us to better handle the challenges such as appearance changes and occlussions. We validate our method on the latest benchmark sets and achieved the state-of-the-art performance (overall score of 79.4 on Youtube-VOS val set,

半监控视频对象分割（VOS）是指在近年来在第一帧中的注释中分割剩余帧中的目标对象，该帧近年来已经积极研究。关键挑战在于找到利用过去框架的时空上下文的有效方法来帮助学习当前帧的判别目标表示。在本文中，我们提出了一种具有专门设计的交互式变压器的新型暹罗网络，称为SITVOS，以实现从历史到当前帧的有效上下文传播。从技术上讲，我们使用变换器编码器和解码器单独处理过去的帧和当前帧，即，编码器从过去的帧中对目标对象的强大的时空上下文进行编码，而解码器将当前帧的特征嵌入为查询。从编码器输出检索目标。为了进一步增强目标表示，设计了一种特征交互模块（FIM）以促进编码器和解码器之间的信息流。此外，我们使用暹罗架构来提取过去和当前帧的骨干功能，它能够重用并且比现有方法更有效。三个挑战基准测试的实验结果验证了SITVOS在最先进的方法上的优越性。

当前的半监督视频对象分割（VOS）方法通常利用一个框架的整个功能来预测对象掩码和更新内存。这引入了重要的冗余计算。为了减少冗余，我们提出了一种区域意识到的视频对象细分（RAVOS）方法，该方法可预测感兴趣的区域（ROI），以进行有效的对象细分和内存存储。 Ravos包括一个快速对象运动跟踪器，可以在下一个帧中预测其ROI。为了有效的分割，根据ROI提取对象特征，并且对象解码器设计用于对象级分割。为了有效的内存存储，我们建议运动路径内存来通过记住两个帧之间对象的运动路径中的特征来滤除冗余上下文。除了Ravos，我们还提出了一个称为OVO的大型数据集，以基准在遮挡下基准VOS模型的性能。对戴维斯和YouTube-VOS基准和我们的新OVOS数据集的评估表明，我们的方法以更快的推理时间来实现最先进的性能，例如，戴维斯的42 fps的86.1 J＆F在YouTube-in YouTube-in YouTube-in YouTube-in YouTube-23 fps上达到42 fps- VOS。

半监督视频对象分割（VOS）的任务已经大大提升，最先进的性能是通过密集的基于匹配的方法进行的。最近的方法利用时空存储器（STM）网络并学习从所有可用源检索相关信息，其中使用对象掩模的过去帧形成外部存储器，并且使用存储器中的掩码信息分段为查询作为查询的当前帧进行分割。然而，当形成存储器并执行匹配时，这些方法仅在忽略运动信息的同时利用外观信息。在本文中，我们倡导\ emph {motion信息}的返回，并提出了一个用于半监督VOS的运动不确定性感知框架（MUMET）。首先，我们提出了一种隐含的方法来学习相邻帧之间的空间对应，构建相关成本卷。在构建密集的对应期间处理遮挡和纹理区域的挑战性案例，我们将不确定性纳入密集匹配并实现运动不确定性感知特征表示。其次，我们介绍了运动感知的空间注意模块，以有效地融合了语义特征的运动功能。关于具有挑战性的基准的综合实验表明，\ TextBF {\ Textit {使用少量数据并将其与强大的动作信息组合可以带来显着的性能Boost}}。我们只使用Davis17达到$ \ Mathcal {} $培训{76.5 \％} $ \ mathcal {f} $培训，这显着优于低数据协议下的\ texit {sota}方法。 \ textit {代码将被释放。}

最近，几种基于空间内存的方法已经验证了将中间框架及其面具作为内存有助于将视频中的目标对象细分目标对象。但是，它们主要集中于当前帧和内存框架之间的更好匹配，而无需明确关注内存质量。因此，较差的分割面罩的框架容易被记住，这导致了分割掩盖误差问题并进一步影响分割性能。此外，随着帧数的增长，内存框架的线性增加还限制了模型处理长视频的能力。为此，我们提出了一个质量感知的动态内存网络（QDMN）来评估每个帧的分割质量，从而使内存库可以选择性地存储准确的分段框架，以防止误差积累问题。然后，我们将细分质量与时间一致性相结合，以动态更新内存库以提高模型的实用性。我们的QDMN没有任何铃铛和哨子，在戴维斯和YouTube-Vos基准测试中都取得了新的最新性能。此外，广泛的实验表明，提议的质量评估模块（QAM）可以作为通用插件应用于基于内存的方法，并显着提高性能。我们的源代码可在https://github.com/workforai/qdmn上找到。

本文研究了如何实现更好，更有效的学习学习，以解决在有挑战性的多对象方案下应对半监督视频对象细分。最先进的方法学会用单个正对象解码特征，因此必须在多对象方案下分别匹配和分割每个目标，从而多次消耗计算资源。为了解决问题，我们提出了一个与变压器（AOT）方法的关联对象，以共同且协作匹配和解码多个对象。详细说明，AOT采用识别机制将多个目标关联到相同的高维嵌入空间中。因此，我们可以同时处理多个对象的匹配和分割解码，就像处理单个对象一样有效地解码。为了充分模型多对象关联，设计了长期的短期变压器（LSTT）来构建层次匹配和传播。基于AOT，我们进一步提出了一个更灵活，更健壮的框架，将对象与可扩展的变压器（AOST）相关联，其中LSTT的可扩展版本旨在实现准确性效率折衷的运行时间适应。此外，AOST引入了更好的层次方式，以使识别和视力嵌入。我们对多对象和单对象基准进行了广泛的实验，以检查AOT系列框架。与最先进的竞争对手相比，我们的方法可以保持运行时效率的时间和卓越的性能。值得注意的是，我们在三个受欢迎的基准测试（即YouTube-VOS（86.5％），Davis 2017 Val/Test/Test（87.0％/84.7％）和Davis 2016（93.0％）（93.0％）上，我们实现了新的最先进性能。项目页面：https：//github.com/z-x-yang/aot。

Exploring dense matching between the current frame and past frames for long-range context modeling, memory-based methods have demonstrated impressive results in video object segmentation (VOS) recently. Nevertheless, due to the lack of instance understanding ability, the above approaches are oftentimes brittle to large appearance variations or viewpoint changes resulted from the movement of objects and cameras. In this paper, we argue that instance understanding matters in VOS, and integrating it with memory-based matching can enjoy the synergy, which is intuitively sensible from the definition of VOS task, \ie, identifying and segmenting object instances within the video. Towards this goal, we present a two-branch network for VOS, where the query-based instance segmentation (IS) branch delves into the instance details of the current frame and the VOS branch performs spatial-temporal matching with the memory bank. We employ the well-learned object queries from IS branch to inject instance-specific information into the query key, with which the instance-augmented matching is further performed. In addition, we introduce a multi-path fusion block to effectively combine the memory readout with multi-scale features from the instance segmentation decoder, which incorporates high-resolution instance-aware features to produce final segmentation results. Our method achieves state-of-the-art performance on DAVIS 2016/2017 val (92.6% and 87.1%), DAVIS 2017 test-dev (82.8%), and YouTube-VOS 2018/2019 val (86.3% and 86.3%), outperforming alternative methods by clear margins.

基于匹配的方法，尤其是基于时空记忆的方法，在半监督视频对象分割（VOS）中明显领先于其他解决方案。但是，不断增长和冗余的模板特征导致推断效率低下。为了减轻这一点，我们提出了一个新型的顺序加权期望最大化（SWEM）网络，以大大降低记忆特征的冗余。与以前仅检测帧之间特征冗余的方法不同，Swem通过利用顺序加权EM算法来合并框架内和框架间的相似特征。此外，框架特征的自适应权重具有代表硬样品的灵活性，从而改善了模板的歧视。此外，该提出的方法在内存中保留了固定数量的模板特征，从而确保了VOS系统的稳定推理复杂性。对常用的戴维斯和YouTube-VOS数据集进行了广泛的实验，验证了SWEM的高效率（36 fps）和高性能（84.3 \％$ \ Mathcal {J} \＆\ Mathcal {F} $代码可在以下网址获得：https：//github.com/lmm077/swem。

半监控视频对象分割（VOS）旨在跟踪像素级别的视频初始帧中存在的指定对象。为了充分利用对象的外观信息，像素级别匹配广泛用于VOS。传统的特征匹配以样式方式运行，即，仅考虑从查询帧到参考帧的最佳匹配。查询框中的每个位置是指参考帧中的最佳位置，而不管每个参考帧位置的频率如何。在大多数情况下，这效果很好，并且对快速外观变化是强大的，但是当查询框架包含看起来类似于目标对象的后台分散组时可能会导致严重错误。为了缓解这一问题，我们介绍了一种自由派匹配机制，找到从查询帧到参考帧的最佳匹配，反之亦然。在查找查询帧像素的最佳匹配之前，首先考虑用于参考帧像素的最佳匹配以防止每个参考帧像素被过度参考。由于该机制以严格的方式操作，即，如果才能彼此确定匹配，则连接像素，因此可以有效地消除背景干扰器。此外，我们提出了一个掩模嵌入模块，以改善现有的掩模传播方法。通过使用坐标信息嵌入多个历史掩模，可以有效地捕获目标对象的位置信息。

半监督视频对象细分（VOS）旨在密集跟踪视频中的某些指定对象。该任务中的主要挑战之一是存在与目标对象相似的背景干扰物的存在。我们提出了三种抑制此类干扰因素的新型策略：1）一种时空多元化的模板构建方案，以获得目标对象的广义特性； 2）可学习的距离得分函数，可通过利用两个连续帧之间的时间一致性来排除空间距离的干扰因素； 3）交换和连接的扩展通过提供包含纠缠对象的训练样本来迫使每个对象具有独特的功能。在所有公共基准数据集中，即使是实时性能，我们的模型也与当代最先进的方法相当。定性结果还证明了我们的方法优于现有方法。我们认为，我们的方法将被广泛用于未来的VOS研究。

对于在线视频实例分段（VI），以有效的方式充分利用来自先前帧的信息对于实时应用是必不可少的。最先前的方法遵循一个两级方法，需要额外的计算，例如RPN和Roialign，并且在VI中的所有子任务中没有完全利用视频中的可用信息。在本文中，我们提出了一种基于网格结构特征表示构建的在线VI的新颖单级框架。基于网格的功能允许我们使用完全卷积的网络进行实时处理，并且还可以轻松地重用和共享不同组件内的功能。我们还介绍了从可用帧中聚合信息的协同操作模块，以便丰富VI中所有子任务的功能。我们的设计充分利用了以高效的方式为所有任务的网格形式提供了以前的信息，我们在YouTube上实现了新的最先进的准确性（38.6 AP和36.9 AP）和速度（40.0fps） - 2019年和2021年在线VIS方法之间的数据集。

在这项工作中，我们呈现SEQFormer，这是一个令人沮丧的视频实例分段模型。 SEQFormer遵循Vision变换器的原理，该方法模型视频帧之间的实例关系。然而，我们观察到一个独立的实例查询足以捕获视频中的时间序列，但应该独立地使用每个帧进行注意力机制。为此，SEQFormer在每个帧中定位一个实例，并聚合时间信息以学习视频级实例的强大表示，其用于动态地预测每个帧上的掩模序列。实例跟踪自然地实现而不进行跟踪分支或后处理。在YouTube-VIS数据集上，SEQFormer使用Reset-50个骨干和49.0 AP实现47.4个AP，其中Reset-101骨干，没有响铃和吹口哨。此类成果分别显着超过了以前的最先进的性能4.6和4.4。此外，与最近提出的Swin变压器集成，SEQFormer可以实现59.3的高得多。我们希望SEQFormer可能是一个强大的基线，促进了视频实例分段中的未来研究，同时使用更强大，准确，整洁的模型来实现该字段。代码和预先训练的型号在https://github.com/wjf5203/seqformer上公开使用。

尽管视频实例细分（VIS）已经取得了迅速的进步，但当前的方法难以预测具有准确边界细节的高质量面具。此外，预测的分割经常会随着时间的流逝而波动，表明时间一致性线索被忽略或不充分利用。在本文中，我们着手解决这些问题，目的是实现VIS的高度详细且更具时间稳定的面具预测。我们首先提出了视频蒙版转换方法（VMT）方法，得益于高效的视频变压器结构，能够利用细粒度的高分辨率功能。我们的VMT检测和组在视频段中每个曲目的稀疏易用错误时空区域稀疏，然后使用局部和实例级别的提示对其进行完善。其次，我们确定流行的YouTube-VIS数据集的粗边界注释构成了一个主要限制因素。因此，根据我们的VMT体系结构，我们通过迭代培训和自我纠正设计了一种自动注释细化方法。为了基准VIS的高质量掩码预测，我们介绍了HQ-YTVIS数据集，该数据集由手动重新注销的测试集和我们的自动完善培训数据组成。我们将VMT与HQ-YTVI的最新最新方法以及YouTube-VIS，OVIS和BDD100K MOTS基准进行了比较。实验结果清楚地证明了我们方法通过捕获精确的细节来分割复杂和动态对象的功效和有效性。

在统一框架中为检测和跟踪建模的时间信息已被证明是视频实例分割（VIS）的有希望的解决方案。但是，如何有效地将时间信息纳入在线模型仍然是一个空旷的问题。在这项工作中，我们提出了一个名为Inspeacity（IAI）的新的在线Vis范式，该范式以有效的方式对检测和跟踪进行建模。详细说明，IAI采用了一个新颖的识别模块来明确预测跟踪实例的标识号。为了传递时间信息跨框架，IAI使用了结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们对三个VIS基准进行了广泛的实验。 IAI在YouTube-VIS-2019（Resnet-101 41.9地图）和YouTube-VIS-2021（Resnet-50 37.7地图）上胜过所有在线竞争对手。令人惊讶的是，在更具挑战性的OVI上，IAI实现了SOTA性能（20.3地图）。代码可从https://github.com/zfonemore/iai获得

视频对象细分（VOS）是视频理解的基础。基于变压器的方法在半监督VOS上显示出显着的性能改善。但是，现有的工作面临着挑战在彼此近距离接近视觉上类似对象的挑战。在本文中，我们提出了一种新型的双边注意力变压器，以进行半监督VO的运动出现空间（蝙蝠侠）。它通过新型的光流校准模块在视频中捕获对象运动，该模块将分割面膜与光流估计融合在一起，以改善对象内光流平滑度并减少物体边界处的噪声。然后在我们的新型双边注意力中采用了这种校准的光流，该流动流在相邻双边空间中的查询和参考帧之间的对应关系考虑，考虑到运动和外观。广泛的实验通过在所有四个流行的VOS基准上胜过所有现有最新的实验：YouTube-VOS 2019（85.0％），YouTube-VOS 2018（85.3％），Davis 2017VAL/TESTDEV（86.2.2 ％/82.2％）和戴维斯（Davis）2016（92.5％）。

最近的研究通过将基于Trimap的图像垫子的成功扩展到视频域，在视频垫子上取得了长足进展。在本文中，我们将此任务推向了更实用的设置，并提出了仅使用一个用户宣传的Trimap来强制执行视频底表的单个TRIMAP视频效果网络（OTVM）。 OTVM的一个关键是Trimap传播和α预测的关节建模。从基线构架传播和α预测网络开始，我们的OTVM将两个网络与alpha-Trimap修补模块结合在一起，以促进信息流。我们还提出了一种端到端培训策略，以充分利用联合模型。与先前的解耦方法相比，我们的联合建模极大地提高了三张式传播的时间稳定性。我们在两个最新的视频底变基准测试中评估了我们的模型，深度视频垫子和视频图108，以及优于大量利润率的最先进（MSE改善分别为56.4％和56.7％）。源代码和模型可在线获得：https：//github.com/hongje/otvm。

近年来，视频实例细分（VIS）在很大程度上是通过离线模型提出的，而在线模型由于其性能较低而逐渐吸引了关注。但是，在线方法在处理长期视频序列和正在进行的视频中具有固有的优势，而由于计算资源的限制，离线模型失败了。因此，如果在线模型可以比离线模型获得可比甚至更好的性能，那将是非常可取的。通过解剖当前的在线模型和离线模型，我们证明了性能差距的主要原因是由特征空间中不同实例之间相似外观引起的框架之间存在错误的关联。观察到这一点，我们提出了一个基于对比度学习的在线框架，该框架能够学习更多的歧视实例嵌入，以进行关联，并充分利用历史信息以达到稳定性。尽管它很简单，但我们的方法在三个基准测试上都优于在线和离线方法。具体来说，我们在YouTube-VIS 2019上实现了49.5 AP，比先前的在线和离线艺术分别取得了13.2 AP和2.1 AP的显着改善。此外，我们在OVIS上实现了30.2 AP，这是一个更具挑战性的数据集，具有大量的拥挤和遮挡，超过了14.8 AP的先前艺术。提出的方法在第四次大规模视频对象分割挑战（CVPR2022）的视频实例细分轨道中赢得了第一名。我们希望我们方法的简单性和有效性以及对当前方法的见解，可以阐明VIS模型的探索。

speed among all existing VIS models, and achieves the best result among methods using single model on the YouTube-VIS dataset. For the first time, we demonstrate a much simpler and faster video instance segmentation framework built upon Transformers, achieving competitive accuracy. We hope that VisTR can motivate future research for more video understanding tasks.

现有的基于匹配的方法通过从像素级内存中检索支持功能执行视频对象细分（VOS），而某些像素可能会遭受内存中缺乏对应关系（即看不见），这不可避免地限制了他们的细分性能。在本文中，我们提出了一个两流网络（TSN）。我们的TSN包含（i）带有常规像素级内存的像素流，以根据其像素级内存检索分割可见像素。 （ii）一个看不见的像素的实例流，其中对实例的整体理解是在动态分割头上以基于目标实例的特征进行条件的。 （iii）一个像素划分模块生成路由图，将两个流的输出嵌入在一起融合在一起。紧凑的实例流有效地提高了看不见的像素的分割精度，同时将两个流与自适应路由图融合在一起，导致整体性能提升。通过广泛的实验，我们证明了我们提出的TSN的有效性，并且还报告了2018年YouTube-VOS的最先进性能为86.1％，在Davis-2017验证案例中为87.5％。