在本文中，我们描述了一种基于图的算法，该算法使用自我监管的变压器获得的功能来检测图像和视频中的显着对象。使用这种方法，将构成图像或视频的图像贴片组织成一个完全连接的图，其中每对贴片之间的边缘使用变压器学到的功能在补丁之间标记为相似性得分。然后将显着物体的检测和分割作为图形问题配制，并使用经典的归一化切割算法解决。尽管这种方法很简单，但它仍可以在几个常见的图像和视频检测和分割任务上实现最新结果。对于无监督的对象发现，当使用VOC07，VOC12和COCO20K数据集进行测试时，这种方法的优于竞争方法的差距分别为6.1％，5.7％和2.6％。对于图像中无监督的显着性检测任务，此方法将联合（IOU）的交叉分数提高了4.4％，5.6％和5.2％。与当前最新技术相比，与ECSD，DUTS和DUT-OMRON数据集进行测试时。该方法还通过戴维斯，SEGTV2和FBMS数据集为无监督的视频对象分割任务实现了竞争结果。

Recent advances in self-supervised visual representation learning have paved the way for unsupervised methods tackling tasks such as object discovery and instance segmentation. However, discovering objects in an image with no supervision is a very hard task; what are the desired objects, when to separate them into parts, how many are there, and of what classes? The answers to these questions depend on the tasks and datasets of evaluation. In this work, we take a different approach and propose to look for the background instead. This way, the salient objects emerge as a by-product without any strong assumption on what an object should be. We propose FOUND, a simple model made of a single $conv1\times1$ initialized with coarse background masks extracted from self-supervised patch-based representations. After fast training and refining these seed masks, the model reaches state-of-the-art results on unsupervised saliency detection and object discovery benchmarks. Moreover, we show that our approach yields good results in the unsupervised semantic segmentation retrieval task. The code to reproduce our results is available at https://github.com/valeoai/FOUND.

Unsupervised object discovery aims to localize objects in images, while removing the dependence on annotations required by most deep learning-based methods. To address this problem, we propose a fully unsupervised, bottom-up approach, for multiple objects discovery. The proposed approach is a two-stage framework. First, instances of object parts are segmented by using the intra-image similarity between self-supervised local features. The second step merges and filters the object parts to form complete object instances. The latter is performed by two CNN models that capture semantic information on objects from the entire dataset. We demonstrate that the pseudo-labels generated by our method provide a better precision-recall trade-off than existing single and multiple objects discovery methods. In particular, we provide state-of-the-art results for both unsupervised class-agnostic object detection and unsupervised image segmentation.

无监督语义分割的任务旨在将像素聚集到语义上有意义的群体中。具体而言，分配给同一群集的像素应共享高级语义属性，例如其对象或零件类别。本文介绍了MaskDistill：基于三个关键想法的无监督语义细分的新颖框架。首先，我们提倡一种数据驱动的策略，以生成对象掩模作为语义分割事先的像素分组。这种方法省略了手工制作的先验，这些先验通常是为特定场景组成而设计的，并限制了竞争框架的适用性。其次，MaskDistill将对象掩盖簇簇以获取伪地真相，以训练初始对象分割模型。第三，我们利用此模型过滤出低质量的对象掩模。这种策略减轻了我们像素分组中的噪声，并导致了我们用来训练最终分割模型的干净掩模集合。通过组合这些组件，我们可以大大优于以前的作品，用于对Pascal（+11％MIOU）和COCO（+4％Mask AP50）进行无监督的语义分割。有趣的是，与现有方法相反，我们的框架不在低级图像提示上，也不限于以对象为中心的数据集。代码和型号将提供。

我们为视频中的无监督对象细分提出了一种简单而强大的方法。我们引入了一个目标函数，其最小值代表输入序列上主要显着对象的掩码。它仅依赖于独立的图像特征和光流，可以使用现成的自我监督方法获得。它以序列的长度缩放，不需要超级像素或稀疏，并且在没有任何特定培训的情况下将其推广到不同的数据集。该目标函数实际上可以从应用于整个视频的光谱群集形式得出。我们的方法通过标准基准（Davis2016，segtrack-v2，fbms59）实现了PAR的性能，同时在概念上且实际上更简单。代码可从https://ponimatkin.github.io/ssl-vos获得。

基于高质量标签的鱼类跟踪和细分的DNN很昂贵。替代无监督的方法取决于视频数据中自然发生的空间和时间变化来生成嘈杂的伪界图标签。这些伪标签用于训练多任务深神经网络。在本文中，我们提出了一个三阶段的框架，用于强大的鱼类跟踪和分割，其中第一阶段是光流模型，该模型使用帧之间的空间和时间一致性生成伪标签。在第二阶段，一个自我监督的模型会逐步完善伪标签。在第三阶段，精制标签用于训练分割网络。在培训或推理期间没有使用人类注释。进行了广泛的实验来验证我们在三个公共水下视频数据集中的方法，并证明它对视频注释和细分非常有效。我们还评估框架对不同成像条件的鲁棒性，并讨论当前实施的局限性。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Some existing approaches extract deep features from pre-trained networks and build a graph to apply classical clustering methods (e.g., $k$-means and normalized-cuts) as a post-processing stage. These techniques reduce the high-dimensional information encoded in the features to pair-wise scalar affinities. In this work, we replace classical clustering algorithms with a lightweight Graph Neural Network (GNN) trained to achieve the same clustering objective function. However, in contrast to existing approaches, we feed the GNN not only the pair-wise affinities between local image features but also the raw features themselves. Maintaining this connection between the raw feature and the clustering goal allows to perform part semantic segmentation implicitly, without requiring additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training our image segmentation GNN. Additionally, we use the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters ($k$-less clustering). We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

人类可以轻松地在不知道它们的情况下段移动移动物体。从持续的视觉观测中可能出现这种对象，激励我们与未标记的视频同时进行建模和移动。我们的前提是视频具有通过移动组件相关的相同场景的不同视图，并且右区域分割和区域流程将允许相互视图合成，其可以从数据本身检查，而无需任何外部监督。我们的模型以两个单独的路径开头：一种外观途径，其输出单个图像的基于特征的区域分割，以及输出一对图像的运动功能的运动路径。然后，它将它们绑定在称为段流的联合表示中，该分段流汇集在每个区域上的流程偏移，并提供整个场景的移动区域的总表征。通过培训模型，以最小化基于段流的视图综合误差，我们的外观和运动路径自动学习区域分割和流量估计，而不分别从低级边缘或光学流量构建它们。我们的模型展示了外观途径中对象的令人惊讶的出现，超越了从图像的零射对对象分割上的工作，从带有无监督的测试时间适应的视频移动对象分割，并通过监督微调，通过监督微调。我们的工作是来自视频的第一个真正的零点零点对象分段。它不仅开发了分割和跟踪的通用对象，而且还优于无增强工程的基于普遍的图像对比学习方法。

弱监督的语义分割（WSSS）是具有挑战性的，特别是当使用图像级标签来监督像素级预测时。为了弥合它们的差距，通常生成一个类激活图（CAM）以提供像素级伪标签。卷积神经网络中的凸轮患有部分激活，即，仅激活最多的识别区域。另一方面，基于变压器的方法在探索具有长范围依赖性建模的全球背景下，非常有效，可能会减轻“部分激活”问题。在本文中，我们提出了基于第一变压器的WSSS方法，并介绍了梯度加权元素明智的变压器注意图（GetAn）。 GetaN显示所有特征映射元素的精确激活，跨越变压器层显示对象的不同部分。此外，我们提出了一种激活感知标签完成模块来生成高质量的伪标签。最后，我们将我们的方法纳入了使用双向向上传播的WSS的结束框架。 Pascal VOC和Coco的广泛实验表明，我们的结果通过显着的保证金击败了最先进的端到端方法，并且优于大多数多级方法.M大多数多级方法。

自我监督学习的进步带来了强大的一般图像表示学习方法。到目前为止，它主要集中在图像级学习上。反过来，诸如无监督图像细分之类的任务并没有从这种趋势中受益，因为它们需要空间多样性的表示。但是，学习密集的表示具有挑战性，因为在无监督的环境中，尚不清楚如何指导模型学习与各种潜在对象类别相对应的表示形式。在本文中，我们认为对物体部分的自我监督学习是解决此问题的方法。对象部分是可以推广的：它们是独立于对象定义的先验性，但可以分组以形成对象后验。为此，我们利用最近提出的视觉变压器参与对象的能力，并将其与空间密集的聚类任务相结合，以微调空间令牌。我们的方法超过了三个语义分割基准的最新方法，提高了17％-3％，表明我们的表示在各种对象定义下都是用途广泛的。最后，我们将其扩展到完全无监督的分割 - 即使在测试时间也可以完全避免使用标签信息 - 并证明了一种基于社区检测的自动合并发现的对象零件的简单方法可产生可观的收益。

本文的目的是一个模型，能够在视频中发现，跟踪和细分多个移动对象。我们做出四个贡献：首先，我们引入了一个以对象为中心的分段模型，具有深度订购的层表示。这是使用摄入光流的变压器体系结构的变体来实现的，每个查询向量为整个视频指定对象及其层。该模型可以有效地发现多个移动对象并处理相互阻塞。其次，我们引入了一条可扩展的管道，用于生成具有多个对象的合成训练数据，从而大大降低了对劳动密集型注释的要求，并支持SIM2REAL概括；第三，我们表明该模型能够学习对象的持久性和时间形状的一致性，并能够预测Amodal分割掩码。第四，我们评估了标准视频细分基准测试模型，戴维斯，MOCA，SEGTRACK，FBMS-59，并实现最新的无监督分割性能，甚至优于几种监督方法。通过测试时间适应，我们观察到进一步的性能提高。

在本文中，我们表明，自我监督的功能学习的最新进展使无监督的对象发现和语义细分，其性能与10年前的监督语义分割相匹配。我们提出了一种基于无监督的显着性掩码和自我监督的特征聚类的方法，以启动对象发现，然后在伪标签上训练语义分割网络，以在带有多个对象的图像上引导系统。我们介绍了Pascal VOC的结果，该结果远远超出了当前的最新状态（47.3 MIOU），我们首次在整个81个类别中向COCO上首次报告结果：我们的方法发现了34个类别，价格超过20美元\％$ iou，同时获得所有81个类别的平均值为19.6。

对无监督对象发现的现有方法（UOD）不会向大大扩展到大型数据集，而不会损害其性能的近似。我们提出了一种新颖的UOD作为排名问题的制定，适用于可用于特征值问题和链接分析的分布式方法的阿森纳。通过使用自我监督功能，我们还展示了UOD的第一个有效的完全无监督的管道。对Coco和OpenImages的广泛实验表明，在每个图像中寻求单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与之相当于或更好地中型数据集的艺术（最多120K图像），比能够缩放到1.7M图像的唯一其他算法超过37％。在每个图像中寻求多个对象的多对象发现设置中，所提出的LOD平均精度（AP）比所有其他用于从20K到1.7M图像的数据的方法更好。使用自我监督功能，我们还表明该方法在OpenImages上获得最先进的UOD性能。我们的代码在HTTPS://github.com/huyvvo/lod上公开提供。

当前的最新显着性检测模型在很大程度上依赖于精确的像素注释的大型数据集，但是手动标记像素是时必的且劳动力密集的。有一些用于减轻该问题的弱监督方法，例如图像标签，边界框标签和涂鸦标签，而在该领域仍未探索点标签。在本文中，我们提出了一种使用点监督的新型弱监督的显着对象检测方法。为了推断显着性图，我们首先设计了一种自适应掩盖洪水填充算法以生成伪标签。然后，我们开发了一个基于变压器的点保护显着性检测模型，以产生第一轮显着图。但是，由于标签的稀疏性，弱监督模型倾向于退化为一般​​的前景检测模型。为了解决这个问题，我们提出了一种非征服方法（NSS）方法，以优化第一轮中产生的错误显着图，并利用它们进行第二轮训练。此外，我们通过重新标记DUTS数据集来构建一个新的监督数据集（P-DUTS）。在p-duts中，每个显着对象只有一个标记点​​。在五个最大基准数据集上进行的全面实验表明，我们的方法的表现优于先前的最先进方法，该方法接受了更强的监督，甚至超过了几种完全监督的最先进模型。该代码可在以下网址获得：https：//github.com/shuyonggao/psod。

我们利用从预先训练的视觉变压器（VIT）提取的深度特征，如密集的视觉描述符。我们证明这些特征是当从自我监督的Vit模型（Dino-Vit）中提取时，表现出几种打击性质：（i）特征在高空间分辨率下编码强大的高级信息 - 即，捕获精细的语义对象部件空间粒度和（ii）编码的语义信息跨相关但不同的对象类别（即超级类别）共享。这些属性允许我们设计强大的密集Vit描述符，便于各种应用，包括共分割，部分共分割和通信 - 通过将轻量级方法应用于深度染色特征（例如，分布/聚类）来实现。我们将这些应用程序进一步接受级别任务的领域 - 展示相关类别的对象如何在显着的姿势和外观变化下常规分段为语义部分。我们的方法，在定性和定量地评估的方法，实现最先进的部分共分割结果，以及最近监督方法的竞争结果，专门针对共同分割和对应关系。

现有的基于深度学习（基于DL的）无监督的显着对象检测（USOD）方法基于传统显着性方法和预处理深网的先验知识，在图像中学习显着信息。但是，这些方法采用了一种简单的学习策略来训练深层网络，因此无法将培训样本的“隐藏”信息正确地纳入学习过程。此外，对于分割对象至关重要的外观信息仅在网络训练过程后用作后处理。为了解决这两个问题，我们提出了一个新颖的外观引导的细心自进度学习框架，以无视显着对象检测。提出的框架将自定进度的学习（SPL）和外观指导集成到统一的学习框架中。具体而言，对于第一期，我们提出了一个细心的自进度学习（ASPL）范式，该范式以有意义的命令组织培训样本，以逐步挖掘更详细的显着性信息。我们的ASPL促进了我们的框架，能够自动产生软关注权重，以纯粹的自学方式衡量训练样本的学习难度。对于第二期，我们提出了一个外观指南模块（AGM），该模块将每个像素作为显着性边界的概率的局部外观对比，并通过最大化概率找到目标对象的潜在边界。此外，我们通过汇总其他模态数据的外观向量，例如深度图，热图像或光流，将框架进一步扩展到其他多模式SOD任务。关于RGB，RGB-D，RGB-T和视频SOD基准的广泛实验证明，我们的框架可以针对现有的USOD方法实现最新性能，并且与最新的监督SOD方法相当。

We present IMAS, a method that segments the primary objects in videos without manual annotation in training or inference. Previous methods in unsupervised video object segmentation (UVOS) have demonstrated the effectiveness of motion as either input or supervision for segmentation. However, motion signals may be uninformative or even misleading in cases such as deformable objects and objects with reflections, causing unsatisfactory segmentation. In contrast, IMAS achieves Improved UVOS with Motion-Appearance Synergy. Our method has two training stages: 1) a motion-supervised object discovery stage that deals with motion-appearance conflicts through a learnable residual pathway; 2) a refinement stage with both low- and high-level appearance supervision to correct model misconceptions learned from misleading motion cues. Additionally, we propose motion-semantic alignment as a model-agnostic annotation-free hyperparam tuning method. We demonstrate its effectiveness in tuning critical hyperparams previously tuned with human annotation or hand-crafted hyperparam-specific metrics. IMAS greatly improves the segmentation quality on several common UVOS benchmarks. For example, we surpass previous methods by 8.3% on DAVIS16 benchmark with only standard ResNet and convolutional heads. We intend to release our code for future research and applications.

We pose video object segmentation as spectral graph clustering in space and time, with one graph node for each pixel and edges forming local space-time neighborhoods. We claim that the strongest cluster in this video graph represents the salient object. We start by introducing a novel and efficient method based on 3D filtering for approximating the spectral solution, as the principal eigenvector of the graph's adjacency matrix, without explicitly building the matrix. This key property allows us to have a fast parallel implementation on GPU, orders of magnitude faster than classical approaches for computing the eigenvector. Our motivation for a spectral space-time clustering approach, unique in video semantic segmentation literature, is that such clustering is dedicated to preserving object consistency over time, which we evaluate using our novel segmentation consistency measure. Further on, we show how to efficiently learn the solution over multiple input feature channels. Finally, we extend the formulation of our approach beyond the segmentation task, into the realm of object tracking. In extensive experiments we show significant improvements over top methods, as well as over powerful ensembles that combine them, achieving state-of-the-art on multiple benchmarks, both for tracking and segmentation.

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。