在计算机视觉中，对现实世界图像的自我监督，类别不足的分割是一个具有挑战性的开放问题。在这里，我们通过基于Spelke对象的认知科学概念来展示如何从运动自学学习中学习静态分组先验：一组可以一起移动的物理内容。我们介绍了兴奋性抑制段提取网络（EISEN），该网络学会从基于运动的训练信号中提取成对的亲和力图，以供静态场景。然后，艾森使用新颖的图形传播和竞争网络从亲和力产生细分市场。在训练过程中，进行相关运动的对象（例如机器人臂和移动的对象）被引导过程解耦：Eisen解释了它已经学会了细分的对象的运动。我们表明，艾森（Eisen）在挑战合成和现实世界的机器人数据集上进行了自我监督的图像分割方面取得了重大改进。

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

视觉世界可以以稀疏相互作用的不同实体来嘲笑。在动态视觉场景中发现这种组合结构已被证明对端到端的计算机视觉方法有挑战，除非提供明确的实例级别的监督。利用运动提示的基于老虎机的模型最近在学习代表，细分和跟踪对象的情况下没有直接监督显示了巨大的希望，但是它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何形状的信息可以促进以对象为中心的学习。我们介绍了一种以对象为中心的视频模型SAVI ++，该模型经过训练，可以预测基于插槽的视频表示的深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVI ++以细分使用移动摄像机记录的复杂动态场景，其中包含在自然主义背景上具有不同外观的静态和移动对象，而无需进行分割监督。最后，我们证明，通过使用从LIDAR获得的稀疏深度信号，Savi ++能够从真实World Waymo Open DataSet中的视频中学习新兴对象细分和跟踪。

无监督语义分割的任务旨在将像素聚集到语义上有意义的群体中。具体而言，分配给同一群集的像素应共享高级语义属性，例如其对象或零件类别。本文介绍了MaskDistill：基于三个关键想法的无监督语义细分的新颖框架。首先，我们提倡一种数据驱动的策略，以生成对象掩模作为语义分割事先的像素分组。这种方法省略了手工制作的先验，这些先验通常是为特定场景组成而设计的，并限制了竞争框架的适用性。其次，MaskDistill将对象掩盖簇簇以获取伪地真相，以训练初始对象分割模型。第三，我们利用此模型过滤出低质量的对象掩模。这种策略减轻了我们像素分组中的噪声，并导致了我们用来训练最终分割模型的干净掩模集合。通过组合这些组件，我们可以大大优于以前的作品，用于对Pascal（+11％MIOU）和COCO（+4％Mask AP50）进行无监督的语义分割。有趣的是，与现有方法相反，我们的框架不在低级图像提示上，也不限于以对象为中心的数据集。代码和型号将提供。

人类可以轻松地在不知道它们的情况下段移动移动物体。从持续的视觉观测中可能出现这种对象，激励我们与未标记的视频同时进行建模和移动。我们的前提是视频具有通过移动组件相关的相同场景的不同视图，并且右区域分割和区域流程将允许相互视图合成，其可以从数据本身检查，而无需任何外部监督。我们的模型以两个单独的路径开头：一种外观途径，其输出单个图像的基于特征的区域分割，以及输出一对图像的运动功能的运动路径。然后，它将它们绑定在称为段流的联合表示中，该分段流汇集在每个区域上的流程偏移，并提供整个场景的移动区域的总表征。通过培训模型，以最小化基于段流的视图综合误差，我们的外观和运动路径自动学习区域分割和流量估计，而不分别从低级边缘或光学流量构建它们。我们的模型展示了外观途径中对象的令人惊讶的出现，超越了从图像的零射对对象分割上的工作，从带有无监督的测试时间适应的视频移动对象分割，并通过监督微调，通过监督微调。我们的工作是来自视频的第一个真正的零点零点对象分段。它不仅开发了分割和跟踪的通用对象，而且还优于无增强工程的基于普遍的图像对比学习方法。

我们为视频中的无监督对象细分提出了一种简单而强大的方法。我们引入了一个目标函数，其最小值代表输入序列上主要显着对象的掩码。它仅依赖于独立的图像特征和光流，可以使用现成的自我监督方法获得。它以序列的长度缩放，不需要超级像素或稀疏，并且在没有任何特定培训的情况下将其推广到不同的数据集。该目标函数实际上可以从应用于整个视频的光谱群集形式得出。我们的方法通过标准基准（Davis2016，segtrack-v2，fbms59）实现了PAR的性能，同时在概念上且实际上更简单。代码可从https://ponimatkin.github.io/ssl-vos获得。

本文的目的是一个模型，能够在视频中发现，跟踪和细分多个移动对象。我们做出四个贡献：首先，我们引入了一个以对象为中心的分段模型，具有深度订购的层表示。这是使用摄入光流的变压器体系结构的变体来实现的，每个查询向量为整个视频指定对象及其层。该模型可以有效地发现多个移动对象并处理相互阻塞。其次，我们引入了一条可扩展的管道，用于生成具有多个对象的合成训练数据，从而大大降低了对劳动密集型注释的要求，并支持SIM2REAL概括；第三，我们表明该模型能够学习对象的持久性和时间形状的一致性，并能够预测Amodal分割掩码。第四，我们评估了标准视频细分基准测试模型，戴维斯，MOCA，SEGTRACK，FBMS-59，并实现最新的无监督分割性能，甚至优于几种监督方法。通过测试时间适应，我们观察到进一步的性能提高。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

Generic motion understanding from video involves not only tracking objects, but also perceiving how their surfaces deform and move. This information is useful to make inferences about 3D shape, physical properties and object interactions. While the problem of tracking arbitrary physical points on surfaces over longer video clips has received some attention, no dataset or benchmark for evaluation existed, until now. In this paper, we first formalize the problem, naming it tracking any point (TAP). We introduce a companion benchmark, TAP-Vid, which is composed of both real-world videos with accurate human annotations of point tracks, and synthetic videos with perfect ground-truth point tracks. Central to the construction of our benchmark is a novel semi-automatic crowdsourced pipeline which uses optical flow estimates to compensate for easier, short-term motion like camera shake, allowing annotators to focus on harder sections of video. We validate our pipeline on synthetic data and propose a simple end-to-end point tracking model TAP-Net, showing that it outperforms all prior methods on our benchmark when trained on synthetic data.

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

Recent advances in self-supervised visual representation learning have paved the way for unsupervised methods tackling tasks such as object discovery and instance segmentation. However, discovering objects in an image with no supervision is a very hard task; what are the desired objects, when to separate them into parts, how many are there, and of what classes? The answers to these questions depend on the tasks and datasets of evaluation. In this work, we take a different approach and propose to look for the background instead. This way, the salient objects emerge as a by-product without any strong assumption on what an object should be. We propose FOUND, a simple model made of a single $conv1\times1$ initialized with coarse background masks extracted from self-supervised patch-based representations. After fast training and refining these seed masks, the model reaches state-of-the-art results on unsupervised saliency detection and object discovery benchmarks. Moreover, we show that our approach yields good results in the unsupervised semantic segmentation retrieval task. The code to reproduce our results is available at https://github.com/valeoai/FOUND.

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

现有的基于深度学习的无监督视频对象分割方法仍依靠地面真实的细分面具来训练。在这种情况下令人未知的意味着在推理期间没有使用注释帧。由于获得真实图像场景的地面真实的细分掩码是一种艰苦的任务，我们想到了一个简单的框架，即占主导地位的移动对象分割，既不需要注释数据训练，也不依赖于显着的电视或预先训练的光流程图。灵感来自分层图像表示，我们根据仿射参数运动引入对像素区域进行分组的技术。这使我们的网络能够仅使用RGB图像对为培训和推理的输入来学习主要前景对象的分割。我们使用新的MOVERCARS DataSet为这项新颖任务建立了基线，并对最近的方法表现出竞争性能，这些方法需要培训带有注释面具的最新方法。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

Learning object-centric representations of complex scenes is a promising step towards enabling efficient abstract reasoning from low-level perceptual features. Yet, most deep learning approaches learn distributed representations that do not capture the compositional properties of natural scenes. In this paper, we present the Slot Attention module, an architectural component that interfaces with perceptual representations such as the output of a convolutional neural network and produces a set of task-dependent abstract representations which we call slots. These slots are exchangeable and can bind to any object in the input by specializing through a competitive procedure over multiple rounds of attention. We empirically demonstrate that Slot Attention can extract object-centric representations that enable generalization to unseen compositions when trained on unsupervised object discovery and supervised property prediction tasks.

We present IMAS, a method that segments the primary objects in videos without manual annotation in training or inference. Previous methods in unsupervised video object segmentation (UVOS) have demonstrated the effectiveness of motion as either input or supervision for segmentation. However, motion signals may be uninformative or even misleading in cases such as deformable objects and objects with reflections, causing unsatisfactory segmentation. In contrast, IMAS achieves Improved UVOS with Motion-Appearance Synergy. Our method has two training stages: 1) a motion-supervised object discovery stage that deals with motion-appearance conflicts through a learnable residual pathway; 2) a refinement stage with both low- and high-level appearance supervision to correct model misconceptions learned from misleading motion cues. Additionally, we propose motion-semantic alignment as a model-agnostic annotation-free hyperparam tuning method. We demonstrate its effectiveness in tuning critical hyperparams previously tuned with human annotation or hand-crafted hyperparam-specific metrics. IMAS greatly improves the segmentation quality on several common UVOS benchmarks. For example, we surpass previous methods by 8.3% on DAVIS16 benchmark with only standard ResNet and convolutional heads. We intend to release our code for future research and applications.

现代方法通常将语义分割标记为每个像素分类任务，而使用替代掩码分类处理实例级分割。我们的主要洞察力：掩码分类是足够的一般，可以使用完全相同的模型，丢失和培训过程来解决语义和实例级分段任务。在此观察之后，我们提出了一个简单的掩模分类模型，该模型预测了一组二进制掩码，每个模型与单个全局类标签预测相关联。总的来说，所提出的基于掩模分类的方法简化了语义和Panoptic分割任务的有效方法的景观，并显示出优异的经验结果。特别是，当类的数量大时，我们观察到掩码形成器优于每个像素分类基线。我们的面具基于分类的方法优于当前最先进的语义（ADE20K上的55.6 miou）和Panoptic Seation（Coco）模型的Panoptic Seationation（52.7 PQ）。

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

密集的语义预测通过推断未观察到的未来图像的像素级语义来预测视频中的未来事件。我们提出了一种适用于各种单帧架构和任务的新方法。我们的方法包括两个模块。功能 - 动作（F2M）模块预测了密集的变形领域，将过去的功能扭曲到其未来的位置。功能到特征（F2F）模块直接回归未来功能，因此能够考虑紧急风景。化合物F2MF模型以任务 - 不可行的方式与新奇效果的运动效果脱钩。我们的目标是将F2MF预测应用于所需单帧模型的最自述和最抽象的最摘要表示。我们的设计利用了相邻时间瞬间可变形卷曲和空间相关系数。我们在三个密集预测任务中执行实验：语义分割，实例级分割和Panoptic分割。结果介绍了三个密集预测任务的最先进的预测精度。

This paper presents a novel yet intuitive approach to unsupervised feature learning. Inspired by the human visual system, we explore whether low-level motion-based grouping cues can be used to learn an effective visual representation. Specifically, we use unsupervised motion-based segmentation on videos to obtain segments, which we use as 'pseudo ground truth' to train a convolutional network to segment objects from a single frame. Given the extensive evidence that motion plays a key role in the development of the human visual system, we hope that this straightforward approach to unsupervised learning will be more effective than cleverly designed 'pretext' tasks studied in the literature. Indeed, our extensive experiments show that this is the case. When used for transfer learning on object detection, our representation significantly outperforms previous unsupervised approaches across multiple settings, especially when training data for the target task is scarce.