对无监督对象发现的现有方法（UOD）不会向大大扩展到大型数据集，而不会损害其性能的近似。我们提出了一种新颖的UOD作为排名问题的制定，适用于可用于特征值问题和链接分析的分布式方法的阿森纳。通过使用自我监督功能，我们还展示了UOD的第一个有效的完全无监督的管道。对Coco和OpenImages的广泛实验表明，在每个图像中寻求单个突出对象的单对象发现设置中，所提出的LOD（大规模对象发现）方法与之相当于或更好地中型数据集的艺术（最多120K图像），比能够缩放到1.7M图像的唯一其他算法超过37％。在每个图像中寻求多个对象的多对象发现设置中，所提出的LOD平均精度（AP）比所有其他用于从20K到1.7M图像的数据的方法更好。使用自我监督功能，我们还表明该方法在OpenImages上获得最先进的UOD性能。我们的代码在HTTPS://github.com/huyvvo/lod上公开提供。

Unsupervised object discovery aims to localize objects in images, while removing the dependence on annotations required by most deep learning-based methods. To address this problem, we propose a fully unsupervised, bottom-up approach, for multiple objects discovery. The proposed approach is a two-stage framework. First, instances of object parts are segmented by using the intra-image similarity between self-supervised local features. The second step merges and filters the object parts to form complete object instances. The latter is performed by two CNN models that capture semantic information on objects from the entire dataset. We demonstrate that the pseudo-labels generated by our method provide a better precision-recall trade-off than existing single and multiple objects discovery methods. In particular, we provide state-of-the-art results for both unsupervised class-agnostic object detection and unsupervised image segmentation.

接受注释较弱的对象探测器是全面监督者的负担得起的替代方案。但是，它们之间仍然存在显着的性能差距。我们建议通过微调预先训练的弱监督检测器来缩小这一差距，并使用``Box-In-box''（bib'（bib）自动从训练集中自动选择了一些完全注销的样品，这是一种新颖的活跃学习专门针对弱势监督探测器的据可查的失败模式而设计的策略。 VOC07和可可基准的实验表明，围嘴表现优于其他活跃的学习技术，并显着改善了基本的弱监督探测器的性能，而每个类别仅几个完全宣布的图像。围嘴达到了完全监督的快速RCNN的97％，在VOC07上仅10％的全已通量图像。在可可（COCO）上，平均每类使用10张全面通量的图像，或同等的训练集的1％，还减少了弱监督检测器和完全监督的快速RCN之间的性能差距（In AP）以上超过70％ ，在性能和数据效率之间表现出良好的权衡。我们的代码可在https://github.com/huyvvo/bib上公开获取。

在本文中，我们表明，自我监督的功能学习的最新进展使无监督的对象发现和语义细分，其性能与10年前的监督语义分割相匹配。我们提出了一种基于无监督的显着性掩码和自我监督的特征聚类的方法，以启动对象发现，然后在伪标签上训练语义分割网络，以在带有多个对象的图像上引导系统。我们介绍了Pascal VOC的结果，该结果远远超出了当前的最新状态（47.3 MIOU），我们首次在整个81个类别中向COCO上首次报告结果：我们的方法发现了34个类别，价格超过20美元\％$ iou，同时获得所有81个类别的平均值为19.6。

我们在没有监督的情况下解决了学习对象探测器的问题。与弱监督的对象检测不同，我们不假设图像级类标签。取而代之的是，我们使用音频组件来“教”对象检测器，从视听数据中提取监督信号。尽管此问题与声音源本地化有关，但它更难，因为检测器必须按类型对对象进行分类，列举对象的每个实例，并且即使对象保持沉默，也可以这样做。我们通过首先设计一个自制的框架来解决这个问题，该框架具有一个对比目标，该目标共同学会了分类和本地化对象。然后，在不使用任何监督的情况下，我们只需使用这些自我监督的标签和盒子来训练基于图像的对象检测器。因此，对于对象检测和声音源定位的任务，我们优于先前的无监督和弱监督的检测器。我们还表明，我们可以将该探测器与每个伪级标签的标签保持一致，并展示我们的方法如何学习检测超出仪器（例如飞机和猫）的通用对象。

在本文中，我们描述了一种基于图的算法，该算法使用自我监管的变压器获得的功能来检测图像和视频中的显着对象。使用这种方法，将构成图像或视频的图像贴片组织成一个完全连接的图，其中每对贴片之间的边缘使用变压器学到的功能在补丁之间标记为相似性得分。然后将显着物体的检测和分割作为图形问题配制，并使用经典的归一化切割算法解决。尽管这种方法很简单，但它仍可以在几个常见的图像和视频检测和分割任务上实现最新结果。对于无监督的对象发现，当使用VOC07，VOC12和COCO20K数据集进行测试时，这种方法的优于竞争方法的差距分别为6.1％，5.7％和2.6％。对于图像中无监督的显着性检测任务，此方法将联合（IOU）的交叉分数提高了4.4％，5.6％和5.2％。与当前最新技术相比，与ECSD，DUTS和DUT-OMRON数据集进行测试时。该方法还通过戴维斯，SEGTV2和FBMS数据集为无监督的视频对象分割任务实现了竞争结果。

We tackle the problem of novel class discovery and localization (NCDL). In this setting, we assume a source dataset with supervision for only some object classes. Instances of other classes need to be discovered, classified, and localized automatically based on visual similarity without any human supervision. To tackle NCDL, we propose a two-stage object detection network Region-based NCDL (RNCDL) that uses a region proposal network to localize regions of interest (RoIs). We then train our network to learn to classify each RoI, either as one of the known classes, seen in the source dataset, or one of the novel classes, with a long-tail distribution constraint on the class assignments, reflecting the natural frequency of classes in the real world. By training our detection network with this objective in an end-to-end manner, it learns to classify all region proposals for a large variety of classes, including those not part of the labeled object class vocabulary. Our experiments conducted using COCO and LVIS datasets reveal that our method is significantly more effective than multi-stage pipelines that rely on traditional clustering algorithms. Furthermore, we demonstrate the generality of our approach by applying our method to a large-scale Visual Genome dataset, where our network successfully learns to detect various semantic classes without direct supervision.

我们为视频中的无监督对象细分提出了一种简单而强大的方法。我们引入了一个目标函数，其最小值代表输入序列上主要显着对象的掩码。它仅依赖于独立的图像特征和光流，可以使用现成的自我监督方法获得。它以序列的长度缩放，不需要超级像素或稀疏，并且在没有任何特定培训的情况下将其推广到不同的数据集。该目标函数实际上可以从应用于整个视频的光谱群集形式得出。我们的方法通过标准基准（Davis2016，segtrack-v2，fbms59）实现了PAR的性能，同时在概念上且实际上更简单。代码可从https://ponimatkin.github.io/ssl-vos获得。

仅使用图像级注释的弱监督对象检测（WSOD）在过去几年中引起了不断增长的关注。然而，此类任务通常以专注于自然图像的特定于域的解决方案，而我们表明应用于预先训练的深度特征的简单多实例方法会产生优异的非摄影数据集的性能，可能包括新类。该方法不包括任何微调或跨域学习，因此有效且可能适用于任意数据集和类。我们调查了拟议方法的几种口味，一些包括多层的Perceptron和多层分类器。尽管其简单性，我们的方法在一系列公开的数据集中展示了竞争结果，包括绘画（人民艺术，象征），水彩画，剪贴画和漫画，并允许快速学习未经看的视觉类别。

最近对物体检测的自我监督预防方法在很大程度上专注于预先绘制物体探测器的骨干，忽略了检测架构的关键部分。相反，我们介绍了DetReg，这是一种新的自我监督方法，用于预先列出整个对象检测网络，包括对象本地化和嵌入组件。在预先绘制期间，DetReg预测对象本地化以与无监督区域提议生成器匹配本地化，并同时将相应的特征嵌入与自我监控图像编码器的嵌入式对齐。我们使用DETR系列探测器实施DetReg，并显示它在Coco，Pascal VOC和空中客车船基准上的Fineetuned时改善了竞争性基线。在低数据制度中，包括半监督和几秒钟学习设置，DetReg建立了许多最先进的结果，例如，在Coco上，我们看到10次检测和+3.5的AP改进A +6.0 AP改进当培训只有1％的标签时。对于代码和预用模型，请访问https://amirbar.net/detreg的项目页面

We pose video object segmentation as spectral graph clustering in space and time, with one graph node for each pixel and edges forming local space-time neighborhoods. We claim that the strongest cluster in this video graph represents the salient object. We start by introducing a novel and efficient method based on 3D filtering for approximating the spectral solution, as the principal eigenvector of the graph's adjacency matrix, without explicitly building the matrix. This key property allows us to have a fast parallel implementation on GPU, orders of magnitude faster than classical approaches for computing the eigenvector. Our motivation for a spectral space-time clustering approach, unique in video semantic segmentation literature, is that such clustering is dedicated to preserving object consistency over time, which we evaluate using our novel segmentation consistency measure. Further on, we show how to efficiently learn the solution over multiple input feature channels. Finally, we extend the formulation of our approach beyond the segmentation task, into the realm of object tracking. In extensive experiments we show significant improvements over top methods, as well as over powerful ensembles that combine them, achieving state-of-the-art on multiple benchmarks, both for tracking and segmentation.

什么构成一个物体？这是计算机愿景中的长期问题。为了实现这一目标，已经开发了许多基于学习的基于学习的方法来得分对象。但是，它们通常不会划过新域和未经看不见的对象。在本文中，我们倡导现有方法缺乏由人类可理解的语义管理的自上而下的监督信号。为了弥合这一差距，我们探索了已经用对齐的图像文本对培训的多模态视觉变压器（MVIT）。我们对各个域和新型对象的广泛实验显示了MVITS的最先进的性能，以使图像中的通用对象本地化。基于这些发现，我们使用多尺度特征处理和可变形的自我关注来开发一种高效且灵活的MVIT架构，可以自适应地生成给定特定语言查询的提议。我们展示了MVIT提案在各种应用中的重要性，包括开放世界对象检测，突出和伪装对象检测，监督和自我监督的检测任务。此外，MVITS提供了具有可理解文本查询的增强的交互性。代码：https://git.io/j1hpy。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

弱监督的对象检测（WSOD）是一项任务，可使用仅在图像级注释上训练的模型来检测图像中的对象。当前的最新模型受益于自我监督的实例级别的监督，但是由于弱监督不包括计数或位置信息，因此最常见的``Argmax''标签方法通常忽略了许多对象实例。为了减轻此问题，我们提出了一种新颖的多个实例标记方法，称为对象发现。我们进一步在弱监督下引入了新的对比损失，在该监督下，没有实例级信息可用于采样，称为弱监督对比损失（WSCL）。WSCL旨在通过利用一致的功能来嵌入同一类中的向量来构建对象发现的可靠相似性阈值。结果，我们在2014年和2017年MS-Coco以及Pascal VOC 2012上取得了新的最新结果，并在Pascal VOC 2007上取得了竞争成果。

虽然最近的图像理解的研究经常集中在识别更多类型的对象上，但了解更多关于对象的信息就是重要的。识别对象零件和属性已经广泛研究，但由于提供了用于监督的详细对象注释的高成本，所以这种概念的学习大型空间仍然难以实现。本文的关键贡献是一种从通过查询Web搜索引擎获得的图像自动学习物体的可行性部分的算法。关键挑战是注释中的高噪音;为了解决它，我们提出了一个新的统一嵌入空间，其中物体的外观和几何形状均匀地表示。几何关系通过丰富的非对中级锚点以柔和的方式诱导，弥合语义和非语义部件之间的差距。我们还表明，由此产生的嵌入提供了一种视觉上直观的机制来导航学习的概念及其对应的图像。

Recent advances in self-supervised visual representation learning have paved the way for unsupervised methods tackling tasks such as object discovery and instance segmentation. However, discovering objects in an image with no supervision is a very hard task; what are the desired objects, when to separate them into parts, how many are there, and of what classes? The answers to these questions depend on the tasks and datasets of evaluation. In this work, we take a different approach and propose to look for the background instead. This way, the salient objects emerge as a by-product without any strong assumption on what an object should be. We propose FOUND, a simple model made of a single $conv1\times1$ initialized with coarse background masks extracted from self-supervised patch-based representations. After fast training and refining these seed masks, the model reaches state-of-the-art results on unsupervised saliency detection and object discovery benchmarks. Moreover, we show that our approach yields good results in the unsupervised semantic segmentation retrieval task. The code to reproduce our results is available at https://github.com/valeoai/FOUND.

无监督语义分割的任务旨在将像素聚集到语义上有意义的群体中。具体而言，分配给同一群集的像素应共享高级语义属性，例如其对象或零件类别。本文介绍了MaskDistill：基于三个关键想法的无监督语义细分的新颖框架。首先，我们提倡一种数据驱动的策略，以生成对象掩模作为语义分割事先的像素分组。这种方法省略了手工制作的先验，这些先验通常是为特定场景组成而设计的，并限制了竞争框架的适用性。其次，MaskDistill将对象掩盖簇簇以获取伪地真相，以训练初始对象分割模型。第三，我们利用此模型过滤出低质量的对象掩模。这种策略减轻了我们像素分组中的噪声，并导致了我们用来训练最终分割模型的干净掩模集合。通过组合这些组件，我们可以大大优于以前的作品，用于对Pascal（+11％MIOU）和COCO（+4％Mask AP50）进行无监督的语义分割。有趣的是，与现有方法相反，我们的框架不在低级图像提示上，也不限于以对象为中心的数据集。代码和型号将提供。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

半弱监督和监督的学习最近在对象检测文献中引起了很大的关注，因为它们可以减轻成功训练深度学习模型所需的注释成本。半监督学习的最先进方法依赖于使用多阶段过程训练的学生老师模型，并大量数据增强。为弱监督的设置开发了自定义网络，因此很难适应不同的检测器。在本文中，引入了一种弱半监督的训练方法，以减少这些训练挑战，但通过仅利用一小部分全标记的图像，并在弱标记图像中提供信息来实现最先进的性能。特别是，我们基于通用抽样的学习策略以在线方式产生伪基真实（GT）边界框注释，消除了对多阶段培训的需求和学生教师网络配置。这些伪GT框是根据通过得分传播过程累积的对象建议的分类得分从弱标记的图像中采样的。 PASCAL VOC数据集的经验结果表明，使用VOC 2007作为完全标记的拟议方法可提高性能5.0％，而VOC 2012作为弱标记数据。同样，有了5-10％的完全注释的图像，我们观察到MAP中的10％以上的改善，表明对图像级注释的适度投资可以大大改善检测性能。

在许多应用中，例如自主驾驶，手动操作或机器人导航，对象检测方法必须能够检测训练集中的对象。开放世界检测（OWD）旨在通过概括检测性能和看不见的类类别来解决这个问题。最近的作品在呼吁开放世界的建议（OWP）时，最近的作品已经取得了成功，但这是在检测模型中考虑两项任务时分类任务的大幅下降的成本。这些作品通过利用对象得分提示来调查两级区域提案网络（RPN）;然而，对于本地化和分类的简单性，运行时间和解耦，我们通过诸如FCOS的完全卷积的一级检测网络的镜头来调查OWP。我们认为，我们对FCO的建筑和采样优化可以通过在新颖类别上召回的召回，标志着一个免费的一级单级检测网络，以实现对基于RPN的两级网络的可比性性能，可以增加OWP性能。此外，我们表明FCO的固有，解耦架构具有保留分类性能的好处。虽然两阶段方法在新颖的课程中召回6％时，我们表明FCO仅在为OWP和分类中优化时才会下降2％。