完全监督的显着对象检测（SOD）方法取得了长足的进步，但是这种方法通常依赖大量的像素级注释，这些注释耗时且耗时。在本文中，我们专注于混合标签下的新的弱监督SOD任务，其中监督标签包括传统无监督方法生成的大量粗标签和少量的真实标签。为了解决此任务中标签噪声和数量不平衡问题的问题，我们设计了一个新的管道框架，采用三种复杂的培训策略。在模型框架方面，我们将任务分解为标签细化子任务和显着对象检测子任务，它们相互合作并交替训练。具体而言，R-NET设计为配备有指导和聚合机制的搅拌机的两流编码器模型（BGA），旨在纠正更可靠的伪标签的粗标签，而S-NET是可更换的。由当前R-NET生成的伪标签监督的SOD网络。请注意，我们只需要使用训练有素的S-NET进行测试。此外，为了确保网络培训的有效性和效率，我们设计了三种培训策略，包括替代迭代机制，小组智慧的增量机制和信誉验证机制。五个草皮基准的实验表明，我们的方法在定性和定量上都针对弱监督/无监督/无监督的方法实现了竞争性能。

现有的基于深度学习（基于DL的）无监督的显着对象检测（USOD）方法基于传统显着性方法和预处理深网的先验知识，在图像中学习显着信息。但是，这些方法采用了一种简单的学习策略来训练深层网络，因此无法将培训样本的“隐藏”信息正确地纳入学习过程。此外，对于分割对象至关重要的外观信息仅在网络训练过程后用作后处理。为了解决这两个问题，我们提出了一个新颖的外观引导的细心自进度学习框架，以无视显着对象检测。提出的框架将自定进度的学习（SPL）和外观指导集成到统一的学习框架中。具体而言，对于第一期，我们提出了一个细心的自进度学习（ASPL）范式，该范式以有意义的命令组织培训样本，以逐步挖掘更详细的显着性信息。我们的ASPL促进了我们的框架，能够自动产生软关注权重，以纯粹的自学方式衡量训练样本的学习难度。对于第二期，我们提出了一个外观指南模块（AGM），该模块将每个像素作为显着性边界的概率的局部外观对比，并通过最大化概率找到目标对象的潜在边界。此外，我们通过汇总其他模态数据的外观向量，例如深度图，热图像或光流，将框架进一步扩展到其他多模式SOD任务。关于RGB，RGB-D，RGB-T和视频SOD基准的广泛实验证明，我们的框架可以针对现有的USOD方法实现最新性能，并且与最新的监督SOD方法相当。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

现有的突出实例检测（SID）方法通常从像素级注释数据集中学习。在本文中，我们向SID问题提出了第一个弱监督的方法。虽然在一般显着性检测中考虑了弱监管，但它主要基于使用类标签进行对象本地化。然而，仅使用类标签来学习实例知识的显着性信息是不普遍的，因为标签可能不容易地分离具有高语义亲和力的显着实例。由于子化信息提供了对突出项的数量的即时判断，因此自然地与检测突出实例相关，并且可以帮助分离相同实例的不同部分的同一类别的单独实例。灵感来自这一观察，我们建议使用课程和镇展标签作为SID问题的弱监督。我们提出了一种具有三个分支的新型弱监管网络：显着性检测分支利用类一致性信息来定位候选物体;边界检测分支利用类差异信息来解除对象边界;和Firedroid检测分支，使用子化信息来检测SALICE实例质心。然后融合该互补信息以产生突出的实例图。为方便学习过程，我们进一步提出了一种渐进的培训方案，以减少标签噪声和模型中学到的相应噪声，通过往复式突出实例预测和模型刷新模型。我们广泛的评估表明，该方法对精心设计的基线方法进行了有利地竞争，这些方法适应了相关任务。

Salient object detection (SOD) aims to determine the most visually attractive objects in an image. With the development of virtual reality technology, 360{\deg} omnidirectional image has been widely used, but the SOD task in 360{\deg} omnidirectional image is seldom studied due to its severe distortions and complex scenes. In this paper, we propose a Multi-Projection Fusion and Refinement Network (MPFR-Net) to detect the salient objects in 360{\deg} omnidirectional image. Different from the existing methods, the equirectangular projection image and four corresponding cube-unfolding images are embedded into the network simultaneously as inputs, where the cube-unfolding images not only provide supplementary information for equirectangular projection image, but also ensure the object integrity of the cube-map projection. In order to make full use of these two projection modes, a Dynamic Weighting Fusion (DWF) module is designed to adaptively integrate the features of different projections in a complementary and dynamic manner from the perspective of inter and intra features. Furthermore, in order to fully explore the way of interaction between encoder and decoder features, a Filtration and Refinement (FR) module is designed to suppress the redundant information between the feature itself and the feature. Experimental results on two omnidirectional datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both qualitatively and quantitatively.

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

在计算机视觉社区中，从自然场景图像（NSI-SOD）的突出对象检测中取得了巨大进展;相比之下，光学遥感图像（RSI-SOD）中的突出物体检测仍然是一个具有挑战性的新兴主题。光学RSI的独特特性，如尺度，照明和成像方向，在NSI-SOD和RSI-SOD之间带来显着差异。在本文中，我们提出了一种新的多内容互补网络（MCCNet）来探讨RSI-SOD的多个内容的互补性。具体地，MCCNet基于常规编码器解码器架构，并包含一个名为多内容互补模块（MCCM）的新型密钥组件，其桥接编码器和解码器。在MCCM中，我们考虑多种类型的功能对RSI-SOD至关重要的功能，包括前景特征，边缘功能，后台功能和全局图像级别功能，并利用它们之间的内容互补性来突出显示RSI中各种刻度的突出区域通过注意机制的特点。此外，我们全面引入训练阶段的像素级，地图级和公制感知损失。在两个流行的数据集上进行广泛的实验表明，所提出的MCCNet优于23个最先进的方法，包括NSI-SOD和RSI-SOD方法。我们方法的代码和结果可在https://github.com/mathlee/mccnet上获得。

无监督的突出物体检测（USOD）对于工业应用和下游任务来说是最重要的意义。基于深度学习（DL）的USOD方法利用多种传统的SOD方法提取的一些低质量的显着性预测，作为显着性提示，主要捕获图像中的一些显着区域。此外，它们通过语义信息的助手优化这些显着性提示，该显着性提示是由其他相关视觉任务中的监督学习训练的一些型号获得的。在这项工作中，我们提出了一种两级激活 - 到显着性（A2S）框架，有效地产生了高质量的显着性提示，并使用这些提示培训强大的耐药性检测器。更重要的是，在整个培训过程中没有人类注释参与我们的框架。在第一阶段中，我们将普雷托网络（MOCO V2）转换为将多级别特征聚合到单个激活图，其中提出了一种自适应决策边界（ADB）来帮助训练变换网络。为了便于生成高质量的伪标签，我们提出了一种损失功能来扩大像素之间的特征距离及其手段。在第二阶段，在线标签纠正（OLR）策略在培训过程中更新伪标签，以减少分散的人的负面影响。此外，我们使用两个残余注意模块（RAM）来构造轻量级显着探测器，其使用低级功能中的互补信息，例如边缘和颜色，从而优化高级功能。对几个SOD基准的广泛实验证明，与现有的USOD方法相比，我们的框架报告了显着性能。此外，在3000张图像上培训我们的框架约1小时，比以前的最先进的方法快30倍。

当前的最新显着性检测模型在很大程度上依赖于精确的像素注释的大型数据集，但是手动标记像素是时必的且劳动力密集的。有一些用于减轻该问题的弱监督方法，例如图像标签，边界框标签和涂鸦标签，而在该领域仍未探索点标签。在本文中，我们提出了一种使用点监督的新型弱监督的显着对象检测方法。为了推断显着性图，我们首先设计了一种自适应掩盖洪水填充算法以生成伪标签。然后，我们开发了一个基于变压器的点保护显着性检测模型，以产生第一轮显着图。但是，由于标签的稀疏性，弱监督模型倾向于退化为一般​​的前景检测模型。为了解决这个问题，我们提出了一种非征服方法（NSS）方法，以优化第一轮中产生的错误显着图，并利用它们进行第二轮训练。此外，我们通过重新标记DUTS数据集来构建一个新的监督数据集（P-DUTS）。在p-duts中，每个显着对象只有一个标记点​​。在五个最大基准数据集上进行的全面实验表明，我们的方法的表现优于先前的最先进方法，该方法接受了更强的监督，甚至超过了几种完全监督的最先进模型。该代码可在以下网址获得：https：//github.com/shuyonggao/psod。

Fully supervised salient object detection (SOD) has made considerable progress based on expensive and time-consuming data with pixel-wise annotations. Recently, to relieve the labeling burden while maintaining performance, some scribble-based SOD methods have been proposed. However, learning precise boundary details from scribble annotations that lack edge information is still difficult. In this paper, we propose to learn precise boundaries from our designed synthetic images and labels without introducing any extra auxiliary data. The synthetic image creates boundary information by inserting synthetic concave regions that simulate the real concave regions of salient objects. Furthermore, we propose a novel self-consistent framework that consists of a global integral branch (GIB) and a boundary-aware branch (BAB) to train a saliency detector. GIB aims to identify integral salient objects, whose input is the original image. BAB aims to help predict accurate boundaries, whose input is the synthetic image. These two branches are connected through a self-consistent loss to guide the saliency detector to predict precise boundaries while identifying salient objects. Experimental results on five benchmarks demonstrate that our method outperforms the state-of-the-art weakly supervised SOD methods and further narrows the gap with the fully supervised methods.

弱监督的突出物体检测（WSOD）仅使用低成本注释训练基于CNNS的显着性网络的目标。现有的WSOD方法采用各种技术来从低成本注释追求单一的“高质量”伪标签，然后开发其显着网络。虽然这些方法实现了良好的性能，但是所产生的单个标签不可避免地受到采用的细化算法的影响，并且显示了偏见的特征，这进一步影响了显着网络。在这项工作中，我们介绍了一个新的多伪标签框架，以从多个标签集成更全面和准确的显着性提示，避免上述问题。具体地，我们提出了一种多滤波器指令网络（MFNET），包括显着网络以及多个指令滤波器。指令过滤器（DF）旨在从嘈杂的伪标签中提取和过滤更准确的显着性提示。然后，来自多个DF的多个精确的线索随着多引导损耗同时传播到显着网络。在四个度量标准的五个数据集上进行了广泛的实验表明我们的方法优于所有现有的基础方法。此外，还值得注意的是，我们的框架足够灵活，适用于现有方法并提高其性能。

Deep Convolutional Neural Networks have been adopted for salient object detection and achieved the state-of-the-art performance. Most of the previous works however focus on region accuracy but not on the boundary quality. In this paper, we propose a predict-refine architecture, BASNet, and a new hybrid loss for Boundary-Aware Salient object detection. Specifically, the architecture is composed of a densely supervised Encoder-Decoder network and a residual refinement module, which are respectively in charge of saliency prediction and saliency map refinement. The hybrid loss guides the network to learn the transformation between the input image and the ground truth in a three-level hierarchy -pixel-, patch-and map-level -by fusing Binary Cross Entropy (BCE), Structural SIMilarity (SSIM) and Intersectionover-Union (IoU) losses. Equipped with the hybrid loss, the proposed predict-refine architecture is able to effectively segment the salient object regions and accurately predict the fine structures with clear boundaries. Experimental results on six public datasets show that our method outperforms the state-of-the-art methods both in terms of regional and boundary evaluation measures. Our method runs at over 25 fps on a single GPU. The code is available at: https://github.com/NathanUA/BASNet.

尽管当前的显着对象检测（SOD）作品已经取得了重大进展，但在预测的显着区域的完整性方面，它们受到限制。我们在微观和宏观水平上定义了完整性的概念。具体而言，在微观层面上，该模型应突出显示属于某个显着对象的所有部分。同时，在宏观层面上，模型需要在给定图像中发现所有显着对象。为了促进SOD的完整性学习，我们设计了一个新颖的完整性认知网络（ICON），该网络探讨了学习强大完整性特征的三个重要组成部分。 1）与现有模型不同，该模型更多地集中在功能可区分性上，我们引入了各种功能集合（DFA）组件，以汇总具有各种接受场（即内核形状和背景）的特征，并增加了功能多样性。这种多样性是挖掘积分显着物体的基础。 2）基于DFA功能，我们引入了一个完整性通道增强（ICE）组件，其目标是增强功能通道，以突出积分显着对象，同时抑制其他分心的对象。 3）提取增强功能后，采用零件整体验证（PWV）方法来确定零件和整个对象特征是否具有很强的一致性。这样的部分协议可以进一步改善每个显着对象的微观完整性。为了证明我们图标的有效性，对七个具有挑战性的基准进行了全面的实验。我们的图标在广泛的指标方面优于基线方法。值得注意的是，我们的图标在六个数据集上的平均假阴影（FNR）（FNR）方面，相对于以前的最佳模型的相对改善约为10％。代码和结果可在以下网址获得：https：//github.com/mczhuge/icon。

由于复杂且巨大的模型结构，大多数现有的显着对象检测（SOD）模型很难应用。尽管提出了一些轻巧的模型，但准确性几乎不令人满意。在本文中，我们设计了一种新颖的语义引导的上下文融合网络（SCFNET），该网络重点介绍了多层次特征的交互式融合，以进行准确有效的显着对象检测。此外，我们将知识蒸馏应用于SOD任务，并提供相当大的数据集KD-SOD80K。详细说明，我们通过未标记的图像将丰富的知识从经验丰富的老师转移到未经训练的SCFNET，使SCFNET能够学习强大的概括能力，以更准确地检测显着对象。基于知识蒸馏的SCFNET（KDSCFNET）具有与最先进的重量级方法相当的精度，该方法少于1M参数和174 fps实时检测速度。广泛的实验证明了所提出的蒸馏方法和SOD框架的鲁棒性和有效性。代码和数据：https：//github.com/zhangjincv/kd-scfnet。

尽管已经开发了疫苗，并且国家疫苗接种率正在稳步提高，但2019年冠状病毒病（COVID-19）仍对世界各地的医疗保健系统产生负面影响。在当前阶段，从CT图像中自动分割肺部感染区域对于诊断和治疗COVID-19至关重要。得益于深度学习技术的发展，已经提出了一些针对肺部感染细分的深度学习解决方案。但是，由于分布分布，复杂的背景干扰和界限模糊，现有模型的准确性和完整性仍然不令人满意。为此，我们在本文中提出了一个边界引导的语义学习网络（BSNET）。一方面，结合顶级语义保存和渐进式语义集成的双分支语义增强模块旨在建模不同的高级特征之间的互补关系，从而促进产生更完整的分割结果。另一方面，提出了镜像对称边界引导模块，以以镜像对称方式准确检测病变区域的边界。公开可用数据集的实验表明，我们的BSNET优于现有的最新竞争对手，并实现了44 fps的实时推理速度。

仅使用图像级标签的弱监督语义细分旨在降低分割任务的注释成本。现有方法通常利用类激活图（CAM）来定位伪标签生成的对象区域。但是，凸轮只能发现对象的最歧视部分，从而导致下像素级伪标签。为了解决这个问题，我们提出了一个限制的显着性和内类关系的显着性（I $^2 $ CRC）框架，以协助CAM中激活的对象区域的扩展。具体而言，我们提出了一个显着性指导的类不足的距离模块，以通过将特征对准其类原型来更接近类别内特征。此外，我们提出了一个特定的距离模块，以将类间特征推开，并鼓励对象区域的激活高于背景。除了加强分类网络激活CAM中更多积分对象区域的能力外，我们还引入了一个对象引导的标签细化模块，以完全利用分割预测和初始标签，以获取出色的伪标签。 Pascal VOC 2012和可可数据集的广泛实验很好地证明了I $^2 $ CRC的有效性，而不是其他最先进的对应物。源代码，模型和数据已在\ url {https://github.com/nust-machine-intelligence-laboratory/i2crc}提供。

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the topdown pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a 300 × 400 image. Code can be found at http://mmcheng.net/poolnet/.

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

利用深度学习的水提取需要精确的像素级标签。然而，在像素级别标记高分辨率遥感图像非常困难。因此，我们研究如何利用点标签来提取水体并提出一种名为邻居特征聚合网络（NFANET）的新方法。与PixelLevel标签相比，Point标签更容易获得，但它们会失去许多信息。在本文中，我们利用了局部水体的相邻像素之间的相似性，并提出了邻居采样器来重塑遥感图像。然后，将采样的图像发送到网络以进行特征聚合。此外，我们使用改进的递归训练算法进一步提高提取精度，使水边界更加自然。此外，我们的方法利用相邻特征而不是全局或本地特征来学习更多代表性。实验结果表明，所提出的NFANET方法不仅优于其他研究的弱监管方法，而且还获得与最先进的结果相似。

培训RGB-D突出物体检测（SOD）的深层模型通常需要大量标记的RGB-D图像。然而，不容易获取RGB-D数据，这限制了RGB-D SOD技术的发展。为了减轻这个问题，我们介绍了双半RGB-D突出物体检测网络（DS-Net），以利用未标记的RGB图像来提高RGB-D显着性检测。我们首先设计了深度去耦卷积神经网络（DDCNN），其包含深度估计分支和显着性检测分支。深度估计分支用RGB-D图像训练，然后用于估计所有未标记的RGB图像的伪深度映射以形成配对数据。显着性检测分支用于熔断RGB特征和深度特征以预测RGB-D显着性。然后，整个DDCNN被分配为师生学生框架中的骨干，用于半监督学习。此外，我们还引入了对未标记数据的中间注意力和显着性图的一致性损失，以及标记数据的监督深度和显着性损失。七种广泛使用的基准数据集上的实验结果表明，我们的DDCNN定量和定性地优于最先进的方法。我们还证明，即使在使用具有伪深度图的RGB图像时，我们的半监控DS-Net也可以进一步提高性能。