现有的突出实例检测（SID）方法通常从像素级注释数据集中学习。在本文中，我们向SID问题提出了第一个弱监督的方法。虽然在一般显着性检测中考虑了弱监管，但它主要基于使用类标签进行对象本地化。然而，仅使用类标签来学习实例知识的显着性信息是不普遍的，因为标签可能不容易地分离具有高语义亲和力的显着实例。由于子化信息提供了对突出项的数量的即时判断，因此自然地与检测突出实例相关，并且可以帮助分离相同实例的不同部分的同一类别的单独实例。灵感来自这一观察，我们建议使用课程和镇展标签作为SID问题的弱监督。我们提出了一种具有三个分支的新型弱监管网络：显着性检测分支利用类一致性信息来定位候选物体;边界检测分支利用类差异信息来解除对象边界;和Firedroid检测分支，使用子化信息来检测SALICE实例质心。然后融合该互补信息以产生突出的实例图。为方便学习过程，我们进一步提出了一种渐进的培训方案，以减少标签噪声和模型中学到的相应噪声，通过往复式突出实例预测和模型刷新模型。我们广泛的评估表明，该方法对精心设计的基线方法进行了有利地竞争，这些方法适应了相关任务。

玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它，因此可能会产生严重的后果，例如，机器人可能会坠入玻璃墙。但是，感知玻璃的存在并不简单。关键的挑战是，任意物体/场景可以出现在玻璃后面。在本文中，我们提出了一个重要的问题，即从单个RGB图像中检测玻璃表面。为了解决这个问题，我们构建了第一个大规模玻璃检测数据集（GDD），并提出了一个名为GDNet-B的新颖玻璃检测网络，该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成（LCFI）模块并将高级和低级边界特征与边界特征增强（BFE）模块集成在一起。广泛的实验表明，我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务（包括镜像分割和显着对象检测）来进一步验证我们提出的GDNET-B的有效性和概括能力。最后，我们显示了玻璃检测的潜在应用，并讨论了可能的未来研究方向。

完全监督的显着对象检测（SOD）方法取得了长足的进步，但是这种方法通常依赖大量的像素级注释，这些注释耗时且耗时。在本文中，我们专注于混合标签下的新的弱监督SOD任务，其中监督标签包括传统无监督方法生成的大量粗标签和少量的真实标签。为了解决此任务中标签噪声和数量不平衡问题的问题，我们设计了一个新的管道框架，采用三种复杂的培训策略。在模型框架方面，我们将任务分解为标签细化子任务和显着对象检测子任务，它们相互合作并交替训练。具体而言，R-NET设计为配备有指导和聚合机制的搅拌机的两流编码器模型（BGA），旨在纠正更可靠的伪标签的粗标签，而S-NET是可更换的。由当前R-NET生成的伪标签监督的SOD网络。请注意，我们只需要使用训练有素的S-NET进行测试。此外，为了确保网络培训的有效性和效率，我们设计了三种培训策略，包括替代迭代机制，小组智慧的增量机制和信誉验证机制。五个草皮基准的实验表明，我们的方法在定性和定量上都针对弱监督/无监督/无监督的方法实现了竞争性能。

仅使用图像级标签的弱监督语义细分旨在降低分割任务的注释成本。现有方法通常利用类激活图（CAM）来定位伪标签生成的对象区域。但是，凸轮只能发现对象的最歧视部分，从而导致下像素级伪标签。为了解决这个问题，我们提出了一个限制的显着性和内类关系的显着性（I $^2 $ CRC）框架，以协助CAM中激活的对象区域的扩展。具体而言，我们提出了一个显着性指导的类不足的距离模块，以通过将特征对准其类原型来更接近类别内特征。此外，我们提出了一个特定的距离模块，以将类间特征推开，并鼓励对象区域的激活高于背景。除了加强分类网络激活CAM中更多积分对象区域的能力外，我们还引入了一个对象引导的标签细化模块，以完全利用分割预测和初始标签，以获取出色的伪标签。 Pascal VOC 2012和可可数据集的广泛实验很好地证明了I $^2 $ CRC的有效性，而不是其他最先进的对应物。源代码，模型和数据已在\ url {https://github.com/nust-machine-intelligence-laboratory/i2crc}提供。

This paper presents the first attempt to learn semantic boundary detection using image-level class labels as supervision. Our method starts by estimating coarse areas of object classes through attentions drawn by an image classification network. Since boundaries will locate somewhere between such areas of different classes, our task is formulated as a multiple instance learning (MIL) problem, where pixels on a line segment connecting areas of two different classes are regarded as a bag of boundary candidates. Moreover, we design a new neural network architecture that can learn to estimate semantic boundaries reliably even with uncertain supervision given by the MIL strategy. Our network is used to generate pseudo semantic boundary labels of training images, which are in turn used to train fully supervised models. The final model trained with our pseudo labels achieves an outstanding performance on the SBD dataset, where it is as competitive as some of previous arts trained with stronger supervision.

深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。

弱监督的实例分割（WSIS）被认为是比虚弱的语义细分（WSSS）更具挑战性的任务。与WSSS相比，WSIS需要实例的本地化，这很难从图像级标签中提取。为了解决问题，大多数WSIS方法都使用实例或对象级标签需要预先训练的现成提案技术，偏离完全图像级监督设置的基本定义。在本文中，我们提出了一种新的方法，包括两种创新组件。首先，我们提出了一种语义知识转移，通过将WSSS的知识转移到WSIS来获取伪实例标签，同时消除了对现货附加提案的需求。其次，我们提出了一种自我细化方法，可以在自我监督方案中优化伪实例标签，并以在线方式使用精制标签进行培训。在这里，我们发现伪实例标签中缺失的实例被分类为背景类的缺失实例发生了错误的现象。这种语义漂移发生了背景和实例在训练中的混淆，因此降低了分割性能。我们将此问题术语作为语义漂移问题，并表明我们所提出的自我细化方法消除了语义漂移问题。对Pascal VOC 2012和Coco的广泛实验证明了我们的方法的有效性，并且在没有现成的提案技术的情况下实现了相当大的表现。代码即将推出。

弱监督的语义细分（WSSS）旨在仅使用用于训练的图像级标签来产生像素类预测。为此，以前的方法采用了通用管道：它们从类激活图（CAM）生成伪口罩，并使用此类掩码来监督分割网络。但是，由于凸轮的局部属性，即它们倾向于仅专注于小的判别对象零件，因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中，我们将CAM的局部性与卷积神经网络（CNNS）的质地偏见特性相关联。因此，我们建议利用形状信息来补充质地偏见的CNN特征，从而鼓励掩模预测不仅是全面的，而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测，该方法同时考虑了类和颜色亲和力，以生成可靠的伪口罩以监督模型。重要的是，我们的模型是在单阶段框架内进行端到端训练的，因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验，我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言，我们的模型超过了现有的最新单阶段方法。此外，当在没有铃铛和哨声的简单两阶段管道中采用时，它还在多阶段方法上实现了新的最新性能。

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

弱监督的语义分割（WSSS）是具有挑战性的，特别是当使用图像级标签来监督像素级预测时。为了弥合它们的差距，通常生成一个类激活图（CAM）以提供像素级伪标签。卷积神经网络中的凸轮患有部分激活，即，仅激活最多的识别区域。另一方面，基于变压器的方法在探索具有长范围依赖性建模的全球背景下，非常有效，可能会减轻“部分激活”问题。在本文中，我们提出了基于第一变压器的WSSS方法，并介绍了梯度加权元素明智的变压器注意图（GetAn）。 GetaN显示所有特征映射元素的精确激活，跨越变压器层显示对象的不同部分。此外，我们提出了一种激活感知标签完成模块来生成高质量的伪标签。最后，我们将我们的方法纳入了使用双向向上传播的WSS的结束框架。 Pascal VOC和Coco的广泛实验表明，我们的结果通过显着的保证金击败了最先进的端到端方法，并且优于大多数多级方法.M大多数多级方法。

玻璃在现实世界中非常普遍。受玻璃区域的不确定性以及玻璃背后的各种复杂场景的影响，玻璃的存在对许多计算机视觉任务构成了严重的挑战，从而使玻璃分割成为重要的计算机视觉任务。玻璃没有自己的视觉外观，而只能传输/反映其周围环境的外观，从而与其他常见对象根本不同。为了解决此类具有挑战性的任务，现有方法通常会探索并结合深网络中不同特征级别的有用线索。由于存在级别不同的特征之间的特征差距，即，深层特征嵌入了更多高级语义，并且更好地定位目标对象，而浅层特征具有更大的空间尺寸，并保持更丰富，更详细的低级信息，因此，将这些特征融合到天真的融合将导致亚最佳溶液。在本文中，我们将有效的特征融合到两个步骤中，以朝着精确的玻璃分割。首先，我们试图通过开发可区分性增强（DE）模块来弥合不同级别特征之间的特征差距，该模块使特定于级别的特征成为更具歧视性的表示，从而减轻了融合不兼容的特征。其次，我们设计了一个基于焦点和探索的融合（FEBF）模块，以通过突出显示常见并探索级别差异特征之间的差异，从而在融合过程中丰富挖掘有用的信息。

大多数现有的语义分割方法都以图像级类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新颖的“渐进贴片学习”方法，以改善分类的局部细节提取，从而更好地覆盖整个对象的凸轮，而不仅仅是在常规分类模型中获得的CAM中的最歧视区域。 “补丁学习”将特征映射破坏成贴片，并在最终聚合之前并行独立处理每个本地贴片。这样的机制强迫网络从分散的歧视性本地部分中找到弱信息，从而提高了本地细节的敏感性。 “渐进的补丁学习”进一步将特征破坏和补丁学习扩展到多层粒度。与多阶段优化策略合作，这种“渐进的补丁学习”机制隐式地为模型提供了跨不同位置粒状性的特征提取能力。作为隐式多粒性渐进式融合方法的替代方案，我们还提出了一种明确的方法，以同时将单个模型中不同粒度的特征融合，从而进一步增强了完整对象覆盖的凸轮质量。我们提出的方法在Pascal VOC 2012数据集上取得了出色的性能，例如，测试集中有69.6 $％miou），它超过了大多数现有的弱监督语义细分方法。代码将在此处公开提供，https://github.com/tyroneli/ppl_wsss。

由于透明玻璃与图像中的任意物体相同，大多数现有物体检测方法产生较差的玻璃检测结果。与众不同的基于深度学习的智慧不同，只需使用对象边界作为辅助监督，我们利用标签解耦将原始标记的地图（GT）映射分解为内部扩散图和边界扩散图。与两个新生成的地图合作的GT映射破坏了物体边界的不平衡分布，导致玻璃检测质量改善。我们有三个关键贡献来解决透明的玻璃探测问题：（1）我们提出了一个三流神经网络（短暂的呼叫GlassNet），完全吸收三张地图中的有益功能。 （2）我们设计多尺度交互扩张模块，以探索更广泛的上下文信息。 （3）我们开发了一个基于关注的边界意识的功能拼接模块，用于集成多模态信息。基准数据集的广泛实验表明，在整体玻璃检测精度和边界清晰度方面，在SOTA方面对我们的方法进行了明确的改进。

尽管当前的显着对象检测（SOD）作品已经取得了重大进展，但在预测的显着区域的完整性方面，它们受到限制。我们在微观和宏观水平上定义了完整性的概念。具体而言，在微观层面上，该模型应突出显示属于某个显着对象的所有部分。同时，在宏观层面上，模型需要在给定图像中发现所有显着对象。为了促进SOD的完整性学习，我们设计了一个新颖的完整性认知网络（ICON），该网络探讨了学习强大完整性特征的三个重要组成部分。 1）与现有模型不同，该模型更多地集中在功能可区分性上，我们引入了各种功能集合（DFA）组件，以汇总具有各种接受场（即内核形状和背景）的特征，并增加了功能多样性。这种多样性是挖掘积分显着物体的基础。 2）基于DFA功能，我们引入了一个完整性通道增强（ICE）组件，其目标是增强功能通道，以突出积分显着对象，同时抑制其他分心的对象。 3）提取增强功能后，采用零件整体验证（PWV）方法来确定零件和整个对象特征是否具有很强的一致性。这样的部分协议可以进一步改善每个显着对象的微观完整性。为了证明我们图标的有效性，对七个具有挑战性的基准进行了全面的实验。我们的图标在广泛的指标方面优于基线方法。值得注意的是，我们的图标在六个数据集上的平均假阴影（FNR）（FNR）方面，相对于以前的最佳模型的相对改善约为10％。代码和结果可在以下网址获得：https：//github.com/mczhuge/icon。

Camouflaged object detection (COD) aims to detect/segment camouflaged objects embedded in the environment, which has attracted increasing attention over the past decades. Although several COD methods have been developed, they still suffer from unsatisfactory performance due to the intrinsic similarities between the foreground objects and background surroundings. In this paper, we propose a novel Feature Aggregation and Propagation Network (FAP-Net) for camouflaged object detection. Specifically, we propose a Boundary Guidance Module (BGM) to explicitly model the boundary characteristic, which can provide boundary-enhanced features to boost the COD performance. To capture the scale variations of the camouflaged objects, we propose a Multi-scale Feature Aggregation Module (MFAM) to characterize the multi-scale information from each layer and obtain the aggregated feature representations. Furthermore, we propose a Cross-level Fusion and Propagation Module (CFPM). In the CFPM, the feature fusion part can effectively integrate the features from adjacent layers to exploit the cross-level correlations, and the feature propagation part can transmit valuable context information from the encoder to the decoder network via a gate unit. Finally, we formulate a unified and end-to-end trainable framework where cross-level features can be effectively fused and propagated for capturing rich context information. Extensive experiments on three benchmark camouflaged datasets demonstrate that our FAP-Net outperforms other state-of-the-art COD models. Moreover, our model can be extended to the polyp segmentation task, and the comparison results further validate the effectiveness of the proposed model in segmenting polyps. The source code and results will be released at https://github.com/taozh2017/FAPNet.

无监督的突出物体检测（USOD）对于工业应用和下游任务来说是最重要的意义。基于深度学习（DL）的USOD方法利用多种传统的SOD方法提取的一些低质量的显着性预测，作为显着性提示，主要捕获图像中的一些显着区域。此外，它们通过语义信息的助手优化这些显着性提示，该显着性提示是由其他相关视觉任务中的监督学习训练的一些型号获得的。在这项工作中，我们提出了一种两级激活 - 到显着性（A2S）框架，有效地产生了高质量的显着性提示，并使用这些提示培训强大的耐药性检测器。更重要的是，在整个培训过程中没有人类注释参与我们的框架。在第一阶段中，我们将普雷托网络（MOCO V2）转换为将多级别特征聚合到单个激活图，其中提出了一种自适应决策边界（ADB）来帮助训练变换网络。为了便于生成高质量的伪标签，我们提出了一种损失功能来扩大像素之间的特征距离及其手段。在第二阶段，在线标签纠正（OLR）策略在培训过程中更新伪标签，以减少分散的人的负面影响。此外，我们使用两个残余注意模块（RAM）来构造轻量级显着探测器，其使用低级功能中的互补信息，例如边缘和颜色，从而优化高级功能。对几个SOD基准的广泛实验证明，与现有的USOD方法相比，我们的框架报告了显着性能。此外，在3000张图像上培训我们的框架约1小时，比以前的最先进的方法快30倍。

当前的最新显着性检测模型在很大程度上依赖于精确的像素注释的大型数据集，但是手动标记像素是时必的且劳动力密集的。有一些用于减轻该问题的弱监督方法，例如图像标签，边界框标签和涂鸦标签，而在该领域仍未探索点标签。在本文中，我们提出了一种使用点监督的新型弱监督的显着对象检测方法。为了推断显着性图，我们首先设计了一种自适应掩盖洪水填充算法以生成伪标签。然后，我们开发了一个基于变压器的点保护显着性检测模型，以产生第一轮显着图。但是，由于标签的稀疏性，弱监督模型倾向于退化为一般​​的前景检测模型。为了解决这个问题，我们提出了一种非征服方法（NSS）方法，以优化第一轮中产生的错误显着图，并利用它们进行第二轮训练。此外，我们通过重新标记DUTS数据集来构建一个新的监督数据集（P-DUTS）。在p-duts中，每个显着对象只有一个标记点​​。在五个最大基准数据集上进行的全面实验表明，我们的方法的表现优于先前的最先进方法，该方法接受了更强的监督，甚至超过了几种完全监督的最先进模型。该代码可在以下网址获得：https：//github.com/shuyonggao/psod。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

弱监督的突出物体检测（WSOD）仅使用低成本注释训练基于CNNS的显着性网络的目标。现有的WSOD方法采用各种技术来从低成本注释追求单一的“高质量”伪标签，然后开发其显着网络。虽然这些方法实现了良好的性能，但是所产生的单个标签不可避免地受到采用的细化算法的影响，并且显示了偏见的特征，这进一步影响了显着网络。在这项工作中，我们介绍了一个新的多伪标签框架，以从多个标签集成更全面和准确的显着性提示，避免上述问题。具体地，我们提出了一种多滤波器指令网络（MFNET），包括显着网络以及多个指令滤波器。指令过滤器（DF）旨在从嘈杂的伪标签中提取和过滤更准确的显着性提示。然后，来自多个DF的多个精确的线索随着多引导损耗同时传播到显着网络。在四个度量标准的五个数据集上进行了广泛的实验表明我们的方法优于所有现有的基础方法。此外，还值得注意的是，我们的框架足够灵活，适用于现有方法并提高其性能。

突出对象检测在许多下游任务中发挥着重要作用。然而，复杂的现实世界场景具有不同尺度和突出对象的数量仍然构成挑战。在本文中，我们直接解决了在复杂场景中检测多个突出对象的问题。我们提出了一种在空间和频道空间中的非本地特征信息的网络架构，捕获单独对象之间的远程依赖性。传统的自下而上和非本地特征与特征融合门中的边缘特性相结合，逐渐改进解码器中的突出物体预测。我们表明，即使在复杂的情况下，我们的方法也可以准确地定位多个突出区域。为了证明我们对多个突出对象问题的方法的功效，我们策划仅包含多个突出对象的新数据集。我们的实验证明了所提出的方法在没有任何预处理和后处理的情况下展示了五种广泛使用的数据集的最新结果。我们在我们的多对象数据集中获得了对竞争技术的进一步绩效改进。数据集和源代码是可用的：https://github.com/ericdengbowen/dslrdnet。