突出对象检测在许多下游任务中发挥着重要作用。然而，复杂的现实世界场景具有不同尺度和突出对象的数量仍然构成挑战。在本文中，我们直接解决了在复杂场景中检测多个突出对象的问题。我们提出了一种在空间和频道空间中的非本地特征信息的网络架构，捕获单独对象之间的远程依赖性。传统的自下而上和非本地特征与特征融合门中的边缘特性相结合，逐渐改进解码器中的突出物体预测。我们表明，即使在复杂的情况下，我们的方法也可以准确地定位多个突出区域。为了证明我们对多个突出对象问题的方法的功效，我们策划仅包含多个突出对象的新数据集。我们的实验证明了所提出的方法在没有任何预处理和后处理的情况下展示了五种广泛使用的数据集的最新结果。我们在我们的多对象数据集中获得了对竞争技术的进一步绩效改进。数据集和源代码是可用的：https://github.com/ericdengbowen/dslrdnet。

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the topdown pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a 300 × 400 image. Code can be found at http://mmcheng.net/poolnet/.

尽管当前的显着对象检测（SOD）作品已经取得了重大进展，但在预测的显着区域的完整性方面，它们受到限制。我们在微观和宏观水平上定义了完整性的概念。具体而言，在微观层面上，该模型应突出显示属于某个显着对象的所有部分。同时，在宏观层面上，模型需要在给定图像中发现所有显着对象。为了促进SOD的完整性学习，我们设计了一个新颖的完整性认知网络（ICON），该网络探讨了学习强大完整性特征的三个重要组成部分。 1）与现有模型不同，该模型更多地集中在功能可区分性上，我们引入了各种功能集合（DFA）组件，以汇总具有各种接受场（即内核形状和背景）的特征，并增加了功能多样性。这种多样性是挖掘积分显着物体的基础。 2）基于DFA功能，我们引入了一个完整性通道增强（ICE）组件，其目标是增强功能通道，以突出积分显着对象，同时抑制其他分心的对象。 3）提取增强功能后，采用零件整体验证（PWV）方法来确定零件和整个对象特征是否具有很强的一致性。这样的部分协议可以进一步改善每个显着对象的微观完整性。为了证明我们图标的有效性，对七个具有挑战性的基准进行了全面的实验。我们的图标在广泛的指标方面优于基线方法。值得注意的是，我们的图标在六个数据集上的平均假阴影（FNR）（FNR）方面，相对于以前的最佳模型的相对改善约为10％。代码和结果可在以下网址获得：https：//github.com/mczhuge/icon。

玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它，因此可能会产生严重的后果，例如，机器人可能会坠入玻璃墙。但是，感知玻璃的存在并不简单。关键的挑战是，任意物体/场景可以出现在玻璃后面。在本文中，我们提出了一个重要的问题，即从单个RGB图像中检测玻璃表面。为了解决这个问题，我们构建了第一个大规模玻璃检测数据集（GDD），并提出了一个名为GDNet-B的新颖玻璃检测网络，该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成（LCFI）模块并将高级和低级边界特征与边界特征增强（BFE）模块集成在一起。广泛的实验表明，我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务（包括镜像分割和显着对象检测）来进一步验证我们提出的GDNET-B的有效性和概括能力。最后，我们显示了玻璃检测的潜在应用，并讨论了可能的未来研究方向。

现有研究突出物体检测（SOD）对专注于提取与边缘信息的不同对象和聚合多级功能来提高SOD性能。为了实现令人满意的性能，该方法采用精细的边缘信息和低多级差异。然而，不能实现性能增益和计算效率，这有动力研究了我们研究现有编码器解码器结构中的低效率，以避免这种权衡。我们提出了示踪剂，通过结合引导的跟踪模块来检测具有显式边缘的突出物体。我们使用快速傅里叶变换在第一编码器的末尾采用掩蔽边缘注意模块，以将精细边缘信息传播到下游特征提取。在多级聚合阶段，联盟注意力模块识别互补信道和重要的空间信息。为了提高解码器性能和计算效率，我们最大限度地减少了对对象注意模块的解码器块使用。该模块从精细通道和空间表示中提取未检测到的对象和边缘信息。随后，我们提出了一种自适应像素强度损失函数来处理与传统损耗函数不同的像素相对重要的像素，其同样处理所有像素。与13现有方法的比较显示，示踪剂在五个基准数据集上实现了最先进的性能。特别地，追踪性3（TE3）优于LDF，现有方法，同时需要1.8倍的学习参数，更少的时间; TE3速度快5倍。

由于规模和形状的极端复杂性以及预测位置的不确定性，光学遥感图像（RSI-SOD）中的显着对象检测是一项非常困难的任务。现有的SOD方法可以满足自然场景图像的检测性能，但是由于遥感图像中上述图像特性，它们不能很好地适应RSI-SOD。在本文中，我们为光学RSIS中的SOD提出了一个新颖的注意力指导网络（AGNET），包括位置增强阶段和细节细节阶段。具体而言，位置增强阶段由语义注意模块和上下文注意模块组成，以准确描述显着对象的大致位置。细节完善阶段使用提出的自我注册模块在注意力的指导下逐步完善预测结果并逆转注意力。此外，混合损失用于监督网络的培训，这可以从像素，区域和统计数据的三个角度来改善模型的性能。在两个流行的基准上进行的广泛实验表明，与其他最先进的方法相比，AGNET可以达到竞争性能。该代码将在https://github.com/nuaayh/agnet上找到。

全球和本地环境显着有助于显着对象检测（SOD）中预测的完整性。不幸的是，现有的方法仍然难以生成完整的预测，并提供细节。常规方法中有两个主要问题：首先，对于全球环境，高级CNN的编码器功能无法有效地捕获长期依赖性，从而导致不完整的预测。其次，将地面真相的采样降低以适应预测的规模，因为在插值或合并过程中丢失了地面真相细节，因此会引起不准确性。因此，在这项工作中，我们开发了一个基于变压器的网络，并构成了分支机构的监督任务，以明确学习全局上下文信息。此外，我们采用从超级分辨率（SR）的像素随机散发，将预测重塑为地面真理的大小，而不是反向。因此，地面真理中的细节没有触及。此外，我们开发了一个两阶段的上下文改进模块（CRM）来融合全局上下文，并自动在预测中找到和完善本地细节。拟议的网络可以根据生成的全局和本地上下文（因此被命名为自我精制的变压器）（自我改革）指导和纠正自身。五个基准数据集的广泛实验和评估结果证明了网络的出色性能，我们实现了最新的技术。

RGB-D显着性检测将来自RGB图像和深度图的信息集成在挑战条件下改善突出区域的预测。 RGB-D显着性检测的关键是在两个模态的多个尺度上完全挖掘和保险丝信息。以前的方法倾向于通过本地操作分开应用多尺度和多模态融合，这不能捕获远程依赖性。在这里，我们提出了一个基于变换器的网络来解决这个问题。我们所提出的架构由两个模块组成：基于变换器的模态功能增强模块（TWFEM）和基于变压器的特征融合模块（TFFM）。 TFFM通过同时将特征与来自多个位置的两个模式集成在所有位置上的特征来进行足够的特征融合。 TWFEM通过在TFFM之前的同一模态中选择和集成来自其他刻度的互补信息来增强每种比例的特征。我们表明，变压器是一种统一的操作，它在特征融合和特征增强中具有良好的功效，并简化了模型设计。六个基准数据集的广泛实验结果表明，我们所提出的网络对最先进的RGB-D显着性检测方法表现出有利。

Camouflaged object detection (COD) aims to detect/segment camouflaged objects embedded in the environment, which has attracted increasing attention over the past decades. Although several COD methods have been developed, they still suffer from unsatisfactory performance due to the intrinsic similarities between the foreground objects and background surroundings. In this paper, we propose a novel Feature Aggregation and Propagation Network (FAP-Net) for camouflaged object detection. Specifically, we propose a Boundary Guidance Module (BGM) to explicitly model the boundary characteristic, which can provide boundary-enhanced features to boost the COD performance. To capture the scale variations of the camouflaged objects, we propose a Multi-scale Feature Aggregation Module (MFAM) to characterize the multi-scale information from each layer and obtain the aggregated feature representations. Furthermore, we propose a Cross-level Fusion and Propagation Module (CFPM). In the CFPM, the feature fusion part can effectively integrate the features from adjacent layers to exploit the cross-level correlations, and the feature propagation part can transmit valuable context information from the encoder to the decoder network via a gate unit. Finally, we formulate a unified and end-to-end trainable framework where cross-level features can be effectively fused and propagated for capturing rich context information. Extensive experiments on three benchmark camouflaged datasets demonstrate that our FAP-Net outperforms other state-of-the-art COD models. Moreover, our model can be extended to the polyp segmentation task, and the comparison results further validate the effectiveness of the proposed model in segmenting polyps. The source code and results will be released at https://github.com/taozh2017/FAPNet.

在计算机视觉社区中，从自然场景图像（NSI-SOD）的突出对象检测中取得了巨大进展;相比之下，光学遥感图像（RSI-SOD）中的突出物体检测仍然是一个具有挑战性的新兴主题。光学RSI的独特特性，如尺度，照明和成像方向，在NSI-SOD和RSI-SOD之间带来显着差异。在本文中，我们提出了一种新的多内容互补网络（MCCNet）来探讨RSI-SOD的多个内容的互补性。具体地，MCCNet基于常规编码器解码器架构，并包含一个名为多内容互补模块（MCCM）的新型密钥组件，其桥接编码器和解码器。在MCCM中，我们考虑多种类型的功能对RSI-SOD至关重要的功能，包括前景特征，边缘功能，后台功能和全局图像级别功能，并利用它们之间的内容互补性来突出显示RSI中各种刻度的突出区域通过注意机制的特点。此外，我们全面引入训练阶段的像素级，地图级和公制感知损失。在两个流行的数据集上进行广泛的实验表明，所提出的MCCNet优于23个最先进的方法，包括NSI-SOD和RSI-SOD方法。我们方法的代码和结果可在https://github.com/mathlee/mccnet上获得。

伪装的对象检测（COD）旨在识别自然场景中隐藏自己的物体。准确的COD遭受了许多与低边界对比度有关的挑战，并且对象出现（例如对象大小和形状）的较大变化。为了应对这些挑战，我们提出了一种新颖的背景感知跨层次融合网络（C2F-net），该网络融合了上下文感知的跨级特征，以准确识别伪装的对象。具体而言，我们通过注意力诱导的跨融合模块（ACFM）来计算来自多级特征的内容丰富的注意系数，该模块（ACFM）进一步在注意系数的指导下进一步集成了特征。然后，我们提出了一个双分支全局上下文模块（DGCM），以通过利用丰富的全球上下文信息来完善内容丰富的功能表示的融合功能。多个ACFM和DGCM以级联的方式集成，以产生高级特征的粗略预测。粗糙的预测充当了注意力图，以完善低级特征，然后再将其传递到我们的伪装推断模块（CIM）以生成最终预测。我们对三个广泛使用的基准数据集进行了广泛的实验，并将C2F-NET与最新模型（SOTA）模型进行比较。结果表明，C2F-NET是一种有效的COD模型，并且表现出明显的SOTA模型。此外，对息肉细分数据集的评估证明了我们在COD下游应用程序中C2F-NET的有希望的潜力。我们的代码可在以下网址公开获取：https：//github.com/ben57882/c2fnet-tscvt。

Deep Convolutional Neural Networks have been adopted for salient object detection and achieved the state-of-the-art performance. Most of the previous works however focus on region accuracy but not on the boundary quality. In this paper, we propose a predict-refine architecture, BASNet, and a new hybrid loss for Boundary-Aware Salient object detection. Specifically, the architecture is composed of a densely supervised Encoder-Decoder network and a residual refinement module, which are respectively in charge of saliency prediction and saliency map refinement. The hybrid loss guides the network to learn the transformation between the input image and the ground truth in a three-level hierarchy -pixel-, patch-and map-level -by fusing Binary Cross Entropy (BCE), Structural SIMilarity (SSIM) and Intersectionover-Union (IoU) losses. Equipped with the hybrid loss, the proposed predict-refine architecture is able to effectively segment the salient object regions and accurately predict the fine structures with clear boundaries. Experimental results on six public datasets show that our method outperforms the state-of-the-art methods both in terms of regional and boundary evaluation measures. Our method runs at over 25 fps on a single GPU. The code is available at: https://github.com/NathanUA/BASNet.

本文通过控制功能级别的RGB图像和深度图之间的消息，介绍了RGB-D显着对象检测的新型深神经网络框架，并探索有关RGB和深度特征的远程语义上下文和几何信息推断出明显的对象。为了实现这一目标，我们通过图神经网络和可变形的卷积制定动态消息传播（DMP）模块，以动态学习上下文信息，并自动预测消息传播控制的过滤权重和亲和力矩阵。我们将该模块进一步嵌入基于暹罗的网络中，分别处理RGB图像和深度图，并设计多级特征融合（MFF）模块，以探索精制的RGB和深度特征之间的跨级信息。与六个基准数据集上用于RGB-D显着对象检测的17种最先进的方法相比，实验结果表明，我们的方法在定量和视觉上都优于其他所有方法。

现有的凸起对象检测（SOD）方法主要依赖于基于CNN的U形结构，跳过连接以将全局上下文和局部空间细节分别用于分别用于定位突出对象和精炼对象细节至关重要。尽管取得了巨大成功，但CNN在学习全球背景下的能力是有限的。最近，由于其强大的全球依赖性建模，视觉变压器在计算机愿景中取得了革命性进展。但是，直接将变压器施加到SOD是次优，因为变压器缺乏学习局部空间表示的能力。为此，本文探讨了变压器和CNN的组合，以了解SOD的全球和本地表示。我们提出了一种基于变压器的非对称双侧U-Net（Abiu-net）。非对称双边编码器具有变压器路径和轻质CNN路径，其中两个路径在每个编码器阶段通信，以分别学习互补的全局背景和局部空间细节。非对称双边解码器还由两个路径组成，用于从变压器和CNN编码器路径处理特征，在每个解码器级的通信分别用于解码粗突出对象位置并分别找到粗糙的对象细节。两个编码器/解码器路径之间的这种通信使ABIU-Net能够分别利用变压器和CNN的自然特性来学习互补的全局和局部表示。因此，Abiu-Net为基于变压器的SOD提供了一种新的视角。广泛的实验表明，ABIU-NET对以前的最先进的SOD方法表现出有利。代码将被释放。

Salient object detection (SOD) aims to determine the most visually attractive objects in an image. With the development of virtual reality technology, 360{\deg} omnidirectional image has been widely used, but the SOD task in 360{\deg} omnidirectional image is seldom studied due to its severe distortions and complex scenes. In this paper, we propose a Multi-Projection Fusion and Refinement Network (MPFR-Net) to detect the salient objects in 360{\deg} omnidirectional image. Different from the existing methods, the equirectangular projection image and four corresponding cube-unfolding images are embedded into the network simultaneously as inputs, where the cube-unfolding images not only provide supplementary information for equirectangular projection image, but also ensure the object integrity of the cube-map projection. In order to make full use of these two projection modes, a Dynamic Weighting Fusion (DWF) module is designed to adaptively integrate the features of different projections in a complementary and dynamic manner from the perspective of inter and intra features. Furthermore, in order to fully explore the way of interaction between encoder and decoder features, a Filtration and Refinement (FR) module is designed to suppress the redundant information between the feature itself and the feature. Experimental results on two omnidirectional datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both qualitatively and quantitatively.

现有的RGB-D SOD方法主要依赖于对称的两个基于CNN的网络来分别提取RGB和深度通道特征。但是，对称传统网络结构有两个问题：首先，CNN在学习全球环境中的能力是有限的。其次，对称的两流结构忽略了模态之间的固有差异。在本文中，我们提出了一个基于变压器的非对称网络（TANET），以解决上述问题。我们采用了变压器（PVTV2）的强大功能提取能力，从RGB数据中提取全局语义信息，并设计轻巧的CNN骨架（LWDEPTHNET），以从深度数据中提取空间结构信息，而无需预训练。不对称混合编码器（AHE）有效地减少了模型中参数的数量，同时不牺牲性能而增加速度。然后，我们设计了一个跨模式特征融合模块（CMFFM），该模块增强并互相融合了RGB和深度特征。最后，我们将边缘预测添加为辅助任务，并提出一个边缘增强模块（EEM）以生成更清晰的轮廓。广泛的实验表明，我们的方法在六个公共数据集上实现了超过14种最先进的RGB-D方法的卓越性能。我们的代码将在https://github.com/lc012463/tanet上发布。

在当前的突出物体检测网络中，最流行的方法是使用U形结构。然而，大量的参数导致更多的计算和存储资源的消耗，无法在有限的存储器设备上部署在有限的存储器设备上不可行。其他一些浅层网络与U形结构相比不会保持相同的精度，并且具有更多参数的深网络结构不会收敛到全球最小损耗，速度很大。为了克服所有这些缺点，我们提出了一种具有三种贡献的新的深度卷积网络架构：（1）使用较小的卷积神经网络（CNN）在我们改进的凸起物体中压缩模型，包括压缩和强化提取模块（ISFCREM）以减少模型的参数。 （2）在ISFCREM中引入信道注意机制，以称量不同的通道，以提高特征表示的能力。 （3）应用新优化器在培训期间累积长期梯度信息，以便自适应地调整学习率。结果表明，该方法几乎可以将模型压缩到原始尺寸的1/3，而不会在与其他模型相比的六个广泛使用的突出物体检测的六个广泛使用的数据集中更快地播放。我们的代码在https://gitee.com/binzhangbinzhangbin/code-a-novel-tentent-based-network-for-fast-salient-object-detection.git

由于透明玻璃与图像中的任意物体相同，大多数现有物体检测方法产生较差的玻璃检测结果。与众不同的基于深度学习的智慧不同，只需使用对象边界作为辅助监督，我们利用标签解耦将原始标记的地图（GT）映射分解为内部扩散图和边界扩散图。与两个新生成的地图合作的GT映射破坏了物体边界的不平衡分布，导致玻璃检测质量改善。我们有三个关键贡献来解决透明的玻璃探测问题：（1）我们提出了一个三流神经网络（短暂的呼叫GlassNet），完全吸收三张地图中的有益功能。 （2）我们设计多尺度交互扩张模块，以探索更广泛的上下文信息。 （3）我们开发了一个基于关注的边界意识的功能拼接模块，用于集成多模态信息。基准数据集的广泛实验表明，在整体玻璃检测精度和边界清晰度方面，在SOTA方面对我们的方法进行了明确的改进。

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。