光场显着性检测 - 由于许多视力任务中的效用，重要 - 仍然缺乏速度，可以提高准确性。由于在光场中的显着性检测问题作为分割任务或记忆任务，现有方法消耗不必要的大量计算资源进行培训，并且具有更长的测试时间进行测试。我们通过积极地将大型光场图像减少到适当的三声道特征映射的大量三声道特征映射来解决这一点，适合使用RGB图像显着检测器具有注意机制。我们通过引入新的卷积神经网络的特征提取和编码模块来实现这一目标。我们的显着探测器需要0.4美元来处理CPU的9 \ Times9 \ Times512 \ Times375 $的灯田。比最先进的灯场显着性检测器更快，精度更快。此外，与最先进的灯场显着性检测器相比，我们的架构的模型大小显着降低。我们的工作表明，通过侵略性尺寸减小从轻场提取特征，引起注意机构导致较快，准确的光场显着探测器，导致近实时光场处理。

显着对象检测（SOD）模拟了人类视觉感知系统以在场景中定位最具吸引力的对象，已广泛应用于各种计算机视觉任务。现在，随着深度传感器的出现，可以轻松捕获具有富裕的空间信息的深度图，并有利于提高SOD的性能。尽管在过去几年中提出了各种具有有前途的性能的基于RGB-D的SOD模型，但仍缺乏对这些主题的这些模型和挑战的深入了解。在本文中，我们从各个角度提供了基于RGB-D的SOD模型的全面调查，并详细介绍了相关的基准数据集。此外，考虑到光场还可以提供深度图，我们还从该域中回顾了SOD模型和流行的基准数据集。此外，为了研究现有模型的SOD能力，我们进行了全面的评估，以及基于属性的几种基于RGB-D的SOD模型的评估。最后，我们讨论了基于RGB-D的SOD的几个挑战和开放方向，以供未来的研究。将在https://github.com/taozh2017/rgbdsodsurvey上公开提供所有收集的模型，基准数据集，源代码链接，用于基于属性的评估的数据集以及评估代码

培训RGB-D突出物体检测（SOD）的深层模型通常需要大量标记的RGB-D图像。然而，不容易获取RGB-D数据，这限制了RGB-D SOD技术的发展。为了减轻这个问题，我们介绍了双半RGB-D突出物体检测网络（DS-Net），以利用未标记的RGB图像来提高RGB-D显着性检测。我们首先设计了深度去耦卷积神经网络（DDCNN），其包含深度估计分支和显着性检测分支。深度估计分支用RGB-D图像训练，然后用于估计所有未标记的RGB图像的伪深度映射以形成配对数据。显着性检测分支用于熔断RGB特征和深度特征以预测RGB-D显着性。然后，整个DDCNN被分配为师生学生框架中的骨干，用于半监督学习。此外，我们还引入了对未标记数据的中间注意力和显着性图的一致性损失，以及标记数据的监督深度和显着性损失。七种广泛使用的基准数据集上的实验结果表明，我们的DDCNN定量和定性地优于最先进的方法。我们还证明，即使在使用具有伪深度图的RGB图像时，我们的半监控DS-Net也可以进一步提高性能。

本文通过控制功能级别的RGB图像和深度图之间的消息，介绍了RGB-D显着对象检测的新型深神经网络框架，并探索有关RGB和深度特征的远程语义上下文和几何信息推断出明显的对象。为了实现这一目标，我们通过图神经网络和可变形的卷积制定动态消息传播（DMP）模块，以动态学习上下文信息，并自动预测消息传播控制的过滤权重和亲和力矩阵。我们将该模块进一步嵌入基于暹罗的网络中，分别处理RGB图像和深度图，并设计多级特征融合（MFF）模块，以探索精制的RGB和深度特征之间的跨级信息。与六个基准数据集上用于RGB-D显着对象检测的17种最先进的方法相比，实验结果表明，我们的方法在定量和视觉上都优于其他所有方法。

神经网络的高计算成本阻止了RGB-D突出物体检测（SOD）的最新成功，从受益现实世界应用。因此，本文介绍了一种新颖的网络，Mobily，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示中的功能较小比麻烦的网络更强大。为此，我们观察到彩色图像的深度信息可以加强与SOD相关的特征表示，如果正确杠杆。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强用于RGB-D SOD的移动网络的特征表示能力。 IDR仅在训练阶段采用并在测试期间省略，因此它是免费的。此外，我们提出了用于有效的多级特征聚合的紧凑金字塔精制（CPR），以获得具有清晰边界的突出对象。与IDR和CPR合并，Mobilesal在六个挑战RGB-D SOD数据集上具有更快的速度（450fps 320 $ 320的输入尺寸为320美元）和更少的参数（6.5米）。代码在https://mmcheng.net/mobilesal发布。

Saliency detection is one of the most challenging problems in image analysis and computer vision. Many approaches propose different architectures based on the psychological and biological properties of the human visual attention system. However, there is still no abstract framework that summarizes the existing methods. In this paper, we offered a general framework for saliency models, which consists of five main steps: pre-processing, feature extraction, saliency map generation, saliency map combination, and post-processing. Also, we study different saliency models containing each level and compare their performance. This framework helps researchers to have a comprehensive view of studying new methods.

尽管当前的显着对象检测（SOD）作品已经取得了重大进展，但在预测的显着区域的完整性方面，它们受到限制。我们在微观和宏观水平上定义了完整性的概念。具体而言，在微观层面上，该模型应突出显示属于某个显着对象的所有部分。同时，在宏观层面上，模型需要在给定图像中发现所有显着对象。为了促进SOD的完整性学习，我们设计了一个新颖的完整性认知网络（ICON），该网络探讨了学习强大完整性特征的三个重要组成部分。 1）与现有模型不同，该模型更多地集中在功能可区分性上，我们引入了各种功能集合（DFA）组件，以汇总具有各种接受场（即内核形状和背景）的特征，并增加了功能多样性。这种多样性是挖掘积分显着物体的基础。 2）基于DFA功能，我们引入了一个完整性通道增强（ICE）组件，其目标是增强功能通道，以突出积分显着对象，同时抑制其他分心的对象。 3）提取增强功能后，采用零件整体验证（PWV）方法来确定零件和整个对象特征是否具有很强的一致性。这样的部分协议可以进一步改善每个显着对象的微观完整性。为了证明我们图标的有效性，对七个具有挑战性的基准进行了全面的实验。我们的图标在广泛的指标方面优于基线方法。值得注意的是，我们的图标在六个数据集上的平均假阴影（FNR）（FNR）方面，相对于以前的最佳模型的相对改善约为10％。代码和结果可在以下网址获得：https：//github.com/mczhuge/icon。

玻璃在我们的日常生活中非常普遍。现有的计算机视觉系统忽略了它，因此可能会产生严重的后果，例如，机器人可能会坠入玻璃墙。但是，感知玻璃的存在并不简单。关键的挑战是，任意物体/场景可以出现在玻璃后面。在本文中，我们提出了一个重要的问题，即从单个RGB图像中检测玻璃表面。为了解决这个问题，我们构建了第一个大规模玻璃检测数据集（GDD），并提出了一个名为GDNet-B的新颖玻璃检测网络，该网络通过新颖的大型场探索大型视野中的丰富上下文提示上下文特征集成（LCFI）模块并将高级和低级边界特征与边界特征增强（BFE）模块集成在一起。广泛的实验表明，我们的GDNET-B可以在GDD测试集内外的图像上达到满足玻璃检测结果。我们通过将其应用于其他视觉任务（包括镜像分割和显着对象检测）来进一步验证我们提出的GDNET-B的有效性和概括能力。最后，我们显示了玻璃检测的潜在应用，并讨论了可能的未来研究方向。

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

RGB-thermal显着对象检测（RGB-T SOD）旨在定位对齐可见的和热红外图像对的共同突出对象，并准确地分割所有属于这些对象的像素。由于对热图像的照明条件不敏感，它在诸如夜间和复杂背景之类的具有挑战性的场景中很有希望。因此，RGB-T SOD的关键问题是使两种方式的功能相互补充并互相调整，因为不可避免的是，由于极端光条件和诸如极端光条件和诸如极端光明条件和热跨界。在本文中，我们提出了一个针对RGB-T SOD的新型镜子互补变压器网络（MCNET）。具体而言，我们将基于变压器的特征提取模块引入RGB和热图像的有效提取分层特征。然后，通过基于注意力的特征相互作用和基于串行的多尺度扩张卷积（SDC）特征融合模块，提出的模型实现了低级特征的互补相互作用以及深度特征的语义融合。最后，基于镜子互补结构，即使是一种模态也可以准确地提取两种方式的显着区域也是无效的。为了证明在现实世界中具有挑战性的场景下提出的模型的鲁棒性，我们基于自动驾驶域中使用的大型公共语义分段RGB-T数据集建立了一种新颖的RGB-T SOD数据集VT723。基准和VT723数据集上的昂贵实验表明，所提出的方法优于最先进的方法，包括基于CNN的方法和基于变压器的方法。该代码和数据集将在稍后在https://github.com/jxr326/swinmcnet上发布。

无监督的突出物体检测（USOD）对于工业应用和下游任务来说是最重要的意义。基于深度学习（DL）的USOD方法利用多种传统的SOD方法提取的一些低质量的显着性预测，作为显着性提示，主要捕获图像中的一些显着区域。此外，它们通过语义信息的助手优化这些显着性提示，该显着性提示是由其他相关视觉任务中的监督学习训练的一些型号获得的。在这项工作中，我们提出了一种两级激活 - 到显着性（A2S）框架，有效地产生了高质量的显着性提示，并使用这些提示培训强大的耐药性检测器。更重要的是，在整个培训过程中没有人类注释参与我们的框架。在第一阶段中，我们将普雷托网络（MOCO V2）转换为将多级别特征聚合到单个激活图，其中提出了一种自适应决策边界（ADB）来帮助训练变换网络。为了便于生成高质量的伪标签，我们提出了一种损失功能来扩大像素之间的特征距离及其手段。在第二阶段，在线标签纠正（OLR）策略在培训过程中更新伪标签，以减少分散的人的负面影响。此外，我们使用两个残余注意模块（RAM）来构造轻量级显着探测器，其使用低级功能中的互补信息，例如边缘和颜色，从而优化高级功能。对几个SOD基准的广泛实验证明，与现有的USOD方法相比，我们的框架报告了显着性能。此外，在3000张图像上培训我们的框架约1小时，比以前的最先进的方法快30倍。

Benefiting from color independence, illumination invariance and location discrimination attributed by the depth map, it can provide important supplemental information for extracting salient objects in complex environments. However, high-quality depth sensors are expensive and can not be widely applied. While general depth sensors produce the noisy and sparse depth information, which brings the depth-based networks with irreversible interference. In this paper, we propose a novel multi-task and multi-modal filtered transformer (MMFT) network for RGB-D salient object detection (SOD). Specifically, we unify three complementary tasks: depth estimation, salient object detection and contour estimation. The multi-task mechanism promotes the model to learn the task-aware features from the auxiliary tasks. In this way, the depth information can be completed and purified. Moreover, we introduce a multi-modal filtered transformer (MFT) module, which equips with three modality-specific filters to generate the transformer-enhanced feature for each modality. The proposed model works in a depth-free style during the testing phase. Experiments show that it not only significantly surpasses the depth-based RGB-D SOD methods on multiple datasets, but also precisely predicts a high-quality depth map and salient contour at the same time. And, the resulted depth map can help existing RGB-D SOD methods obtain significant performance gain. The source code will be publicly available at https://github.com/Xiaoqi-Zhao-DLUT/MMFT.

Due to object detection's close relationship with video analysis and image understanding, it has attracted much research attention in recent years. Traditional object detection methods are built on handcrafted features and shallow trainable architectures. Their performance easily stagnates by constructing complex ensembles which combine multiple low-level image features with high-level context from object detectors and scene classifiers. With the rapid development in deep learning, more powerful tools, which are able to learn semantic, high-level, deeper features, are introduced to address the problems existing in traditional architectures. These models behave differently in network architecture, training strategy and optimization function, etc. In this paper, we provide a review on deep learning based object detection frameworks. Our review begins with a brief introduction on the history of deep learning and its representative tool, namely Convolutional Neural Network (CNN). Then we focus on typical generic object detection architectures along with some modifications and useful tricks to improve detection performance further. As distinct specific detection tasks exhibit different characteristics, we also briefly survey several specific tasks, including salient object detection, face detection and pedestrian detection. Experimental analyses are also provided to compare various methods and draw some meaningful conclusions. Finally, several promising directions and tasks are provided to serve as guidelines for future work in both object detection and relevant neural network based learning systems.

由于透明玻璃与图像中的任意物体相同，大多数现有物体检测方法产生较差的玻璃检测结果。与众不同的基于深度学习的智慧不同，只需使用对象边界作为辅助监督，我们利用标签解耦将原始标记的地图（GT）映射分解为内部扩散图和边界扩散图。与两个新生成的地图合作的GT映射破坏了物体边界的不平衡分布，导致玻璃检测质量改善。我们有三个关键贡献来解决透明的玻璃探测问题：（1）我们提出了一个三流神经网络（短暂的呼叫GlassNet），完全吸收三张地图中的有益功能。 （2）我们设计多尺度交互扩张模块，以探索更广泛的上下文信息。 （3）我们开发了一个基于关注的边界意识的功能拼接模块，用于集成多模态信息。基准数据集的广泛实验表明，在整体玻璃检测精度和边界清晰度方面，在SOTA方面对我们的方法进行了明确的改进。

We solve the problem of salient object detection by investigating how to expand the role of pooling in convolutional neural networks. Based on the U-shape architecture, we first build a global guidance module (GGM) upon the bottom-up pathway, aiming at providing layers at different feature levels the location information of potential salient objects. We further design a feature aggregation module (FAM) to make the coarse-level semantic information well fused with the fine-level features from the top-down pathway. By adding FAMs after the fusion operations in the topdown pathway, coarse-level features from the GGM can be seamlessly merged with features at various scales. These two pooling-based modules allow the high-level semantic features to be progressively refined, yielding detail enriched saliency maps. Experiment results show that our proposed approach can more accurately locate the salient objects with sharpened details and hence substantially improve the performance compared to the previous state-of-the-arts. Our approach is fast as well and can run at a speed of more than 30 FPS when processing a 300 × 400 image. Code can be found at http://mmcheng.net/poolnet/.

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

在过去的几年中，已经提出了许多深度学习方法来解决从RGB图像分段突出对象的任务。然而，这些方法取决于单个模态，无法实现最先进的性能，以广泛使用的光场突出物体检测（SOD）数据集收集大规模的自然图像并提供多视图等多种模态，微镜头图像和深度图。最近提出的光场SOD方法已经获得了改善的检测精度，但仍然预测粗糙物体的结构并执行慢速推理速度。为此，我们提出了CMA-Net，其中包括两种小型级联的互感模块，旨在融合来自全体焦点和深度的方式的高级功能。我们提出的CMA-Net优于两个SOD方法，在两个广泛应用的光场基准数据集上。此外，所提出的CMA-Net能够以53 FPS的速度推断。广泛的定量和定性实验说明了我们CMA-Net的有效性和效率。

Existing state-of-the-art salient object detection networks rely on aggregating multi-level features of pretrained convolutional neural networks (CNNs). Compared to high-level features, low-level features contribute less to performance but cost more computations because of their larger spatial resolutions. In this paper, we propose a novel Cascaded Partial Decoder (CPD) framework for fast and accurate salient object detection. On the one hand, the framework constructs partial decoder which discards larger resolution features of shallower layers for acceleration. On the other hand, we observe that integrating features of deeper layers obtain relatively precise saliency map. Therefore we directly utilize generated saliency map to refine the features of backbone network. This strategy efficiently suppresses distractors in the features and significantly improves their representation ability. Experiments conducted on five benchmark datasets exhibit that the proposed model not only achieves state-of-the-art performance but also runs much faster than existing models. Besides, the proposed framework is further applied to improve existing multi-level feature aggregation models and significantly improve their efficiency and accuracy.

大多数现有的RGB-D突出物体检测方法利用卷积操作并构建复杂的交织融合结构来实现跨模型信息集成。卷积操作的固有局部连接将基于卷积的方法的性能进行了限制到天花板的性能。在这项工作中，我们从全球信息对齐和转换的角度重新思考此任务。具体地，所提出的方法（Transcmd）级联几个跨模型集成单元来构造基于自上而下的变换器的信息传播路径（TIPP）。 Transcmd将多尺度和多模态特征集成作为序列到序列上下文传播和内置于变压器上的更新过程。此外，考虑到二次复杂性W.R.T.输入令牌的数量，我们设计了具有可接受的计算成本的修补程序令牌重新嵌入策略（Ptre）。七个RGB-D SOD基准数据集上的实验结果表明，在配备TIPP时，简单的两流编码器 - 解码器框架可以超越最先进的基于CNN的方法。

现有的RGB-D SOD方法主要依赖于对称的两个基于CNN的网络来分别提取RGB和深度通道特征。但是，对称传统网络结构有两个问题：首先，CNN在学习全球环境中的能力是有限的。其次，对称的两流结构忽略了模态之间的固有差异。在本文中，我们提出了一个基于变压器的非对称网络（TANET），以解决上述问题。我们采用了变压器（PVTV2）的强大功能提取能力，从RGB数据中提取全局语义信息，并设计轻巧的CNN骨架（LWDEPTHNET），以从深度数据中提取空间结构信息，而无需预训练。不对称混合编码器（AHE）有效地减少了模型中参数的数量，同时不牺牲性能而增加速度。然后，我们设计了一个跨模式特征融合模块（CMFFM），该模块增强并互相融合了RGB和深度特征。最后，我们将边缘预测添加为辅助任务，并提出一个边缘增强模块（EEM）以生成更清晰的轮廓。广泛的实验表明，我们的方法在六个公共数据集上实现了超过14种最先进的RGB-D方法的卓越性能。我们的代码将在https://github.com/lc012463/tanet上发布。