现有的基于CNNS的RGB-D突出物体检测（SOD）网络全部需要在想象网上预先预先磨削以学习层次结构功能，有助于提供良好的初始化。但是，大规模数据集的收集和注释是耗时和昂贵的。在本文中，我们利用自我监督的表示学习（SSL）来设计两个借口任务：跨模型自动编码器和深度轮廓估计。我们的借口任务只需要几个和未标记的RGB-D数据集来执行预先润廓，这使得网络捕获丰富的语义上下文并降低两个模态之间的间隙，从而为下游任务提供有效的初始化。此外，对于RGB-D SOD中的跨模态融合的固有问题，我们提出了一种一致性差异聚合（CDA）模块，其将单个特征融合分成多路径融合，以实现对一致和差分信息的充分看法。 CDA模块是通用的，适用于跨模型和交叉级别融合。关于六个基准数据集的广泛实验表明，我们的自我监督净化模型对想象成的最先进的方法有利地表现出有利的。源代码将在\ textColor {红色} {\ url {https://github.com/xiaoqi-zhao-dlut/sslsod}}上公开可用。

Benefiting from color independence, illumination invariance and location discrimination attributed by the depth map, it can provide important supplemental information for extracting salient objects in complex environments. However, high-quality depth sensors are expensive and can not be widely applied. While general depth sensors produce the noisy and sparse depth information, which brings the depth-based networks with irreversible interference. In this paper, we propose a novel multi-task and multi-modal filtered transformer (MMFT) network for RGB-D salient object detection (SOD). Specifically, we unify three complementary tasks: depth estimation, salient object detection and contour estimation. The multi-task mechanism promotes the model to learn the task-aware features from the auxiliary tasks. In this way, the depth information can be completed and purified. Moreover, we introduce a multi-modal filtered transformer (MFT) module, which equips with three modality-specific filters to generate the transformer-enhanced feature for each modality. The proposed model works in a depth-free style during the testing phase. Experiments show that it not only significantly surpasses the depth-based RGB-D SOD methods on multiple datasets, but also precisely predicts a high-quality depth map and salient contour at the same time. And, the resulted depth map can help existing RGB-D SOD methods obtain significant performance gain. The source code will be publicly available at https://github.com/Xiaoqi-Zhao-DLUT/MMFT.

神经网络的高计算成本阻止了RGB-D突出物体检测（SOD）的最新成功，从受益现实世界应用。因此，本文介绍了一种新颖的网络，Mobily，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示中的功能较小比麻烦的网络更强大。为此，我们观察到彩色图像的深度信息可以加强与SOD相关的特征表示，如果正确杠杆。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强用于RGB-D SOD的移动网络的特征表示能力。 IDR仅在训练阶段采用并在测试期间省略，因此它是免费的。此外，我们提出了用于有效的多级特征聚合的紧凑金字塔精制（CPR），以获得具有清晰边界的突出对象。与IDR和CPR合并，Mobilesal在六个挑战RGB-D SOD数据集上具有更快的速度（450fps 320 $ 320的输入尺寸为320美元）和更少的参数（6.5米）。代码在https://mmcheng.net/mobilesal发布。

大多数现有的RGB-D突出物体检测方法利用卷积操作并构建复杂的交织融合结构来实现跨模型信息集成。卷积操作的固有局部连接将基于卷积的方法的性能进行了限制到天花板的性能。在这项工作中，我们从全球信息对齐和转换的角度重新思考此任务。具体地，所提出的方法（Transcmd）级联几个跨模型集成单元来构造基于自上而下的变换器的信息传播路径（TIPP）。 Transcmd将多尺度和多模态特征集成作为序列到序列上下文传播和内置于变压器上的更新过程。此外，考虑到二次复杂性W.R.T.输入令牌的数量，我们设计了具有可接受的计算成本的修补程序令牌重新嵌入策略（Ptre）。七个RGB-D SOD基准数据集上的实验结果表明，在配备TIPP时，简单的两流编码器 - 解码器框架可以超越最先进的基于CNN的方法。

培训RGB-D突出物体检测（SOD）的深层模型通常需要大量标记的RGB-D图像。然而，不容易获取RGB-D数据，这限制了RGB-D SOD技术的发展。为了减轻这个问题，我们介绍了双半RGB-D突出物体检测网络（DS-Net），以利用未标记的RGB图像来提高RGB-D显着性检测。我们首先设计了深度去耦卷积神经网络（DDCNN），其包含深度估计分支和显着性检测分支。深度估计分支用RGB-D图像训练，然后用于估计所有未标记的RGB图像的伪深度映射以形成配对数据。显着性检测分支用于熔断RGB特征和深度特征以预测RGB-D显着性。然后，整个DDCNN被分配为师生学生框架中的骨干，用于半监督学习。此外，我们还引入了对未标记数据的中间注意力和显着性图的一致性损失，以及标记数据的监督深度和显着性损失。七种广泛使用的基准数据集上的实验结果表明，我们的DDCNN定量和定性地优于最先进的方法。我们还证明，即使在使用具有伪深度图的RGB图像时，我们的半监控DS-Net也可以进一步提高性能。

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。

RGB-thermal显着对象检测（RGB-T SOD）旨在定位对齐可见的和热红外图像对的共同突出对象，并准确地分割所有属于这些对象的像素。由于对热图像的照明条件不敏感，它在诸如夜间和复杂背景之类的具有挑战性的场景中很有希望。因此，RGB-T SOD的关键问题是使两种方式的功能相互补充并互相调整，因为不可避免的是，由于极端光条件和诸如极端光条件和诸如极端光明条件和热跨界。在本文中，我们提出了一个针对RGB-T SOD的新型镜子互补变压器网络（MCNET）。具体而言，我们将基于变压器的特征提取模块引入RGB和热图像的有效提取分层特征。然后，通过基于注意力的特征相互作用和基于串行的多尺度扩张卷积（SDC）特征融合模块，提出的模型实现了低级特征的互补相互作用以及深度特征的语义融合。最后，基于镜子互补结构，即使是一种模态也可以准确地提取两种方式的显着区域也是无效的。为了证明在现实世界中具有挑战性的场景下提出的模型的鲁棒性，我们基于自动驾驶域中使用的大型公共语义分段RGB-T数据集建立了一种新颖的RGB-T SOD数据集VT723。基准和VT723数据集上的昂贵实验表明，所提出的方法优于最先进的方法，包括基于CNN的方法和基于变压器的方法。该代码和数据集将在稍后在https://github.com/jxr326/swinmcnet上发布。

显着对象检测（SOD）模拟了人类视觉感知系统以在场景中定位最具吸引力的对象，已广泛应用于各种计算机视觉任务。现在，随着深度传感器的出现，可以轻松捕获具有富裕的空间信息的深度图，并有利于提高SOD的性能。尽管在过去几年中提出了各种具有有前途的性能的基于RGB-D的SOD模型，但仍缺乏对这些主题的这些模型和挑战的深入了解。在本文中，我们从各个角度提供了基于RGB-D的SOD模型的全面调查，并详细介绍了相关的基准数据集。此外，考虑到光场还可以提供深度图，我们还从该域中回顾了SOD模型和流行的基准数据集。此外，为了研究现有模型的SOD能力，我们进行了全面的评估，以及基于属性的几种基于RGB-D的SOD模型的评估。最后，我们讨论了基于RGB-D的SOD的几个挑战和开放方向，以供未来的研究。将在https://github.com/taozh2017/rgbdsodsurvey上公开提供所有收集的模型，基准数据集，源代码链接，用于基于属性的评估的数据集以及评估代码

Salient object detection (SOD) focuses on distinguishing the most conspicuous objects in the scene. However, most related works are based on RGB images, which lose massive useful information. Accordingly, with the maturity of thermal technology, RGB-T (RGB-Thermal) multi-modality tasks attain more and more attention. Thermal infrared images carry important information which can be used to improve the accuracy of SOD prediction. To accomplish it, the methods to integrate multi-modal information and suppress noises are critical. In this paper, we propose a novel network called Interactive Context-Aware Network (ICANet). It contains three modules that can effectively perform the cross-modal and cross-scale fusions. We design a Hybrid Feature Fusion (HFF) module to integrate the features of two modalities, which utilizes two types of feature extraction. The Multi-Scale Attention Reinforcement (MSAR) and Upper Fusion (UF) blocks are responsible for the cross-scale fusion that converges different levels of features and generate the prediction maps. We also raise a novel Context-Aware Multi-Supervised Network (CAMSNet) to calculate the content loss between the prediction and the ground truth (GT). Experiments prove that our network performs favorably against the state-of-the-art RGB-T SOD methods.

最近，基于CNN的RGB-D显着对象检测（SOD）在检测准确性方面取得了显着提高。但是，现有模型通常在效率和准确性方面表现良好。这阻碍了他们在移动设备以及许多实际问题上的潜在应用。在本文中，为了弥合RGB-D SOD的轻质和大型模型之间的准确性差距，一个有效的模块可以极大地提高准确性，但提出了很少的计算。受深度质量是影响准确性的关键因素的启发，我们提出了有效的深度质量启发的功能操纵（DQFM）过程，该过程可以根据深度质量动态滤波深度特征。提出的DQFM求助于低级RGB和深度特征的对齐，以及深度流的整体注意力，以明确控制和增强交叉模式融合。我们嵌入了DQFM，以获得一个称为DFM-NET的有效的轻质RGB-D SOD模型，此外，我们还设计了一个定制的深度骨架和两阶段解码器作为基本零件。 9个RGB-D数据集的广泛实验结果表明，我们的DFM-NET优于最近的有效型号，在CPU上以约20 fps的速度运行，仅8.5mb型号大小，同时快2.9/2.4倍，比6.7/3.1倍，小于6.7/3.1倍最新的最佳型号A2DELE和手机。与非效率模型相比，它还保持最先进的准确性。有趣的是，进一步的统计数据和分析验证了DQFM在没有任何质量标签的各种品质的深度图中的能力。最后但并非最不重要的一点是，我们进一步应用DFM-NET来处理视频SOD（VSOD），与最近的有效模型相比，相当的性能，而比该领域的先前最佳状态的速度/2.3倍/小2.3倍。我们的代码可在https://github.com/zwbx/dfm-net上找到。

现有的RGB-D SOD方法主要依赖于对称的两个基于CNN的网络来分别提取RGB和深度通道特征。但是，对称传统网络结构有两个问题：首先，CNN在学习全球环境中的能力是有限的。其次，对称的两流结构忽略了模态之间的固有差异。在本文中，我们提出了一个基于变压器的非对称网络（TANET），以解决上述问题。我们采用了变压器（PVTV2）的强大功能提取能力，从RGB数据中提取全局语义信息，并设计轻巧的CNN骨架（LWDEPTHNET），以从深度数据中提取空间结构信息，而无需预训练。不对称混合编码器（AHE）有效地减少了模型中参数的数量，同时不牺牲性能而增加速度。然后，我们设计了一个跨模式特征融合模块（CMFFM），该模块增强并互相融合了RGB和深度特征。最后，我们将边缘预测添加为辅助任务，并提出一个边缘增强模块（EEM）以生成更清晰的轮廓。广泛的实验表明，我们的方法在六个公共数据集上实现了超过14种最先进的RGB-D方法的卓越性能。我们的代码将在https://github.com/lc012463/tanet上发布。

本文通过控制功能级别的RGB图像和深度图之间的消息，介绍了RGB-D显着对象检测的新型深神经网络框架，并探索有关RGB和深度特征的远程语义上下文和几何信息推断出明显的对象。为了实现这一目标，我们通过图神经网络和可变形的卷积制定动态消息传播（DMP）模块，以动态学习上下文信息，并自动预测消息传播控制的过滤权重和亲和力矩阵。我们将该模块进一步嵌入基于暹罗的网络中，分别处理RGB图像和深度图，并设计多级特征融合（MFF）模块，以探索精制的RGB和深度特征之间的跨级信息。与六个基准数据集上用于RGB-D显着对象检测的17种最先进的方法相比，实验结果表明，我们的方法在定量和视觉上都优于其他所有方法。

随着现代建筑倾向于使用大量玻璃面板，玻璃表面变得越来越无处不在。然而，这对机器人，自动驾驶汽车和无人机等自主系统的运营构成了重大挑战，因为玻璃板可能会成为导航的透明障碍。存在的工作试图利用各种线索，包括玻璃边界上下文或反思，例如先验。但是，它们都是基于输入RGB图像的。我们观察到3D深度传感器光线通过玻璃表面的传输通常会在深度图中产生空白区域，这可以提供其他见解以补充RGB图像特征以进行玻璃表面检测。在本文中，我们通过将RGB-D信息合并到两个新型模块中提出了一个新颖的玻璃表面检测框架：（1）一个跨模式环境挖掘（CCM）模块，以适应从RGB和深度学习个人和相互的上下文特征信息，以及（2）深度失误的注意力（DAA）模块，以明确利用空间位置，在这些空间位置存在缺失的深度以帮助检测玻璃表面的存在。此外，我们提出了一个大规模的RGB-D玻璃表面检测数据集，称为\ textit {RGB-D GSD}，用于RGB-D玻璃表面检测。我们的数据集包含3,009个现实世界的RGB-D玻璃表面图像，并具有精确的注释。广泛的实验结果表明，我们提出的模型优于最先进的方法。

编码器 - 解码器模型已广泛用于RGBD语义分割，并且大多数通过双流网络设计。通常，共同推理RGBD的颜色和几何信息是有益的对语义分割。然而，大多数现有方法都无法全面地利用编码器和解码器中的多模式信息。在本文中，我们提出了一种用于RGBD语义细分的新型关注的双重监督解码器。在编码器中，我们设计一个简单但有效的关注的多模式融合模块，以提取和保险丝深度多级成对的互补信息。要了解更强大的深度表示和丰富的多模态信息，我们介绍了一个双分支解码器，以有效利用不同任务的相关性和互补线。在Nyudv2和Sun-RGBD数据集上的广泛实验表明，我们的方法达到了最先进的方法的卓越性能。

在计算机视觉社区中，从自然场景图像（NSI-SOD）的突出对象检测中取得了巨大进展;相比之下，光学遥感图像（RSI-SOD）中的突出物体检测仍然是一个具有挑战性的新兴主题。光学RSI的独特特性，如尺度，照明和成像方向，在NSI-SOD和RSI-SOD之间带来显着差异。在本文中，我们提出了一种新的多内容互补网络（MCCNet）来探讨RSI-SOD的多个内容的互补性。具体地，MCCNet基于常规编码器解码器架构，并包含一个名为多内容互补模块（MCCM）的新型密钥组件，其桥接编码器和解码器。在MCCM中，我们考虑多种类型的功能对RSI-SOD至关重要的功能，包括前景特征，边缘功能，后台功能和全局图像级别功能，并利用它们之间的内容互补性来突出显示RSI中各种刻度的突出区域通过注意机制的特点。此外，我们全面引入训练阶段的像素级，地图级和公制感知损失。在两个流行的数据集上进行广泛的实验表明，所提出的MCCNet优于23个最先进的方法，包括NSI-SOD和RSI-SOD方法。我们方法的代码和结果可在https://github.com/mathlee/mccnet上获得。

完全监督的显着对象检测（SOD）方法取得了长足的进步，但是这种方法通常依赖大量的像素级注释，这些注释耗时且耗时。在本文中，我们专注于混合标签下的新的弱监督SOD任务，其中监督标签包括传统无监督方法生成的大量粗标签和少量的真实标签。为了解决此任务中标签噪声和数量不平衡问题的问题，我们设计了一个新的管道框架，采用三种复杂的培训策略。在模型框架方面，我们将任务分解为标签细化子任务和显着对象检测子任务，它们相互合作并交替训练。具体而言，R-NET设计为配备有指导和聚合机制的搅拌机的两流编码器模型（BGA），旨在纠正更可靠的伪标签的粗标签，而S-NET是可更换的。由当前R-NET生成的伪标签监督的SOD网络。请注意，我们只需要使用训练有素的S-NET进行测试。此外，为了确保网络培训的有效性和效率，我们设计了三种培训策略，包括替代迭代机制，小组智慧的增量机制和信誉验证机制。五个草皮基准的实验表明，我们的方法在定性和定量上都针对弱监督/无监督/无监督的方法实现了竞争性能。

伪装的对象检测（COD），将其优雅地融合到周围环境中的对象是一项有价值但充满挑战的任务。现有的深度学习方法通常陷入具有完整和精细的对象结构准确识别伪装对象的困难。为此，在本文中，我们提出了一个新颖的边界引导网络（BGNET），以用于伪装对象检测。我们的方法探索了有价值的和额外的对象相关的边缘语义，以指导COD的表示形式学习，这迫使模型生成突出对象结构的特征，从而促进了精确边界定位的伪装对象检测。对三个具有挑战性的基准数据集进行的广泛实验表明，我们的BGNET在四个广泛使用的评估指标下的现有18种最新方法明显优于现有的18种最新方法。我们的代码可在以下网址公开获取：https：//github.com/thograce/bgnet。

RGB-D显着性检测将来自RGB图像和深度图的信息集成在挑战条件下改善突出区域的预测。 RGB-D显着性检测的关键是在两个模态的多个尺度上完全挖掘和保险丝信息。以前的方法倾向于通过本地操作分开应用多尺度和多模态融合，这不能捕获远程依赖性。在这里，我们提出了一个基于变换器的网络来解决这个问题。我们所提出的架构由两个模块组成：基于变换器的模态功能增强模块（TWFEM）和基于变压器的特征融合模块（TFFM）。 TFFM通过同时将特征与来自多个位置的两个模式集成在所有位置上的特征来进行足够的特征融合。 TWFEM通过在TFFM之前的同一模态中选择和集成来自其他刻度的互补信息来增强每种比例的特征。我们表明，变压器是一种统一的操作，它在特征融合和特征增强中具有良好的功效，并简化了模型设计。六个基准数据集的广泛实验结果表明，我们所提出的网络对最先进的RGB-D显着性检测方法表现出有利。

Camouflaged object detection (COD) aims to detect/segment camouflaged objects embedded in the environment, which has attracted increasing attention over the past decades. Although several COD methods have been developed, they still suffer from unsatisfactory performance due to the intrinsic similarities between the foreground objects and background surroundings. In this paper, we propose a novel Feature Aggregation and Propagation Network (FAP-Net) for camouflaged object detection. Specifically, we propose a Boundary Guidance Module (BGM) to explicitly model the boundary characteristic, which can provide boundary-enhanced features to boost the COD performance. To capture the scale variations of the camouflaged objects, we propose a Multi-scale Feature Aggregation Module (MFAM) to characterize the multi-scale information from each layer and obtain the aggregated feature representations. Furthermore, we propose a Cross-level Fusion and Propagation Module (CFPM). In the CFPM, the feature fusion part can effectively integrate the features from adjacent layers to exploit the cross-level correlations, and the feature propagation part can transmit valuable context information from the encoder to the decoder network via a gate unit. Finally, we formulate a unified and end-to-end trainable framework where cross-level features can be effectively fused and propagated for capturing rich context information. Extensive experiments on three benchmark camouflaged datasets demonstrate that our FAP-Net outperforms other state-of-the-art COD models. Moreover, our model can be extended to the polyp segmentation task, and the comparison results further validate the effectiveness of the proposed model in segmenting polyps. The source code and results will be released at https://github.com/taozh2017/FAPNet.

现有的基于深度学习（基于DL的）无监督的显着对象检测（USOD）方法基于传统显着性方法和预处理深网的先验知识，在图像中学习显着信息。但是，这些方法采用了一种简单的学习策略来训练深层网络，因此无法将培训样本的“隐藏”信息正确地纳入学习过程。此外，对于分割对象至关重要的外观信息仅在网络训练过程后用作后处理。为了解决这两个问题，我们提出了一个新颖的外观引导的细心自进度学习框架，以无视显着对象检测。提出的框架将自定进度的学习（SPL）和外观指导集成到统一的学习框架中。具体而言，对于第一期，我们提出了一个细心的自进度学习（ASPL）范式，该范式以有意义的命令组织培训样本，以逐步挖掘更详细的显着性信息。我们的ASPL促进了我们的框架，能够自动产生软关注权重，以纯粹的自学方式衡量训练样本的学习难度。对于第二期，我们提出了一个外观指南模块（AGM），该模块将每个像素作为显着性边界的概率的局部外观对比，并通过最大化概率找到目标对象的潜在边界。此外，我们通过汇总其他模态数据的外观向量，例如深度图，热图像或光流，将框架进一步扩展到其他多模式SOD任务。关于RGB，RGB-D，RGB-T和视频SOD基准的广泛实验证明，我们的框架可以针对现有的USOD方法实现最新性能，并且与最新的监督SOD方法相当。