人类垫子是指从具有高质量的自然图像中提取人类部位，包括人类细节信息，例如头发，眼镜，帽子等。这项技术在电影行业的图像合成和视觉效果中起着至关重要的作用。当绿屏不可用时，现有的人类底漆方法需要其他输入（例如Trimap，背景图像等）或具有较高计算成本和复杂网络结构的模型，这给应用程序带来了很大的困难实践中的人类垫子。为了减轻此类问题，大多数现有方法（例如MODNET）使用多分支为通过细分铺平道路，但是这些方法并未充分利用图像功能，并且仅利用网络的预测结果作为指导信息。因此，我们提出了一个模块来生成前景概率图，并将其添加到MODNET中以获得语义引导的Matting Net（SGM-NET）。在只有一个图像的条件下，我们可以实现人类的效果任务。我们在P3M-10K数据集上验证我们的方法。与基准相比，在各种评估指标中，我们的方法显着改善。

图像垫是指从自然图像中预测未知前景区域的α值。先前的方法集中在传播已知区域到未知区域的α值。但是，并非所有自然图像都有特别已知的前景。透明物体（例如玻璃，烟雾，网络等）的图像具有较少或没有已知的前景图像。在本文中，我们提出了一个基于变压器的网络传输，以模拟具有大型接收场的透明对象。具体而言，我们将三个可学习的三动物重新设计为将先进的语义特征引入自我发项机制。提出了一个小型的卷积网络，以利用全局功能和非背景掩码来指导从编码器到解码器的多尺度特征传播，以维护透明对象的上下文。此外，我们创建了具有小型已知前景区域的透明物体的高分辨率垫子数据集。在几个基准基准上进行的实验证明了我们提出的方法比当前最新方法的优越性。

利用TRIMAP引导和融合多级功能是具有像素级预测的基于Trimap的垫子的两个重要问题。为了利用Trimap指导，大多数现有方法只需将TRIMAPS和图像连接在一起，以馈送深网络或应用额外的网络以提取更多的TRIMAP指导，这符合效率和效率之间的冲突。对于新兴的基于内容的特征融合，大多数现有的消光方法仅关注本地特征，这些功能缺乏与有趣对象相关的强大语义信息的全局功能的指导。在本文中，我们提出了一种由我们的Trimap引导的非背景多尺度池（TMP）模块和全球本地背景信息融合（GLF）模块组成的Trimap-Goided Feats挖掘和融合网络。考虑到Trimap提供强大的语义指导，我们的TMP模块在Trimap的指导下对有趣的对象进行了有效的特征挖掘，而无需额外参数。此外，我们的GLF模块使用我们的TMP模块开采的有趣物体的全局语义信息，以指导有效的全局本地上下文感知多级功能融合。此外，我们建立了一个共同的有趣的物体消光（CIOM）数据集，以推进高质量的图像消光。在组合物-1K测试集，Alphamatting基准和我们的CIOM测试集上的实验结果表明，我们的方法优于最先进的方法。代码和模型将很快公开发布。

在实际的工业生产中，评估钢板焊接效果是一项重要任务，焊接部分的分割是评估的基础。本文提出了一个工业焊接分割网络，基于与热图详细信息指导和图像垫子融合的深度学习语义分割算法，以解决焊接区域的自动分割问题。在现有的语义分割网络中，可以通过融合高级和低级层的特征来保留边界信息。但是，此方法可能导致低级层中空间信息的表达不足，从而导致分割边界定位不准确。我们提出了一个基于热图的详细指导模块，以完全表达低级网络中的分段区域边界信息以解决此问题。具体而言，可以通过添加详细的分支来预测分段边界，然后将其与蒙版标签生成的边界热图匹配以计算均方误差损失，从而增强边界信息的表达。此外，尽管深度学习在语义分割领域取得了巨大的成功，但由于在编码和解码过程中，由于经典分割网络引起的详细信息丢失，分割边界区域的精度并不高。本文介绍了一种矩阵算法，以校准语义分割网络的分割区域的边界以解决此问题。通过许多关于工业焊接数据集的实验，我们证明了我们方法的有效性，MIOU达到97.93％。值得注意的是，这种性能与人的手动细分相当（MIOU 97.96％）。

最近的研究通过将基于Trimap的图像垫子的成功扩展到视频域，在视频垫子上取得了长足进展。在本文中，我们将此任务推向了更实用的设置，并提出了仅使用一个用户宣传的Trimap来强制执行视频底表的单个TRIMAP视频效果网络（OTVM）。 OTVM的一个关键是Trimap传播和α预测的关节建模。从基线构架传播和α预测网络开始，我们的OTVM将两个网络与alpha-Trimap修补模块结合在一起，以促进信息流。我们还提出了一种端到端培训策略，以充分利用联合模型。与先前的解耦方法相比，我们的联合建模极大地提高了三张式传播的时间稳定性。我们在两个最新的视频底变基准测试中评估了我们的模型，深度视频垫子和视频图108，以及优于大量利润率的最先进（MSE改善分别为56.4％和56.7％）。源代码和模型可在线获得：https：//github.com/hongje/otvm。

玻璃在现实世界中非常普遍。受玻璃区域的不确定性以及玻璃背后的各种复杂场景的影响，玻璃的存在对许多计算机视觉任务构成了严重的挑战，从而使玻璃分割成为重要的计算机视觉任务。玻璃没有自己的视觉外观，而只能传输/反映其周围环境的外观，从而与其他常见对象根本不同。为了解决此类具有挑战性的任务，现有方法通常会探索并结合深网络中不同特征级别的有用线索。由于存在级别不同的特征之间的特征差距，即，深层特征嵌入了更多高级语义，并且更好地定位目标对象，而浅层特征具有更大的空间尺寸，并保持更丰富，更详细的低级信息，因此，将这些特征融合到天真的融合将导致亚最佳溶液。在本文中，我们将有效的特征融合到两个步骤中，以朝着精确的玻璃分割。首先，我们试图通过开发可区分性增强（DE）模块来弥合不同级别特征之间的特征差距，该模块使特定于级别的特征成为更具歧视性的表示，从而减轻了融合不兼容的特征。其次，我们设计了一个基于焦点和探索的融合（FEBF）模块，以通过突出显示常见并探索级别差异特征之间的差异，从而在融合过程中丰富挖掘有用的信息。

由于不规则的形状，正常和感染组织之间的各种尺寸和无法区分的边界，仍然是一种具有挑战性的任务，可以准确地在CT图像上进行Covid-19的感染病变。在本文中，提出了一种新的分段方案，用于通过增强基于编码器 - 解码器架构的不同级别的监督信息和融合多尺度特征映射来感染Covid-19。为此，提出了深入的协作监督（共同监督）计划，以指导网络学习边缘和语义的特征。更具体地，首先设计边缘监控模块（ESM），以通过将边缘监督信息结合到初始阶段的下采样的初始阶段来突出显示低电平边界特征。同时，提出了一种辅助语义监督模块（ASSM）来加强通过将掩码监督信息集成到稍后阶段来加强高电平语义信息。然后，通过使用注意机制来扩展高级和低电平特征映射之间的语义间隙，开发了一种注意融合模块（AFM）以融合不同级别的多个规模特征图。最后，在四个各种Covid-19 CT数据集上证明了所提出的方案的有效性。结果表明，提出的三个模块都是有希望的。基于基线（RESUNT），单独使用ESM，ASSM或AFM可以分别将骰子度量增加1.12 \％，1.95 \％，1.63 \％，而在我们的数据集中，通过将三个模型结合在一起可以上升3.97 \％ 。与各个数据集的现有方法相比，所提出的方法可以在某些主要指标中获得更好的分段性能，并可实现最佳的泛化和全面的性能。

自动图像分割技术对于视觉分析至关重要。自动编码器体系结构在各种图像分割任务中具有令人满意的性能。但是，基于卷积神经网络（CNN）的自动编码器似乎在提高语义分割的准确性方面遇到了瓶颈。增加前景和背景之间的类间距离是分割网络的固有特征。但是，分割网络过于关注前景和背景之间的主要视觉差异，而忽略了详细的边缘信息，从而导致边缘分割的准确性降低。在本文中，我们提出了一个基于多任务学习的轻量级端到端细分框架，称为Edge Coasity AutoCododer Network（EAA-NET），以提高边缘细分能力。我们的方法不仅利用分割网络来获得类间特征，而且还采用重建网络来提取前景中的类内特征。我们进一步设计了一个阶层和类间特征融合模块-I2融合模块。 I2融合模块用于合并课内和类间特征，并使用软注意机制去除无效的背景信息。实验结果表明，我们的方法在医疗图像分割任务中的表现良好。 EAA-NET易于实现，并且计算成本较小。

完全监督的显着对象检测（SOD）方法取得了长足的进步，但是这种方法通常依赖大量的像素级注释，这些注释耗时且耗时。在本文中，我们专注于混合标签下的新的弱监督SOD任务，其中监督标签包括传统无监督方法生成的大量粗标签和少量的真实标签。为了解决此任务中标签噪声和数量不平衡问题的问题，我们设计了一个新的管道框架，采用三种复杂的培训策略。在模型框架方面，我们将任务分解为标签细化子任务和显着对象检测子任务，它们相互合作并交替训练。具体而言，R-NET设计为配备有指导和聚合机制的搅拌机的两流编码器模型（BGA），旨在纠正更可靠的伪标签的粗标签，而S-NET是可更换的。由当前R-NET生成的伪标签监督的SOD网络。请注意，我们只需要使用训练有素的S-NET进行测试。此外，为了确保网络培训的有效性和效率，我们设计了三种培训策略，包括替代迭代机制，小组智慧的增量机制和信誉验证机制。五个草皮基准的实验表明，我们的方法在定性和定量上都针对弱监督/无监督/无监督的方法实现了竞争性能。

从医用试剂染色图像中分割牙齿斑块为诊断和确定随访治疗计划提供了宝贵的信息。但是，准确的牙菌斑分割是一项具有挑战性的任务，需要识别牙齿和牙齿斑块受到语义腔区域的影响（即，在牙齿和牙齿斑块之间的边界区域中存在困惑的边界）以及实例形状的复杂变化，这些变化均未完全解决。现有方法。因此，我们提出了一个语义分解网络（SDNET），该网络介绍了两个单任务分支，以分别解决牙齿和牙齿斑块的分割，并设计了其他约束，以学习每个分支的特定类别特征，从而促进语义分解并改善该类别的特征牙齿分割的性能。具体而言，SDNET以分裂方式学习了两个单独的分割分支和牙齿的牙齿，以解除它们之间的纠缠关系。指定类别的每个分支都倾向于产生准确的分割。为了帮助这两个分支更好地关注特定类别的特征，进一步提出了两个约束模块：1）通过最大化不同类别表示之间的距离来学习判别特征表示，以了解判别特征表示形式，以减少减少负面影响关于特征提取的语义腔区域； 2）结构约束模块（SCM）通过监督边界感知的几何约束提供完整的结构信息，以提供各种形状的牙菌斑。此外，我们构建了一个大规模的开源染色牙菌斑分割数据集（SDPSEG），该数据集为牙齿和牙齿提供高质量的注释。 SDPSEG数据集的实验结果显示SDNET达到了最新的性能。

尽管已经开发了疫苗，并且国家疫苗接种率正在稳步提高，但2019年冠状病毒病（COVID-19）仍对世界各地的医疗保健系统产生负面影响。在当前阶段，从CT图像中自动分割肺部感染区域对于诊断和治疗COVID-19至关重要。得益于深度学习技术的发展，已经提出了一些针对肺部感染细分的深度学习解决方案。但是，由于分布分布，复杂的背景干扰和界限模糊，现有模型的准确性和完整性仍然不令人满意。为此，我们在本文中提出了一个边界引导的语义学习网络（BSNET）。一方面，结合顶级语义保存和渐进式语义集成的双分支语义增强模块旨在建模不同的高级特征之间的互补关系，从而促进产生更完整的分割结果。另一方面，提出了镜像对称边界引导模块，以以镜像对称方式准确检测病变区域的边界。公开可用数据集的实验表明，我们的BSNET优于现有的最新竞争对手，并实现了44 fps的实时推理速度。

由于波长依赖性的光衰减，折射和散射，水下图像通常遭受颜色变形和模糊的细节。然而，由于具有未变形图像的数量有限数量的图像作为参考，培训用于各种降解类型的深度增强模型非常困难。为了提高数据驱动方法的性能，必须建立更有效的学习机制，使得富裕监督来自有限培训的示例资源的信息。在本文中，我们提出了一种新的水下图像增强网络，称为Sguie-net，其中我们将语义信息引入了共享常见语义区域的不同图像的高级指导。因此，我们提出了语义区域 - 明智的增强模块，以感知不同语义区域从多个尺度的劣化，并将其送回从其原始比例提取的全局注意功能。该策略有助于实现不同的语义对象的强大和视觉上令人愉快的增强功能，这应该由于对差异化增强的语义信息的指导应该。更重要的是，对于在训练样本分布中不常见的那些劣化类型，指导根据其语义相关性与已经良好的学习类型连接。对公共数据集的广泛实验和我们拟议的数据集展示了Sguie-Net的令人印象深刻的表现。代码和建议的数据集可用于：https：//trentqq.github.io/sguie-net.html

由于复杂且巨大的模型结构，大多数现有的显着对象检测（SOD）模型很难应用。尽管提出了一些轻巧的模型，但准确性几乎不令人满意。在本文中，我们设计了一种新颖的语义引导的上下文融合网络（SCFNET），该网络重点介绍了多层次特征的交互式融合，以进行准确有效的显着对象检测。此外，我们将知识蒸馏应用于SOD任务，并提供相当大的数据集KD-SOD80K。详细说明，我们通过未标记的图像将丰富的知识从经验丰富的老师转移到未经训练的SCFNET，使SCFNET能够学习强大的概括能力，以更准确地检测显着对象。基于知识蒸馏的SCFNET（KDSCFNET）具有与最先进的重量级方法相当的精度，该方法少于1M参数和174 fps实时检测速度。广泛的实验证明了所提出的蒸馏方法和SOD框架的鲁棒性和有效性。代码和数据：https：//github.com/zhangjincv/kd-scfnet。

Image manipulation localization aims at distinguishing forged regions from the whole test image. Although many outstanding prior arts have been proposed for this task, there are still two issues that need to be further studied: 1) how to fuse diverse types of features with forgery clues; 2) how to progressively integrate multistage features for better localization performance. In this paper, we propose a tripartite progressive integration network (TriPINet) for end-to-end image manipulation localization. First, we extract both visual perception information, e.g., RGB input images, and visual imperceptible features, e.g., frequency and noise traces for forensic feature learning. Second, we develop a guided cross-modality dual-attention (gCMDA) module to fuse different types of forged clues. Third, we design a set of progressive integration squeeze-and-excitation (PI-SE) modules to improve localization performance by appropriately incorporating multiscale features in the decoder. Extensive experiments are conducted to compare our method with state-of-the-art image forensics approaches. The proposed TriPINet obtains competitive results on several benchmark datasets.

图像协调旨在根据具体背景修改复合区域的颜色。以前的工作模型是使用Unet系列结构的像素-ID映像转换。然而，模型大小和计算成本限制了模型在边缘设备和更高分辨率图像上的能力。为此，我们首次提出了一种新的空间分离曲线渲染网络（S $ ^ 2 $ CRNET），首次进行高效和高分辨率的图像协调。在S $ ^ 2 $ CRNET中，我们首先将屏蔽前景和背景的缩略图中提取空间分离的嵌入物。然后，我们设计一种曲线渲染模块（CRM），其使用线性层学习并结合空间特定知识，以生成前景区域中的方向曲线映射的参数。最后，我们使用学习的颜色曲线直接渲染原始的高分辨率图像。此外，我们还通过Cascaded-CRM和语义CRM分别进行了两个框架的延伸，分别用于级联细化和语义指导。实验表明，与以前的方法相比，该方法降低了90％以上的参数，但仍然达到了合成的iHarmony4和现实世界DIH测试集的最先进的性能。此外，我们的方法可以在0.1秒内在更高分辨率图像（例如，2048美元\ times2048 $）上顺利工作，而不是所有现有方法的GPU计算资源。代码将在\ url {http://github.com/stefanleong/s2crnet}中提供。

图像颜色协调算法旨在自动匹配在不同条件下捕获的前景图像的颜色分布和背景图像。以前的基于深度学习的模型忽略了两个对于实际应用至关重要的问题，即高分辨率（HR）图像处理和模型的可理解性。在本文中，我们提出了一个新型的深层综合颜色滤波器（DCCF）学习框架，用于高分辨率图像协调。具体而言，DCCF首先将原始输入图像列为其低分辨率（LR）对抗零件，然后以端到端的方式学习四个人类可理解的神经过滤器（即色相，饱和，饱和，价值和细心的渲染过滤器），最终以将这些过滤器应用于原始输入图像以获得统一的结果。从可理解的神经过滤器中受益，我们可以为用户提供一个简单而有效的处理程序，以便用户与Deep Model合作，以便在必要时很少努力获得所需的结果。广泛的实验证明了DCCF学习框架的有效性，并且它在IHARMONY4数据集上的最先进的后处理方法优于图像的全分辨率，分别在MSE和PSNR上实现了7.63％和1.69％的相对改进，从而超过了图像的全分辨率。

伪装的对象检测（COD）旨在检测周围环境的类似模式（例如，纹理，强度，颜色等）的对象，最近吸引了日益增长的研究兴趣。由于伪装对象通常存在非常模糊的边界，如何确定对象位置以及它们的弱边界是具有挑战性的，也是此任务的关键。受到生物视觉感知过程的启发，当人类观察者发现伪装对象时，本文提出了一种名为Errnet的新型边缘的可逆重新校准网络。我们的模型的特点是两种创新设计，即选择性边缘聚集（SEA）和可逆的重新校准单元（RRU），其旨在模拟视觉感知行为，并在潜在的伪装区域和背景之间实现有效的边缘和交叉比较。更重要的是，RRU与现有COD模型相比，具有更全面的信息。实验结果表明，errnet优于三个COD数据集和五个医学图像分割数据集的现有尖端基线。特别是，与现有的Top-1模型SINET相比，ERRNET显着提高了$ \ SIM 6％（平均电子测量）的性能，以显着高速（79.3 FPS），显示ERRNET可能是一般和强大的解决方案COD任务。

Covid-19的传播给世界带来了巨大的灾难，自动分割感染区域可以帮助医生快速诊断并减少工作量。但是，准确和完整的分割面临一些挑战，例如散射的感染区分布，复杂的背景噪声和模糊的分割边界。为此，在本文中，我们提出了一个新的网络，用于从CT图像（名为BCS-NET）的自动covid-19肺部感染分割，该网络考虑了边界，上下文和语义属性。 BCS-NET遵循编码器架构，更多的设计集中在解码器阶段，该阶段包括三个逐渐边界上下文 - 语义重建（BCSR）块。在每个BCSR块中，注意引导的全局上下文（AGGC）模块旨在通过突出显示重要的空间和边界位置并建模全局上下文依赖性来学习解码器最有价值的编码器功能。此外，语义指南（SG）单元通过在中间分辨率上汇总多规模的高级特征来生成语义指南图来完善解码器特征。广泛的实验表明，我们提出的框架在定性和定量上都优于现有竞争对手。

Considerable unsupervised video object segmentation algorithms based on deep learning have the problem of substantive model parameters and computation, which significantly limits the application of the algorithm in practice. This paper proposes a video object segmentation network based on motion guidance, considerably reducing the number of model parameters and computation and improving the video object segmentation performance. The model comprises a dual-stream network, motion guidance module, and multi-scale progressive fusion module. Specifically, RGB images and optical flow estimation are fed into dual-stream network to extract object appearance features and motion features. Then, the motion guidance module extracts the semantic information from the motion features through local attention, which guides the appearance features to learn rich semantic information. Finally, the multi-scale progressive fusion module obtains the output features at each stage of the dual-stream network. It gradually integrates the deep features into the shallow ones yet improves the edge segmentation effect. In this paper, numerous evaluations are conducted on three standard datasets, and the experimental results prove the superior performance of the proposed method.

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。