自然图像消光是一个基本和挑战的计算机视觉任务。传统上，该问题被制定为欠暗的问题。由于问题均不含糊，因此需要对数据分布的进一步假设使得摆动良好的问题。对于古典消光方法，通常采用的假设是前景和背景颜色的局部平滑度。然而，对于基于深度学习的焊接方法，没有系统地考虑使用这种假设。在这项工作中，我们考虑了两个局部平滑度假设，可以帮助改善深层图像消光模型。基于本地平滑度假设，我们提出了三种技术，即培训集细化，颜色增强和反向化改进，可以显着提高深度图像消光模型的性能。我们进行实验以检查所提出的算法的有效性。实验结果表明，与现有的消光方法相比，该方法具有良好的性能。

最近的研究通过将基于Trimap的图像垫子的成功扩展到视频域，在视频垫子上取得了长足进展。在本文中，我们将此任务推向了更实用的设置，并提出了仅使用一个用户宣传的Trimap来强制执行视频底表的单个TRIMAP视频效果网络（OTVM）。 OTVM的一个关键是Trimap传播和α预测的关节建模。从基线构架传播和α预测网络开始，我们的OTVM将两个网络与alpha-Trimap修补模块结合在一起，以促进信息流。我们还提出了一种端到端培训策略，以充分利用联合模型。与先前的解耦方法相比，我们的联合建模极大地提高了三张式传播的时间稳定性。我们在两个最新的视频底变基准测试中评估了我们的模型，深度视频垫子和视频图108，以及优于大量利润率的最先进（MSE改善分别为56.4％和56.7％）。源代码和模型可在线获得：https：//github.com/hongje/otvm。

图像垫是指从自然图像中预测未知前景区域的α值。先前的方法集中在传播已知区域到未知区域的α值。但是，并非所有自然图像都有特别已知的前景。透明物体（例如玻璃，烟雾，网络等）的图像具有较少或没有已知的前景图像。在本文中，我们提出了一个基于变压器的网络传输，以模拟具有大型接收场的透明对象。具体而言，我们将三个可学习的三动物重新设计为将先进的语义特征引入自我发项机制。提出了一个小型的卷积网络，以利用全局功能和非背景掩码来指导从编码器到解码器的多尺度特征传播，以维护透明对象的上下文。此外，我们创建了具有小型已知前景区域的透明物体的高分辨率垫子数据集。在几个基准基准上进行的实验证明了我们提出的方法比当前最新方法的优越性。

利用TRIMAP引导和融合多级功能是具有像素级预测的基于Trimap的垫子的两个重要问题。为了利用Trimap指导，大多数现有方法只需将TRIMAPS和图像连接在一起，以馈送深网络或应用额外的网络以提取更多的TRIMAP指导，这符合效率和效率之间的冲突。对于新兴的基于内容的特征融合，大多数现有的消光方法仅关注本地特征，这些功能缺乏与有趣对象相关的强大语义信息的全局功能的指导。在本文中，我们提出了一种由我们的Trimap引导的非背景多尺度池（TMP）模块和全球本地背景信息融合（GLF）模块组成的Trimap-Goided Feats挖掘和融合网络。考虑到Trimap提供强大的语义指导，我们的TMP模块在Trimap的指导下对有趣的对象进行了有效的特征挖掘，而无需额外参数。此外，我们的GLF模块使用我们的TMP模块开采的有趣物体的全局语义信息，以指导有效的全局本地上下文感知多级功能融合。此外，我们建立了一个共同的有趣的物体消光（CIOM）数据集，以推进高质量的图像消光。在组合物-1K测试集，Alphamatting基准和我们的CIOM测试集上的实验结果表明，我们的方法优于最先进的方法。代码和模型将很快公开发布。

人类垫子是指从具有高质量的自然图像中提取人类部位，包括人类细节信息，例如头发，眼镜，帽子等。这项技术在电影行业的图像合成和视觉效果中起着至关重要的作用。当绿屏不可用时，现有的人类底漆方法需要其他输入（例如Trimap，背景图像等）或具有较高计算成本和复杂网络结构的模型，这给应用程序带来了很大的困难实践中的人类垫子。为了减轻此类问题，大多数现有方法（例如MODNET）使用多分支为通过细分铺平道路，但是这些方法并未充分利用图像功能，并且仅利用网络的预测结果作为指导信息。因此，我们提出了一个模块来生成前景概率图，并将其添加到MODNET中以获得语义引导的Matting Net（SGM-NET）。在只有一个图像的条件下，我们可以实现人类的效果任务。我们在P3M-10K数据集上验证我们的方法。与基准相比，在各种评估指标中，我们的方法显着改善。

我们从完全不同的角度解决了不足的α效果问题。给定输入肖像图像，而不是估计相应的alpha哑光，我们专注于另一端，以巧妙地增强此输入，从而可以通过任何现有的均值模型轻松估算α哑光。这是通过探索GAN模型的潜在空间来完成的。可以证明可以在潜在空间中找到可解释的方向，它们对应于语义图像转换。我们在Alpha Matting中进一步探索了此属性。特别是，我们将输入肖像倒入StyleGan的潜在代码中，我们的目的是发现潜在空间中是否有增强版本，该版本与参考垫模型更兼容。我们在四个量身定制的损失下优化了潜在空间中的多尺度潜在媒介，从而确保了肖像画上的底漆特异性和微妙的修改。我们证明了所提出的方法可以为任意床上模型完善真实的肖像图像，从而使自动alpha matting的性能较大。此外，我们还利用了Stylegan的生成性能，并建议生成可以将其视为伪GT的增强的肖像数据。它解决了昂贵的Alpha Matte注释的问题，进一步增强了现有模型的底漆性能。代码可在〜\ url {https://github.com/cnnlstm/stylegan_matting}中获得。

很少有分段旨在学习一个细分模型，该模型可以推广到只有几个培训图像的新课程。在本文中，我们提出了一个交叉引用和局部全球条件网络（CRCNET），以进行几次分割。与以前仅预测查询图像掩码的作品不同，我们提出的模型同时对支持图像和查询图像进行了预测。我们的网络可以更好地在两个图像中使用交叉引用机制找到同时出现的对象，从而有助于少量分割任务。为了进一步改善功能比较，我们开发了一个局部全球条件模块，以捕获全球和本地关系。我们还开发了一个掩模修补模块，以重新完善前景区域的预测。Pascal VOC 2012，MS Coco和FSS-1000数据集的实验表明，我们的网络实现了新的最新性能。

We study the composition style in deep image matting, a notion that characterizes a data generation flow on how to exploit limited foregrounds and random backgrounds to form a training dataset. Prior art executes this flow in a completely random manner by simply going through the foreground pool or by optionally combining two foregrounds before foreground-background composition. In this work, we first show that naive foreground combination can be problematic and therefore derive an alternative formulation to reasonably combine foregrounds. Our second contribution is an observation that matting performance can benefit from a certain occurrence frequency of combined foregrounds and their associated source foregrounds during training. Inspired by this, we introduce a novel composition style that binds the source and combined foregrounds in a definite triplet. In addition, we also find that different orders of foreground combination lead to different foreground patterns, which further inspires a quadruplet-based composition style. Results under controlled experiments on four matting baselines show that our composition styles outperform existing ones and invite consistent performance improvement on both composited and real-world datasets. Code is available at: https://github.com/coconuthust/composition_styles

图像颜色协调算法旨在自动匹配在不同条件下捕获的前景图像的颜色分布和背景图像。以前的基于深度学习的模型忽略了两个对于实际应用至关重要的问题，即高分辨率（HR）图像处理和模型的可理解性。在本文中，我们提出了一个新型的深层综合颜色滤波器（DCCF）学习框架，用于高分辨率图像协调。具体而言，DCCF首先将原始输入图像列为其低分辨率（LR）对抗零件，然后以端到端的方式学习四个人类可理解的神经过滤器（即色相，饱和，饱和，价值和细心的渲染过滤器），最终以将这些过滤器应用于原始输入图像以获得统一的结果。从可理解的神经过滤器中受益，我们可以为用户提供一个简单而有效的处理程序，以便用户与Deep Model合作，以便在必要时很少努力获得所需的结果。广泛的实验证明了DCCF学习框架的有效性，并且它在IHARMONY4数据集上的最先进的后处理方法优于图像的全分辨率，分别在MSE和PSNR上实现了7.63％和1.69％的相对改进，从而超过了图像的全分辨率。

在实际的工业生产中，评估钢板焊接效果是一项重要任务，焊接部分的分割是评估的基础。本文提出了一个工业焊接分割网络，基于与热图详细信息指导和图像垫子融合的深度学习语义分割算法，以解决焊接区域的自动分割问题。在现有的语义分割网络中，可以通过融合高级和低级层的特征来保留边界信息。但是，此方法可能导致低级层中空间信息的表达不足，从而导致分割边界定位不准确。我们提出了一个基于热图的详细指导模块，以完全表达低级网络中的分段区域边界信息以解决此问题。具体而言，可以通过添加详细的分支来预测分段边界，然后将其与蒙版标签生成的边界热图匹配以计算均方误差损失，从而增强边界信息的表达。此外，尽管深度学习在语义分割领域取得了巨大的成功，但由于在编码和解码过程中，由于经典分割网络引起的详细信息丢失，分割边界区域的精度并不高。本文介绍了一种矩阵算法，以校准语义分割网络的分割区域的边界以解决此问题。通过许多关于工业焊接数据集的实验，我们证明了我们方法的有效性，MIOU达到97.93％。值得注意的是，这种性能与人的手动细分相当（MIOU 97.96％）。

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

深度是自治车辆以感知障碍的重要信息。由于价格相对较低，单目一体相机的小尺寸，从单个RGB图像的深度估计引起了对研究界的兴趣。近年来，深神经网络（DNN）的应用已经显着提高了单眼深度估计（MDE）的准确性。最先进的方法通常设计在复杂和极其深的网络架构之上，需要更多的计算资源，而不使用高端GPU实时运行。虽然一些研究人员试图加速运行速度，但深度估计的准确性降低，因为压缩模型不代表图像。另外，现有方法使用的特征提取器的固有特性导致产生的特征图中的严重空间信息丢失，这也损害了小型图像的深度估计的精度。在本研究中，我们有动力设计一种新颖且有效的卷积神经网络（CNN），其连续地组装两个浅编码器解码器样式子网，以解决这些问题。特别是，我们强调MDE准确性和速度之间的权衡。已经在NYU深度V2，Kitti，Make3D和虚幻数据集上进行了广泛的实验。与拥有极其深层和复杂的架构的最先进的方法相比，所提出的网络不仅可以实现可比性的性能，而且在单个不那么强大的GPU上以更快的速度运行。

作为一个常见的图像编辑操作，图像组成旨在将前景从一个图像切割并粘贴在另一个图像上，从而产生复合图像。但是，有许多问题可能使复合图像不现实。这些问题可以总结为前景和背景之间的不一致，包括外观不一致（例如，不兼容的照明），几何不一致（例如不合理的大小）和语义不一致（例如，不匹配的语义上下文）。先前的作品将图像组成任务分为多个子任务，其中每个子任务在一个或多个问题上目标。具体而言，对象放置旨在为前景找到合理的比例，位置和形状。图像混合旨在解决前景和背景之间的不自然边界。图像协调旨在调整前景的照明统计数据。影子生成旨在为前景产生合理的阴影。通过将所有上述努力放在一起，我们可以获取现实的复合图像。据我们所知，以前没有关于图像组成的调查。在本文中，我们对图像组成的子任务进行了全面的调查。对于每个子任务，我们总结了传统方法，基于深度学习的方法，数据集和评估。我们还指出了每个子任务中现有方法的局限性以及整个图像组成任务的问题。图像组合的数据集和代码在https://github.com/bcmi/awesome-image-composition上进行了总结。

在过去的几年中，用于计算机视觉的深度学习技术的快速发展极大地促进了医学图像细分的性能（Mediseg）。但是，最近的梅赛格出版物通常集中于主要贡献的演示（例如，网络体系结构，培训策略和损失功能），同时不知不觉地忽略了一些边缘实施细节（也称为“技巧”），导致了潜在的问题，导致了潜在的问题。不公平的实验结果比较。在本文中，我们为不同的模型实施阶段（即，预培训模型，数据预处理，数据增强，模型实施，模型推断和结果后处理）收集了一系列Mediseg技巧，并在实验中探索了有效性这些技巧在一致的基线模型上。与仅关注分割模型的优点和限制分析的纸驱动调查相比，我们的工作提供了大量的可靠实验，并且在技术上更可操作。通过对代表性2D和3D医疗图像数据集的广泛实验结果，我们明确阐明了这些技巧的效果。此外，根据调查的技巧，我们还开源了一个强大的梅德西格存储库，其每个组件都具有插件的优势。我们认为，这项里程碑的工作不仅完成了对最先进的Mediseg方法的全面和互补的调查，而且还提供了解决未来医学图像处理挑战的实用指南，包括但不限于小型数据集学习，课程不平衡学习，多模式学习和领域适应。该代码已在以下网址发布：https：//github.com/hust-linyi/mediseg

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

尽管近期基于深度学习的语义细分，但远程感测图像的自动建筑检测仍然是一个具有挑战性的问题，由于全球建筑物的出现巨大变化。误差主要发生在构建足迹的边界，阴影区域，以及检测外表面具有与周围区域非常相似的反射率特性的建筑物。为了克服这些问题，我们提出了一种生成的对抗基于网络的基于网络的分割框架，其具有嵌入在发电机中的不确定性关注单元和改进模块。由边缘和反向关注单元组成的细化模块，旨在精炼预测的建筑地图。边缘注意力增强了边界特征，以估计更高的精度，并且反向关注允许网络探索先前估计区域中缺少的功能。不确定性关注单元有助于网络解决分类中的不确定性。作为我们方法的权力的衡量标准，截至2021年12月4日，它在Deepglobe公共领导板上的第二名，尽管我们的方法的主要重点 - 建筑边缘 - 并不完全对齐用于排行榜排名的指标。 DeepGlobe充满挑战数据集的整体F1分数为0.745。我们还报告了对挑战的Inria验证数据集的最佳成绩，我们的网络实现了81.28％的总体验证，总体准确性为97.03％。沿着同一条线，对于官方Inria测试数据集，我们的网络总体上得分77.86％和96.41％，而且准确性。

选择第一次到达的Prestack收集时间被称为首次到达时间（FAT）采摘，这是地震数据处理中必不可少的一步，并且主要是手动解决的。随着当前地震数据收集密度的增加，手动采摘效率无法满足实际需求。因此，近几十年来，自动采摘方法已经大大开发出来，尤其是基于深度学习的方法。但是，当前有监督的基于深度学习的方法很少可以避免对标记样品的依赖。此外，由于收集数据是一组与自然图像大不相同的信号，因此当前方法在低信号与噪声比（SNR）的情况下很难解决脂肪拾取问题。在本文中，对于Hard Rock地震收集数据，我们提出了一个多阶段分割拾取网络（MSSPN），该网络解决了跨工作地点的概括问题以及在低SNR的情况下的采摘问题。在MSSPN中，有四个子模型可以模拟手动采摘处理，从而将其假定为从粗糙到细的四个阶段。具有不同质量的七个现场数据集的实验表明，我们的MSSPN的表现优于大幅度的基准。尤其是，在中等和高snrs的情况下，我们的方法可以实现超过90 \％的精确拾取，甚至精细模型也可以使用低SNR实现88 \％精确的数据集。

解剖标志的本地化对于临床诊断，治疗计划和研究至关重要。在本文中，我们提出了一种新的深网络，名为特征聚合和细化网络（Farnet），用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题，我们的网络采用了在自然图像上预先培训的深网络，因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块，用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块，以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数，用于准确的热爱回归，这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估，包括头部测量射线照片，手射线照片和脊柱射线照相，并在所有三个数据集上实现最先进的性能。代码可用：\ url {https://github.com/juvenileinwind/farnet}

在这项工作中，我们专注于互动人类解析（IHP），旨在将人体形象分成多个人体部位，具有来自用户的相互作用的指导。这项新任务继承了人类解析的类感知属性，其无法通过通常是禁止类别的传统交互式图像分割方法很好地解决。为了解决这项新任务，我们首先利用用户点击以识别给定图像中的不同人为部分。随后将这些点击转换为语义感知的本地化映射，其与RGB图像连接以形成分割网络的输入并生成初始解析结果。为了使网络能够更好地了解用户在校正过程中的目的，我们调查了改进的几个主要方法，并揭示了基于随机采样的点击增强是推广校正效果的最佳方式。此外，我们还提出了一种语义感知损失（SP损失）来增加培训，这可以有效利用点击的语义关系以获得更好的优化。为了最好的知识，这项工作是第一次尝试在交互式设置下解决人类解析任务。我们的IHP解决方案在基准嘴唇上实现了85 \％Miou，Pascal-Person-Part和CiHP，75 \％Miou，只有1.95,3.02,2.84和每班3.09点击的Helen。这些结果表明，我们只需几个人类努力就可以获得高品质的人类解析面具。我们希望这项工作能够激励更多的研究人员在未来为IHP开发数据有效的解决方案。

Data augmentation is a widely used technique for enhancing the generalization ability of convolutional neural networks (CNNs) in image classification tasks. Occlusion is a critical factor that affects on the generalization ability of image classification models. In order to generate new samples, existing data augmentation methods based on information deletion simulate occluded samples by randomly removing some areas in the images. However, those methods cannot delete areas of the images according to their structural features of the images. To solve those problems, we propose a novel data augmentation method, AdvMask, for image classification tasks. Instead of randomly removing areas in the images, AdvMask obtains the key points that have the greatest influence on the classification results via an end-to-end sparse adversarial attack module. Therefore, we can find the most sensitive points of the classification results without considering the diversity of various image appearance and shapes of the object of interest. In addition, a data augmentation module is employed to generate structured masks based on the key points, thus forcing the CNN classification models to seek other relevant content when the most discriminative content is hidden. AdvMask can effectively improve the performance of classification models in the testing process. The experimental results on various datasets and CNN models verify that the proposed method outperforms other previous data augmentation methods in image classification tasks.