Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

基于对抗性学习的图像抑制方法，由于其出色的性能，已经在计算机视觉中进行了广泛的研究。但是，大多数现有方法对实际情况的质量功能有限，因为它们在相同场景的透明和合成的雾化图像上进行了培训。此外，它们在保留鲜艳的色彩和丰富的文本细节方面存在局限性。为了解决这些问题，我们开发了一个新颖的生成对抗网络，称为整体注意力融合对抗网络（HAAN），用于单个图像。 Haan由Fog2FogFogre块和FogFree2Fog块组成。在每个块中，有三个基于学习的模块，即雾除雾，颜色纹理恢复和雾合成，它们相互限制以生成高质量的图像。 Haan旨在通过学习雾图图像之间的整体通道空间特征相关性及其几个派生图像之间的整体通道空间特征相关性来利用纹理和结构信息的自相似性。此外，在雾合成模块中，我们利用大气散射模型来指导它，以通过新颖的天空分割网络专注于大气光优化来提高生成质量。关于合成和现实世界数据集的广泛实验表明，就定量准确性和主观的视觉质量而言，Haan的表现优于最先进的脱落方法。

这项工作研究了关节降雨和雾霾清除问题。在现实情况下，雨水和阴霾通常是两个经常共同发生的共同天气现象，可以极大地降低场景图像的清晰度和质量，从而导致视觉应用的性能下降，例如自动驾驶。但是，在场景图像中共同消除雨水和雾霾是艰难而挑战，在那里，阴霾和雨水的存在以及大气光的变化都可以降低现场信息。当前的方法集中在污染部分上，因此忽略了受大气光的变化影响的场景信息的恢复。我们提出了一个新颖的深神经网络，称为不对称双重编码器U-NET（ADU-NET），以应对上述挑战。 ADU-NET既产生污染物残留物，又产生残留的现场，以有效地去除雨水和雾霾，同时保留场景信息的保真度。广泛的实验表明，我们的工作在合成数据和现实世界数据基准（包括RainCityScapes，Bid Rain和Spa-data）的相当大的差距上优于现有的最新方法。例如，我们在RainCityScapes/spa-data上分别将最新的PSNR值提高了2.26/4.57。代码将免费提供给研究社区。

我们提出了一种增强的多尺度网络，被称为GriddehazeNet +，用于单图像脱水。所提出的去吸收方法不依赖于大气散射模型（ASM），并提供为什么不一定执行该模型提供的尺寸减少的原因。 Griddehazenet +由三个模块组成：预处理，骨干和后处理。与手工选定的预处理方法产生的那些导出的输入相比，可训练的预处理模块可以生成具有更好分集和更相关的功能的学习输入。骨干模块实现了两种主要增强功能的多尺度估计：1）一种新颖的网格结构，有效地通过不同尺度的密集连接来减轻瓶颈问题; 2）一种空间通道注意力块，可以通过巩固脱水相关特征来促进自适应融合。后处理模块有助于减少最终输出中的伪像。由于域移位，在合成数据上培训的模型可能在真实数据上概括。为了解决这个问题，我们塑造了合成数据的分布以匹配真实数据的分布，并使用所产生的翻译数据来到Finetune我们的网络。我们还提出了一种新的任务内部知识转移机制，可以记住和利用综合域知识，以协助学习过程对翻译数据。实验结果表明，所提出的方法优于几种合成脱色数据集的最先进，并在FineTuning之后实现了现实世界朦胧图像的优越性。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

Images with haze of different varieties often pose a significant challenge to dehazing. Therefore, guidance by estimates of haze parameters related to the variety would be beneficial and their progressive update jointly with haze reduction will allow effective dehazing. To this end, we propose a multi-network dehazing framework containing novel interdependent dehazing and haze parameter updater networks that operate in a progressive manner. The haze parameters, transmission map and atmospheric light, are first estimated using specific convolutional networks allowing color-cast handling. The estimated parameters are then used to guide our dehazing module, where the estimates are progressively updated by novel convolutional networks. The updating takes place jointly with progressive dehazing by a convolutional network that invokes inter-step dependencies. The joint progressive updating and dehazing gradually modify the haze parameter estimates toward achieving effective dehazing. Through different studies, our dehazing framework is shown to be more effective than image-to-image mapping or predefined haze formation model based dehazing. Our dehazing framework is qualitatively and quantitatively found to outperform the state-of-the-art on synthetic and real-world hazy images of several datasets with varied haze conditions.

深度学习算法最近在自然和合成的多雨数据集中达到了有希望的污染性能。作为必不可少的低级预处理阶段，派威网络应清除雨条纹并保留精细的语义细节。但是，大多数现有方法只考虑低级图像恢复。这限制了它们在需要精确语义信息的高级任务中的表现。为了解决这个问题，在本文中，我们基于对单个图像放置的对比学习来呈现分段感知逐行网络（SAPNET）。我们开始使用具有渐进扩张单元（PDU）的轻量级污染网络（PDU）。 PDU可以显着扩展接收领域，并在没有对多尺度图像上的沉重计算的情况下表征多尺度雨条纹。这项工作的一个基本方面是一个无人监督的背景分割（UBS）网络用Imagenet和高斯权重初始化。瑞银可以忠实地保留图像的语义信息，并改善解释照片的概括能力。此外，我们介绍了一种感知对比丧失（PCL）和学习的感知图像相似性损失（LPIS）来调节模型学习。通过利用雨天图像和地面，作为VGG-16潜在空间中的负片和正样品，我们以完全约束的方式弥合托盘图像和地面的微妙语义细节。综合性和现实世界多雨图像的综合实验显示我们的模型超越了顶级性能的方法，并具有相当大的疗效。 pytorch实现可在https://github.com/shenzheng2000/sapnet-for-image -dering。

在现实世界中，在雾度下拍摄的图像的降解可以是非常复杂的，其中雾度的空间分布从图像变化到图像。最近的方法采用深神经网络直接从朦胧图像中恢复清洁场景。然而，由于悖论由真正捕获的雾霾的变化和当前网络的固定退化参数引起的悖论，最近在真实朦胧的图像上的脱水方法的泛化能力不是理想的。解决现实世界建模问题阴霾退化，我们建议通过对不均匀雾度分布的鉴定和建模密度来解决这个问题。我们提出了一种新颖的可分离混合注意力（SHA）模块来编码雾霾密度，通过捕获正交方向上的特征来实现这一目标。此外，提出了密度图以明确地模拟雾度的不均匀分布。密度图以半监督方式生成位置编码。这种雾度密度感知和建模有效地捕获特征水平的不均匀分布性变性。通过SHA和密度图的合适组合，我们设计了一种新型的脱水网络架构，实现了良好的复杂性性能权衡。两个大规模数据集的广泛实验表明，我们的方法通过量化和定性地通过大幅度超越所有最先进的方法，将最佳发布的PSNR度量从28.53 DB升高到Haze4K测试数据集和在SOTS室内测试数据集中的37.17 dB至38.41 dB。

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。

虽然变压器在各种高级视觉任务中取得了显着性能，但它仍然具有挑战性地利用变压器在图像恢复中的全部潜力。 CRUX在典型的编码器 - 解码器框架中应用了有限的应用变压器，用于图像恢复，从层次的不同深度（尺度）的繁重的自我关注计算负荷和低效通信产生。在本文中，我们为图像恢复提供了一种深度和有效的变换器网络，称为U2-iner，能够使用变压器作为核心操作以在深度编码和解码空间中执行图像恢复。具体地，它利用嵌套的U形结构来促进不同层的不同层的相互作用。此外，我们通过引入要压缩令牌表示的特征过滤机制来优化基本变压器块的计算效率。除了典型的图像恢复方式外，我们的U2-ider还在多个方面进行对比学习，以进一步与背景图像分离噪声分量。对各种图像恢复任务的广泛实验，分别包括反射去除，雨串去除和除去，证明了所提出的U2-inter的有效性。

对比学习在各种高级任务中取得了显着的成功，但是为低级任务提出了较少的方法。采用VANILLA对比学习技术采用直接为低级视觉任务提出的VANILLA对比度学习技术，因为所获得的全局视觉表现不足以用于需要丰富的纹理和上下文信息的低级任务。在本文中，我们提出了一种用于单图像超分辨率（SISR）的新型对比学习框架。我们从两个视角调查基于对比的学习的SISR：样品施工和特征嵌入。现有方法提出了一些天真的样本施工方法（例如，考虑到作为负样本的低质量输入以及作为正样品的地面真理），并且它们采用了先前的模型（例如，预先训练的VGG模型）来获得该特征嵌入而不是探索任务友好的。为此，我们向SISR提出了一个实用的对比学习框架，涉及在频率空间中产生许多信息丰富的正负样本。我们不是利用其他预先训练的网络，我们设计了一种从鉴别器网络继承的简单但有效的嵌入网络，并且可以用主SR网络迭代优化，使其成为任务最通报。最后，我们对我们的方法进行了广泛的实验评估，与基准方法相比，在目前的最先进的SISR方法中显示出高达0.21 dB的显着增益。

图像平滑是一项基本的低级视觉任务，旨在保留图像的显着结构，同时删除微不足道的细节。图像平滑中已经探索了深度学习，以应对语义结构和琐碎细节的复杂纠缠。但是，当前的方法忽略了平滑方面的两个重要事实：1）受限数量的高质量平滑地面真相监督的幼稚像素级回归可能会导致域的转移，并导致对现实世界图像的概括问题； 2）纹理外观与对象语义密切相关，因此图像平滑需要意识到语义差异以应用自适应平滑强度。为了解决这些问题，我们提出了一个新颖的对比语义引导的图像平滑网络（CSGIS-NET），该网络在促进强大的图像平滑之前结合了对比的先验和语义。通过利用不希望的平滑效应作为负面教师，并结合分段任务以鼓励语义独特性来增强监督信号。为了实现所提出的网络，我们还使用纹理增强和平滑标签（即VOC-Smooth）丰富了原始的VOC数据集，它们首先桥接图像平滑和语义分割。广泛的实验表明，所提出的CSGI-NET大量优于最先进的算法。代码和数据集可在https://github.com/wangjie6866/csgis-net上找到。

传统的基于CNNS的脱水模型遭受了两个基本问题：脱水框架（可解释性有限）和卷积层（内容无关，无效地学习远程依赖信息）。在本文中，我们提出了一种新的互补特征增强框架，其中互补特征由几个互补的子任务学习，然后一起用于提高主要任务的性能。新框架的一个突出优势之一是，有目的选择的互补任务可以专注于学习弱依赖性的互补特征，避免重复和无效的网络学习。我们根据这样一个框架设计了一种新的脱瘟网络。具体地，我们选择内在图像分解作为补充任务，其中反射率和阴影预测子任务用于提取色彩和纹理的互补特征。为了有效地聚合这些互补特征，我们提出了一种互补特征选择模块（CFSM），以选择图像脱水的更有用功能。此外，我们介绍了一个名为Hybrid Local-Global Vision变换器（Hylog-Vit）的新版本的Vision变换器块，并将其包含在我们的脱水网络中。 Hylog-VIT块包括用于捕获本地和全球依赖性的本地和全局视觉变压器路径。结果，Hylog-VIT引入网络中的局部性并捕获全局和远程依赖性。在均匀，非均匀和夜间脱水任务上的广泛实验表明，所提出的脱水网络可以实现比基于CNNS的去吸收模型的相当甚至更好的性能。

多尺度体系结构和注意力模块在许多基于深度学习的图像脱落方法中都显示出有效性。但是，将这两个组件手动设计和集成到神经网络中需要大量的劳动力和广泛的专业知识。在本文中，高性能多尺度的细心神经体系结构搜索（MANAS）框架是技术开发的。所提出的方法为图像脱落任务的最爱的多个灵活模块制定了新的多尺度注意搜索空间。在搜索空间下，建立了多尺度的细胞，该单元被进一步用于构建功能强大的图像脱落网络。通过基于梯度的搜索算法自动搜索脱毛网络的内部多尺度架构，该算法在某种程度上避免了手动设计的艰巨过程。此外，为了获得强大的图像脱落模型，还提出了一种实用有效的多到一对训练策略，以允许去磨损网络从具有相同背景场景的多个雨天图像中获取足够的背景信息，与此同时，共同优化了包括外部损失，内部损失，建筑正则损失和模型复杂性损失在内的多个损失功能，以实现可靠的损伤性能和可控的模型复杂性。对合成和逼真的雨图像以及下游视觉应用（即反对检测和分割）的广泛实验结果始终证明了我们提出的方法的优越性。

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a twofaceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

最近的变形金刚和多层Perceptron（MLP）模型的进展为计算机视觉任务提供了新的网络架构设计。虽然这些模型在许多愿景任务中被证明是有效的，但在图像识别之类的愿景中，仍然存在挑战，使他们适应低级视觉。支持高分辨率图像和本地注意力的局限性的不灵活性可能是使用变压器和MLP在图像恢复中的主要瓶颈。在这项工作中，我们介绍了一个多轴MLP基于MARIC的架构，称为Maxim，可用作用于图像处理任务的高效和灵活的通用视觉骨干。 Maxim使用UNET形的分层结构，并支持由空间门控MLP启用的远程交互。具体而言，Maxim包含两个基于MLP的构建块：多轴门控MLP，允许局部和全球视觉线索的高效和可扩展的空间混合，以及交叉栅栏，替代跨关注的替代方案 - 细分互补。这两个模块都仅基于MLP，而且还受益于全局和“全卷积”，两个属性对于图像处理是可取的。我们广泛的实验结果表明，所提出的Maxim模型在一系列图像处理任务中实现了十多个基准的最先进的性能，包括去噪，失败，派热，脱落和增强，同时需要更少或相当的数量参数和拖鞋而不是竞争模型。

基于深度卷积神经网络（CNN）的单图像飞机方法已取得了重大成功。以前的方法致力于通过增加网络的深度和宽度来改善网络的性能。当前的方法着重于增加卷积内核的大小，以通过受益于更大的接受场来增强其性能。但是，直接增加卷积内核的大小会引入大量计算开销和参数。因此，本文设计了一个新型的大内核卷积驱动块（LKD块），该磁带（LKD块）由分解深度大核卷积块（DLKCB）和通道增强的进料前向前网络（CEFN）组成。设计的DLKCB可以将深度大的内核卷积分为较小的深度卷积和深度扩张的卷积，而无需引入大量参数和计算开销。同时，设计的CEFN将通道注意机制纳入馈电网络中，以利用重要的通道并增强鲁棒性。通过组合多个LKD块和上向下的采样模块，可以进行大内核卷积DeHaze网络（LKD-NET）。评估结果证明了设计的DLKCB和CEFN的有效性，而我们的LKD-NET优于最先进的功能。在SOTS室内数据集上，我们的LKD-NET极大地优于基于变压器的方法Dehamer，只有1.79％#PARAM和48.9％的FLOPS。我们的LKD-NET的源代码可在https://github.com/swu-cs-medialab/lkd-net上获得。

在冬季场景中，在雪下拍摄的图像的降解可能非常复杂，其中雪降解的空间分布因图像而异。最近的方法采用深层神经网络，直接从雪图像中恢复清洁的场景。但是，由于复杂的雪降解差异导致悖论，实时实现可靠的高清图像是一个巨大的挑战。我们开发了一种新型有效的金字塔网络，具有非对称编码器架构，用于实时高清图像。我们提出的网络的一般思想是通过功能中的多尺度特征流充分利用多尺度的特征流。与以前最先进的方法相比，我们的方法实现了更好的复杂性 - 性能取舍，并有效地处理了高清和超高清图像的处理困难。在三个大规模图像上进行的广泛实验表明，我们的方法超过了所有最新方法，既有数量又定性地超过了大幅度，从而将PSNR度量从31.76 dB提高到34.10 dB，升至34.10 dB。 SRRS测试数据集上的28.29 dB至30.87 dB。

派生是一个重要而基本的计算机视觉任务，旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设，这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而，这导致耗时的方法，并影响解决从假设偏离的雨水模式的有效性。在本文中，我们通过在没有复杂的雨水模型假设的情况下，通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地，我们识别通过深网络自适应地预测适当的核的空间变型预测滤波（SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现，因此我们的方法可以显着效率。我们进一步提出了eFderain +，其中包含三个主要贡献来解决残留的雨迹，多尺度和多样化的雨水模式而不会损害效率。首先，我们提出了不确定感知的级联预测滤波（UC-PFILT），其可以通过预测的内核来识别重建清洁像素的困难，并有效地移除残留的雨水迹线。其次，我们设计重量共享多尺度扩张过滤（WS-MS-DFILT），以处理多尺度雨条纹，而不会损害效率。第三，消除各种雨水模式的差距，我们提出了一种新颖的数据增强方法（即Rainmix）来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合，我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。