低光图像增强旨在提高图像的可见性，同时保持其视觉自然。与现有方法不同，倾向于直接通过忽略保真度和自然恢复来完成致密任务，我们调查内在的退化和赖光图像，同时改进细节和颜色两步。灵感来自彩色图像配方（漫反射颜色加环境照明颜色），我们首先估计低光输入的劣化，以模拟环境照明颜色的失真，然后优化内容以恢复漫反射照明颜色的损失。为此，我们提出了一种新的劣化到精炼生成网络（DRGN）。其独特的特点可以总结为1）一种新型的两步生成网络，用于降解学习和内容细化。它不仅优于一步法，还能够合成足够的配对样本来利用模型培训; 2）多分辨率融合网络以多规模的协作方式表示目标信息（劣化或内容），这更有效地解决复杂的解密问题。关于增强任务和联合检测任务的广泛实验已经验证了我们提出的方法的有效性和效率，分别超过了SOTA \ Texit {0.70dB平均值和地图}。代码可用于\ URL {https://github.com/kuijiang0802/drgn}。

卷积神经网络（CNN）和变压器在多媒体应用中取得了巨大成功。但是，几乎没有努力有效，有效地协调这两个架构以满足图像的范围。本文旨在统一这两种架构，以利用其学习优点来降低图像。特别是，CNN的局部连通性和翻译等效性以及变压器中自我注意力（SA）的全球聚合能力被完全利用用于特定的局部环境和全球结构表示。基于雨水分布揭示降解位置和程度的观察，我们在帮助背景恢复之前引入退化，并因此呈现关联细化方案。提出了一种新型的多输入注意模块（MAM），以将降雨的去除和背景恢复关联。此外，我们为模型配备了有效的深度可分离卷积，以学习特定的特征表示并权衡计算复杂性。广泛的实验表明，我们提出的方法（称为ELF）的表现平均比最先进的方法（MPRNET）优于0.25 dB，但仅占其计算成本和参数的11.7 \％和42.1 \％。源代码可从https://github.com/kuijiang94/magic-elf获得。

基于深度学习的低光图像增强方法通常需要巨大的配对训练数据，这对于在现实世界的场景中捕获是不切实际的。最近，已经探索了无监督的方法来消除对成对训练数据的依赖。然而，由于没有前衣，它们在不同的现实情景中表现得不稳定。为了解决这个问题，我们提出了一种基于先前（HEP）的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察，即直方图均衡增强图像的特征图和地面真理是相似的。具体而言，我们制定了HEP，提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块（LUM），它有助于将低光图像分解为照明和反射率图，并且反射率图可以被视为恢复的图像。然而，基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块（NDM），以解除反射率图中的噪声和内容，具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖，我们的方法可以恢复更精细的细节，更有能力抑制现实世界低光场景中的噪声。广泛的实验表明，我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。

在低灯条件下捕获的图像遭受低可视性和各种成像伪影，例如真实噪音。现有的监督启示算法需要大量的像素对齐的训练图像对，这很难在实践中准备。虽然弱监督或无人监督的方法可以缓解这些挑战，但不使用配对的训练图像，由于缺乏相应的监督，一些现实世界的文物不可避免地被错误地放大。在本文中，而不是使用完美的对齐图像进行培训，我们创造性地使用未对准的现实世界图像作为指导，这很容易收集。具体地，我们提出了一个交叉图像解剖线程（CIDN），以分别提取来自低/常光图像的交叉图像亮度和图像特定内容特征。基于此，CIDN可以同时校正特征域中的亮度和抑制图像伪像，其在很大程度上将鲁棒性增加到像素偏移。此外，我们收集了一个新的低光图像增强数据集，包括具有现实世界腐败的未对准培训图像。实验结果表明，我们的模型在新建议的数据集和其他流行的低光数据集中实现了最先进的表演。

低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。

在不完美亮度条件下采取的照片的视觉质量可以通过多种因素来退化，例如，低亮度，成像噪声，颜色失真等。目前的低灯图像增强型号仅关注较低亮度的改善，或者简单地处理整体的所有退化因子，导致次优性能。在本文中，我们建议将增强模型分成两个顺序阶段。第一阶段侧重于基于像素明智的非线性映射来提高场景可见性。第二阶段专注于通过抑制其余变性因素来改善外观保真度。解耦模型有助于两个方面的增强。一方面，整个低光增强可以分为两个更容易的子组织。第一个只旨在增强可见性。它还有助于弥合低光和常光图像之间的大强度间隙。以这种方式，第二个子摊可以成形为局部外观调整。另一方面，由于从第一阶段学习的参数矩阵意识到亮度分布和场景结构，因此可以作为互补信息结合到第二阶段。在实验中，与其他低光图像增强模型相比，我们的模型在定性和定量比较方面表现出最先进的性能。此外，消融研究还验证了我们模型在多个方面的有效性，例如模型结构和损失功能。训练有素的模型可在https://github.com/hanxuhfut/decoupled-low-light-image-enhancement获得。

摆脱拟合配对训练数据的基本限制，最近无监督的低光增强方法在调整图像的照明和对比度方面表现出色。但是，对于无监督的低光增强，由于缺乏对详细信号的监督而导致的剩余噪声抑制问题在很大程度上阻碍了这些方法在现实世界应用中的广泛部署。在本文中，我们提出了一种新型的自行车相互作用生成对抗网络（CIGAN），以实现无监督的低光图像增强，它不仅能够更好地在低/正常光图像之间更好地传输照明分布，还可以操纵两个域之间的详细信号，例如。 ，在环状增强/降解过程中抑制/合成逼真的噪声。特别是，提出的低光引导转换馈送馈送从增强gan（Egan）发电机的低光图像的特征到降解GAN（DGAN）的发生器。借助真正的弱光图像的信息，DGAN可以在低光图像中综合更逼真的不同照明和对比度。此外，DGAN中的特征随机扰动模块学会了增加特征随机性以产生各种特征分布，从而说服了合成的低光图像以包含逼真的噪声。广泛的实验既证明了所提出的方法的优越性，又证明了每个模块在CIGAN中的有效性。

在弱照明条件下捕获的图像可能会严重降低图像质量。求解一系列低光图像的降解可以有效地提高图像的视觉质量和高级视觉任务的性能。在本研究中，提出了一种新的基于RETINEX的实际网络（R2RNET），用于低光图像增强，其包括三个子网：DECOM-NET，DENOISE-NET和RELIGHT-NET。这三个子网分别用于分解，去噪，对比增强和细节保存。我们的R2RNET不仅使用图像的空间信息来提高对比度，还使用频率信息来保留细节。因此，我们的模型对所有退化的图像进行了更强大的结果。与在合成图像上培训的最先前的方法不同，我们收集了第一个大型现实世界配对的低/普通灯图像数据集（LSRW数据集），以满足培训要求，使我们的模型具有更好的现实世界中的泛化性能场景。对公共数据集的广泛实验表明，我们的方法在定量和视觉上以现有的最先进方法优于现有的现有方法。此外，我们的结果表明，通过使用我们在低光条件下的方法获得的增强的结果，可以有效地改善高级视觉任务（即面部检测）的性能。我们的代码和LSRW数据集可用于：https：//github.com/abcdef2000/r2rnet。

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

由于波长依赖性的光衰减，折射和散射，水下图像通常遭受颜色变形和模糊的细节。然而，由于具有未变形图像的数量有限数量的图像作为参考，培训用于各种降解类型的深度增强模型非常困难。为了提高数据驱动方法的性能，必须建立更有效的学习机制，使得富裕监督来自有限培训的示例资源的信息。在本文中，我们提出了一种新的水下图像增强网络，称为Sguie-net，其中我们将语义信息引入了共享常见语义区域的不同图像的高级指导。因此，我们提出了语义区域 - 明智的增强模块，以感知不同语义区域从多个尺度的劣化，并将其送回从其原始比例提取的全局注意功能。该策略有助于实现不同的语义对象的强大和视觉上令人愉快的增强功能，这应该由于对差异化增强的语义信息的指导应该。更重要的是，对于在训练样本分布中不常见的那些劣化类型，指导根据其语义相关性与已经良好的学习类型连接。对公共数据集的广泛实验和我们拟议的数据集展示了Sguie-Net的令人印象深刻的表现。代码和建议的数据集可用于：https：//trentqq.github.io/sguie-net.html

在低光环境中捕获的图像经常遭受复杂的降级。简单地调整光不可避免地导致隐藏噪声和颜色失真的突发。从退化投入寻求满足的照明，清洁和现实主义的结果​​，这篇论文提出了一种灵感来自分界和规则原则的新颖框架，大大减轻了退化纠缠。假设图像可以被分解成纹理（具有可能的噪声）和颜色分量，可以具体地执行噪声去除和颜色校正以及光调节。为此目的，我们建议将来自RGB空间的图像转换为亮度色度。可调节的噪声抑制网络设计用于消除亮度亮度的噪声，其具有估计的照明图以指示噪声升高水平。增强型亮度进一步用于色度映射器的指导，以产生现实颜色。进行了广泛的实验，揭示了我们设计的有效性，并在几个基准数据集上展示了定量和定性的最先进的替代方案的优势。我们的代码在HTTPS://github.com/mingcv/bread下公开提供。

增强低光图像的质量在许多图像处理和多媒体应用中起着非常重要的作用。近年来，已经开发出各种深入的学习技术来解决这一具有挑战性的任务。典型的框架是同时估计照明和反射率，但它们忽略了在特征空间中封装的场景级上下文信息，从而导致许多不利的结果，例如，细节损失，颜色不饱和，工件等。为了解决这些问题，我们开发了一个新的上下文敏感的分解网络架构，用于利用空间尺度上的场景级上下文依赖项。更具体地说，我们构建了一种双流估计机制，包括反射率和照明估计网络。我们设计一种新的上下文敏感的分解连接来通过结合物理原理来桥接双流机制。进一步构建了空间改变的照明引导，用于实现照明组件的边缘感知平滑性特性。根据不同的培训模式，我们构建CSDNet（配对监督）和CSDGAN（UNS满分监督），以充分评估我们设计的架构。我们在七个测试基准测试中测试我们的方法，以进行大量的分析和评估的实验。由于我们设计的上下文敏感的分解连接，我们成功实现了出色的增强结果，这完全表明我们对现有最先进的方法的优势。最后，考虑到高效的实际需求，我们通过减少通道数来开发轻量级CSDNet（命名为LiteCsdnet）。此外，通过为这两个组件共享编码器，我们获得更轻量级的版本（短路SLITECSDNET）。 SLITECSDNET只包含0.0301M参数，但达到与CSDNET几乎相同的性能。

在现实世界中，具有挑战性的照明条件（低光，不渗透和过度暴露）不仅具有令人不愉快的视觉外观，而且还要污染计算机视觉任务。现有的光自适应方法通常分别处理每种条件。而且，其中大多数经常在原始图像上运行或过度简化相机图像信号处理（ISP）管道。通过将光转换管道分解为局部和全局ISP组件，我们提出了一个轻巧的快速照明自适应变压器（IAT），其中包括两个变压器式分支：本地估计分支和全球ISP分支。尽管本地分支估算与照明有关的像素的本地组件，但全局分支定义了可学习的Quires，可以参加整个图像以解码参数。我们的IAT还可以在各种光条件下同时进行对象检测和语义分割。我们已经在2个低级任务和3个高级任务上对多个现实世界数据集进行了广泛评估。我们的IAT只有90K参数和0.004S处理速度（不包括高级模块），其IAT始终达到了卓越的性能。代码可从https://github.com/cuiziteng/illumination-aptive-transformer获得

多尺度体系结构和注意力模块在许多基于深度学习的图像脱落方法中都显示出有效性。但是，将这两个组件手动设计和集成到神经网络中需要大量的劳动力和广泛的专业知识。在本文中，高性能多尺度的细心神经体系结构搜索（MANAS）框架是技术开发的。所提出的方法为图像脱落任务的最爱的多个灵活模块制定了新的多尺度注意搜索空间。在搜索空间下，建立了多尺度的细胞，该单元被进一步用于构建功能强大的图像脱落网络。通过基于梯度的搜索算法自动搜索脱毛网络的内部多尺度架构，该算法在某种程度上避免了手动设计的艰巨过程。此外，为了获得强大的图像脱落模型，还提出了一种实用有效的多到一对训练策略，以允许去磨损网络从具有相同背景场景的多个雨天图像中获取足够的背景信息，与此同时，共同优化了包括外部损失，内部损失，建筑正则损失和模型复杂性损失在内的多个损失功能，以实现可靠的损伤性能和可控的模型复杂性。对合成和逼真的雨图像以及下游视觉应用（即反对检测和分割）的广泛实验结果始终证明了我们提出的方法的优越性。

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a Hierarchical Interaction Module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

基于对抗性学习的图像抑制方法，由于其出色的性能，已经在计算机视觉中进行了广泛的研究。但是，大多数现有方法对实际情况的质量功能有限，因为它们在相同场景的透明和合成的雾化图像上进行了培训。此外，它们在保留鲜艳的色彩和丰富的文本细节方面存在局限性。为了解决这些问题，我们开发了一个新颖的生成对抗网络，称为整体注意力融合对抗网络（HAAN），用于单个图像。 Haan由Fog2FogFogre块和FogFree2Fog块组成。在每个块中，有三个基于学习的模块，即雾除雾，颜色纹理恢复和雾合成，它们相互限制以生成高质量的图像。 Haan旨在通过学习雾图图像之间的整体通道空间特征相关性及其几个派生图像之间的整体通道空间特征相关性来利用纹理和结构信息的自相似性。此外，在雾合成模块中，我们利用大气散射模型来指导它，以通过新颖的天空分割网络专注于大气光优化来提高生成质量。关于合成和现实世界数据集的广泛实验表明，就定量准确性和主观的视觉质量而言，Haan的表现优于最先进的脱落方法。

派生是一个重要而基本的计算机视觉任务，旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设，这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而，这导致耗时的方法，并影响解决从假设偏离的雨水模式的有效性。在本文中，我们通过在没有复杂的雨水模型假设的情况下，通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地，我们识别通过深网络自适应地预测适当的核的空间变型预测滤波（SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现，因此我们的方法可以显着效率。我们进一步提出了eFderain +，其中包含三个主要贡献来解决残留的雨迹，多尺度和多样化的雨水模式而不会损害效率。首先，我们提出了不确定感知的级联预测滤波（UC-PFILT），其可以通过预测的内核来识别重建清洁像素的困难，并有效地移除残留的雨水迹线。其次，我们设计重量共享多尺度扩张过滤（WS-MS-DFILT），以处理多尺度雨条纹，而不会损害效率。第三，消除各种雨水模式的差距，我们提出了一种新颖的数据增强方法（即Rainmix）来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合，我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.