现有的深度学习真正的denoising方法需要大量嘈杂的清洁图像对进行监督。尽管如此，捕获真正的嘈杂清洁数据集是一个不可接受的昂贵且繁琐的程序。为了减轻这个问题，这项工作研究了如何产生现实的嘈杂图像。首先，我们制定了一个简单而合理的噪声模型，该模型将每个真实嘈杂像素视为随机变量。该模型将嘈杂的图像生成问题分为两个子问题：图像域的比对和噪声域对齐。随后，我们提出了一个新颖的框架，即像素级噪声吸引的生成对抗网络（PNGAN）。 PNGAN使用预先训练的真实DeNoiser将伪造和真实的噪声图像映射到几乎无噪声的解决方案空间中，以执行图像域的对齐。同时，PNGAN建立了一个像素级对抗训练，以进行噪声域的比对。此外，为了获得更好的噪声拟合，我们提出了一个有效的体系结构简单的多尺度网络（SMNET）作为发电机。定性验证表明，就强度和分布而言，PNGAN产生的噪声与真实噪声高度相似。定量实验表明，一系列经过生成的嘈杂图像训练的Denoisers在四个真正的Denoising基准测试中获得了最新的（SOTA）结果。代码，预训练模型和结果的一部分可在https://github.com/caiyuanhao1998/pngan上获得比较。

眼科医生已经使用眼底图像筛选和诊断眼病。然而，不同的设备和眼科医生对眼底图像的质量产生了大的变化。低质量（LQ）降级的眼底图像在临床筛查中容易导致不确定性，并且通常会增加误诊的风险。因此，真实的眼底图像恢复值得研究。不幸的是，到目前为止，这项任务尚未探索真正的临床基准。在本文中，我们研究了真正的临床眼底图像恢复问题。首先，我们建立一个临床数据集，真实的眼底（RF），包括120个低质量和高质量（HQ）图像对。然后，我们提出了一种新型的变压器的生成对抗网络（RFRMANER）来恢复临床眼底图像的实际降级。我们网络中的关键组件是基于窗口的自我关注块（WSAB），其捕获非本地自我相似性和远程依赖性。为了产生更明显的令人愉悦的结果，介绍了一种基于变压器的鉴别器。在我们的临床基准测试中的广泛实验表明，所提出的rformer显着优于最先进的（SOTA）方法。此外，诸如船舶分割和光盘/杯子检测之类的下游任务的实验表明我们所提出的rformer益处临床眼底图像分析和应用。将发布数据集，代码和模型。

放映摄像头（UDC）为全屏智能手机提供了优雅的解决方案。但是，由于传感器位于显示屏下，UDC捕获的图像遭受了严重的降解。尽管可以通过图像恢复网络解决此问题，但这些网络需要大规模的图像对进行培训。为此，我们提出了一个模块化网络，称为MPGNET，该网络使用生成对抗网络（GAN）框架来模拟UDC成像。具体而言，我们注意到UDC成像降解过程包含亮度衰减，模糊和噪声损坏。因此，我们将每个降解与特征相关的模块化网络建模，并将所有模块化网络级联成型以形成生成器。加上像素的歧视器和受监督的损失，我们可以训练发电机以模拟UDC成像降解过程。此外，我们提出了一个用于UDC图像恢复的Dwformer的变压器式网络。出于实际目的，我们使用深度卷积而不是多头自我注意力来汇总本地空间信息。此外，我们提出了一个新型的渠道注意模块来汇总全局信息，这对于亮度恢复至关重要。我们对UDC基准进行了评估，我们的方法在P-Oled轨道上超过了先前的最新模型和T-Oled轨道上的0.71 dB。

While deep convolutional neural networks (CNNs) have achieved impressive success in image denoising with additive white Gaussian noise (AWGN), their performance remains limited on real-world noisy photographs. The main reason is that their learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model. In order to improve the generalization ability of deep CNN denoisers, we suggest training a convolutional blind denoising network (CBDNet) with more realistic noise model and real-world noisy-clean image pairs. On the one hand, both signaldependent noise and in-camera signal processing pipeline is considered to synthesize realistic noisy images. On the other hand, real-world noisy photographs and their nearly noise-free counterparts are also included to train our CBD-Net. To further provide an interactive strategy to rectify denoising result conveniently, a noise estimation subnetwork with asymmetric learning to suppress under-estimation of noise level is embedded into CBDNet. Extensive experimental results on three datasets of real-world noisy photographs clearly demonstrate the superior performance of CBDNet over state-of-the-arts in terms of quantitative metrics and visual quality. The code has been made available at https://github.com/GuoShi28/CBDNet.

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

在现实世界中，在雾度下拍摄的图像的降解可以是非常复杂的，其中雾度的空间分布从图像变化到图像。最近的方法采用深神经网络直接从朦胧图像中恢复清洁场景。然而，由于悖论由真正捕获的雾霾的变化和当前网络的固定退化参数引起的悖论，最近在真实朦胧的图像上的脱水方法的泛化能力不是理想的。解决现实世界建模问题阴霾退化，我们建议通过对不均匀雾度分布的鉴定和建模密度来解决这个问题。我们提出了一种新颖的可分离混合注意力（SHA）模块来编码雾霾密度，通过捕获正交方向上的特征来实现这一目标。此外，提出了密度图以明确地模拟雾度的不均匀分布。密度图以半监督方式生成位置编码。这种雾度密度感知和建模有效地捕获特征水平的不均匀分布性变性。通过SHA和密度图的合适组合，我们设计了一种新型的脱水网络架构，实现了良好的复杂性性能权衡。两个大规模数据集的广泛实验表明，我们的方法通过量化和定性地通过大幅度超越所有最先进的方法，将最佳发布的PSNR度量从28.53 DB升高到Haze4K测试数据集和在SOTS室内测试数据集中的37.17 dB至38.41 dB。

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

摆脱拟合配对训练数据的基本限制，最近无监督的低光增强方法在调整图像的照明和对比度方面表现出色。但是，对于无监督的低光增强，由于缺乏对详细信号的监督而导致的剩余噪声抑制问题在很大程度上阻碍了这些方法在现实世界应用中的广泛部署。在本文中，我们提出了一种新型的自行车相互作用生成对抗网络（CIGAN），以实现无监督的低光图像增强，它不仅能够更好地在低/正常光图像之间更好地传输照明分布，还可以操纵两个域之间的详细信号，例如。 ，在环状增强/降解过程中抑制/合成逼真的噪声。特别是，提出的低光引导转换馈送馈送从增强gan（Egan）发电机的低光图像的特征到降解GAN（DGAN）的发生器。借助真正的弱光图像的信息，DGAN可以在低光图像中综合更逼真的不同照明和对比度。此外，DGAN中的特征随机扰动模块学会了增加特征随机性以产生各种特征分布，从而说服了合成的低光图像以包含逼真的噪声。广泛的实验既证明了所提出的方法的优越性，又证明了每个模块在CIGAN中的有效性。

多尺度体系结构和注意力模块在许多基于深度学习的图像脱落方法中都显示出有效性。但是，将这两个组件手动设计和集成到神经网络中需要大量的劳动力和广泛的专业知识。在本文中，高性能多尺度的细心神经体系结构搜索（MANAS）框架是技术开发的。所提出的方法为图像脱落任务的最爱的多个灵活模块制定了新的多尺度注意搜索空间。在搜索空间下，建立了多尺度的细胞，该单元被进一步用于构建功能强大的图像脱落网络。通过基于梯度的搜索算法自动搜索脱毛网络的内部多尺度架构，该算法在某种程度上避免了手动设计的艰巨过程。此外，为了获得强大的图像脱落模型，还提出了一种实用有效的多到一对训练策略，以允许去磨损网络从具有相同背景场景的多个雨天图像中获取足够的背景信息，与此同时，共同优化了包括外部损失，内部损失，建筑正则损失和模型复杂性损失在内的多个损失功能，以实现可靠的损伤性能和可控的模型复杂性。对合成和逼真的雨图像以及下游视觉应用（即反对检测和分割）的广泛实验结果始终证明了我们提出的方法的优越性。

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

作为混合成像技术，光声显微镜（PAM）成像由于激光强度的最大允许暴露，组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法，并且可以恢复PAM图像质量。然而，之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数，导致对不同噪声图像的不令人满意和慢的去噪能，这极大地阻碍了实用和临床应用。在这项工作中，我们提出了一种基于深度学习的方法，可以从PAM图像中除去复杂的噪声，没有数学前导者，并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法，包括幻影（叶静脉）和体内（小鼠耳血管和斑马鱼颜料）实验。结果表明，与先前的PAM去噪方法相比，我们的方法在定性和定量上恢复图像时表现出良好的性能。此外，为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。

随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。

现有的视频denoising方法通常假设嘈杂的视频通过添加高斯噪声从干净的视频中降低。但是，经过这种降解假设训练的深层模型将不可避免地导致由于退化不匹配而导致的真实视频的性能差。尽管一些研究试图在摄像机捕获的嘈杂和无噪声视频对上训练深层模型，但此类模型只能对特定的相机很好地工作，并且对其他视频的推广不佳。在本文中，我们建议提高此限制，并专注于一般真实视频的问题，目的是在看不见的现实世界视频上概括。我们首先调查视频噪音的共同行为来解决这个问题，并观察两个重要特征：1）缩减有助于降低空间空间中的噪声水平； 2）来自相邻框架的信息有助于消除时间上的当前框架的噪声空间。在这两个观察结果的推动下，我们通过充分利用上述两个特征提出了多尺度的复发架构。其次，我们通过随机调整不同的噪声类型来训练Denoising模型来提出合成真实的噪声降解模型。借助合成和丰富的降解空间，我们的退化模型可以帮助弥合训练数据和现实世界数据之间的分布差距。广泛的实验表明，与现有方法相比，我们所提出的方法实现了最先进的性能和更好的概括能力，而在合成高斯denoising和实用的真实视频denoisising方面都具有现有方法。

我们提出了一种增强的多尺度网络，被称为GriddehazeNet +，用于单图像脱水。所提出的去吸收方法不依赖于大气散射模型（ASM），并提供为什么不一定执行该模型提供的尺寸减少的原因。 Griddehazenet +由三个模块组成：预处理，骨干和后处理。与手工选定的预处理方法产生的那些导出的输入相比，可训练的预处理模块可以生成具有更好分集和更相关的功能的学习输入。骨干模块实现了两种主要增强功能的多尺度估计：1）一种新颖的网格结构，有效地通过不同尺度的密集连接来减轻瓶颈问题; 2）一种空间通道注意力块，可以通过巩固脱水相关特征来促进自适应融合。后处理模块有助于减少最终输出中的伪像。由于域移位，在合成数据上培训的模型可能在真实数据上概括。为了解决这个问题，我们塑造了合成数据的分布以匹配真实数据的分布，并使用所产生的翻译数据来到Finetune我们的网络。我们还提出了一种新的任务内部知识转移机制，可以记住和利用综合域知识，以协助学习过程对翻译数据。实验结果表明，所提出的方法优于几种合成脱色数据集的最先进，并在FineTuning之后实现了现实世界朦胧图像的优越性。

最近，基于深度学习的图像降级方法在测试数据上具有与训练集相同的测试数据的有希望的性能，在该数据中，已经学习了基于合成或收集的现实世界训练数据的各种denoising模型。但是，在处理真实世界的嘈杂图像时，Denoising的性能仍然受到限制。在本文中，我们提出了一种简单而有效的贝叶斯深集合（BDE）方法，用于真实世界图像denoising，其中可以融合使用各种训练数据设置进行预训练的几位代表性的深层Denoiser，以提高稳健性。 BDE的基础是，现实世界的图像噪声高度取决于信号依赖性，并且在现实世界中的嘈杂图像中的异质噪声可以由不同的Deoisiser分别处理。特别是，我们将受过良好训练的CBDNET，NBNET，HINET，UFORFORMER和GMSNET进入Denoiser池，并采用U-NET来预测Pixel的加权图以融合这些DeOisiser。引入了贝叶斯深度学习策略，而不是仅仅学习像素的加权地图，而是为了预测加权不确定性和加权图，可以通过该策略来建模预测差异，以改善现实世界中的嘈杂图像的鲁棒性。广泛的实验表明，可以通过融合现有的DINOISER而不是训练一个以昂贵的成本来训练一个大的Denoiser来更好地消除现实世界的噪音。在DND数据集上，我们的BDE实现了 +0.28〜dB PSNR的增益，而不是最先进的denoising方法。此外，我们注意到，在应用于现实世界嘈杂的图像时，基于不同高斯噪声水平的BDE Denoiser优于最先进的CBDNET。此外，我们的BDE可以扩展到其他图像恢复任务，并在基准数据集上获得 +0.30dB， +0.18dB和 +0.12dB PSNR的收益，以分别用于图像去除图像，图像降低和单个图像超级分辨率。

雨是最常见的天气之一，可以完全降低图像质量并干扰许多计算机视觉任务的执行，尤其是在大雨条件下。我们观察到：（i）雨是雨水和雨淋的混合物； （ii）场景的深度决定了雨条的强度以及变成多雨的阴霾的强度； （iii）大多数现有的DERANE方法仅在合成雨图像上进行训练，因此对现实世界的场景概括不佳。在这些观察结果的激励下，我们提出了一种新的半监督，清除降雨生成的对抗网络（半密集），该混合物由四个关键模块组成：（i）新的注意力深度预测网络以提供精确的深度估计； （ii）上下文特征预测网络由几个精心设计的详细残留块组成，以产生详细的图像上下文特征； （iii）金字塔深度引导的非本地网络，以有效地将图像上下文与深度信息整合在一起，并产生最终的无雨图像； （iv）全面的半监督损失函数，使该模型不限于合成数据集，而是平稳地将其概括为现实世界中的大雨场景。广泛的实验表明，在合成和现实世界中，我们的二十多种代表性的最先进的方法对我们的方法进行了明显的改进。

在低灯条件下捕获的图像遭受低可视性和各种成像伪影，例如真实噪音。现有的监督启示算法需要大量的像素对齐的训练图像对，这很难在实践中准备。虽然弱监督或无人监督的方法可以缓解这些挑战，但不使用配对的训练图像，由于缺乏相应的监督，一些现实世界的文物不可避免地被错误地放大。在本文中，而不是使用完美的对齐图像进行培训，我们创造性地使用未对准的现实世界图像作为指导，这很容易收集。具体地，我们提出了一个交叉图像解剖线程（CIDN），以分别提取来自低/常光图像的交叉图像亮度和图像特定内容特征。基于此，CIDN可以同时校正特征域中的亮度和抑制图像伪像，其在很大程度上将鲁棒性增加到像素偏移。此外，我们收集了一个新的低光图像增强数据集，包括具有现实世界腐败的未对准培训图像。实验结果表明，我们的模型在新建议的数据集和其他流行的低光数据集中实现了最先进的表演。

高光谱图像（HSI）重建旨在从编码光圈快照频谱成像（CASSI）系统中的2D测量中恢复3D空间光谱信号。 HSI表示在光谱维度上具有高度相似和相关性。建模频谱间相互作用对HSI重建有益。然而，现有的基于CNN的方法显示了捕获光谱和远程依赖性的限制。此外，HSI信息由CASSI中的编码孔径（物理掩码）调制。尽管如此，目前的算法尚未完全探索掩模的掩模恢复的引导效果。在本文中，我们提出了一种新颖的框架，掩模引导的光谱 - 明智变压器（MST），用于HSI重建。具体地，我们介绍了一种频谱，用于将每个光谱特征视为令牌的频谱 - 明智的多头自我注意（S-MSA）并计算沿光谱尺寸的自我关注。此外，我们自定义一个掩模导向机构（mm），指示S-MSA，以注意具有高保真谱表示的空间区域。广泛的实验表明，我们的MST在模拟和真实HSI数据集上显着优于最先进的（SOTA）方法，同时需要大幅更便宜的计算和内存成本。

Deep Convolutional Neural Networks (DCNNs) have exhibited impressive performance on image super-resolution tasks. However, these deep learning-based super-resolution methods perform poorly in real-world super-resolution tasks, where the paired high-resolution and low-resolution images are unavailable and the low-resolution images are degraded by complicated and unknown kernels. To break these limitations, we propose the Unsupervised Bi-directional Cycle Domain Transfer Learning-based Generative Adversarial Network (UBCDTL-GAN), which consists of an Unsupervised Bi-directional Cycle Domain Transfer Network (UBCDTN) and the Semantic Encoder guided Super Resolution Network (SESRN). First, the UBCDTN is able to produce an approximated real-like LR image through transferring the LR image from an artificially degraded domain to the real-world LR image domain. Second, the SESRN has the ability to super-resolve the approximated real-like LR image to a photo-realistic HR image. Extensive experiments on unpaired real-world image benchmark datasets demonstrate that the proposed method achieves superior performance compared to state-of-the-art methods.

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.