已知大气湍流的图像恢复算法对设计比模糊或噪声等传统湍流更具挑战性，因为湍流引起的失真是空间变化的模糊，几何变形，传感器噪声的纠缠。现有的基于CNN的恢复方法建立在具有静态重量的卷积内核上，不足以处理空间动态的大气湍流效果。为了解决这个问题，在本文中，我们提出了一个以物理启发的变压器模型，用于通过大气湍流进行成像。提出的网络利用变压器块的功率共同提取动态湍流失真图并恢复无湍流图像。此外，我们认识到缺乏全面的数据集，我们收集并介绍了两个新的现实世界湍流数据集，这些数据集允许使用经典目标指标（例如PSNR和SSIM）进行评估，并使用文本识别精度进行了新的任务驱动指标。实际测试集和所有相关代码都将公开可用。

由于大气湍流的扭曲而恢复图像是一个长期存在的问题，这是由于变形的空间变化，图像形成过程的非线性以及训练和测试数据的稀缺性。现有方法通常在失真模型上具有强大的统计假设，在许多情况下，由于没有概括，因此在现实世界中的性能有限。为了克服挑战，本文提出了一种端到端物理驱动的方法，该方法有效，可以推广到现实世界的湍流。在数据合成方面，我们通过通过宽sense式的平稳性近似随机场来显着增加SOTA湍流模拟器可以处理的图像分辨率。新的数据合成过程使大规模的多级湍流和训练的地面真相对产生。在网络设计方面，我们提出了湍流缓解变压器（TMT），这是一个两级U-NET形状的多帧恢复网络，该网络具有Noval有效的自发机制，称为暂时通道关节关注（TCJA）。我们还引入了一种新的培训方案，该方案由新的模拟器启用，并设计新的变压器单元以减少内存消耗。在静态场景和动态场景上的实验结果是有希望的，包括各种真实的湍流场景。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

我们提出了一个大规模的真实世界和干净的图像对数据集，以及一种从图像中降低降解的方法，从图像中降低了降解。由于没有用于降低的现实世界数据集，因此当前的最新方法依赖于合成数据，因此受SIM2REAL域间隙的限制。此外，由于没有真实的配对数据集，严格的评估仍然是一个挑战。我们通过通过对非鼻子变化的细致控制收集第一个真实的配对数据集来填补这一空白。我们的数据集对各种现实世界的雨水现象（例如雨条和雨水积累）进行了配对的培训和定量评估。为了学习对雨现象不变的代表，我们提出了一个深层神经网络，该网络通过最大程度地减少雨水和干净图像之间的雨水不变损失来重建基础场景。广泛的实验表明，所提出的数据集使现有的DERAINER受益，我们的模型可以在各种条件下对真实雨水图像的最先进方法优于最先进的方法。

夜间摄影通常由于昏暗的环境和长期使用而遭受弱光和模糊问题。尽管现有的光增强和脱毛方法可以单独解决每个问题，但一系列此类方法不能和谐地适应可见性和纹理的共同降解。训练端到端网络也是不可行的，因为没有配对数据可以表征低光和模糊的共存。我们通过引入新的数据合成管道来解决该问题，该管道对现实的低光模糊降解进行建模。使用管道，我们介绍了第一个用于关节低光增强和去皮的大型数据集。数据集，LOL-BLUR，包含12,000个低Blur/正常出现的对，在不同的情况下具有不同的黑暗和运动模糊。我们进一步提出了一个名为LEDNET的有效网络，以执行关节弱光增强和脱毛。我们的网络是独一无二的，因为它是专门设计的，目的是考虑两个相互连接的任务之间的协同作用。拟议的数据集和网络都为这项具有挑战性的联合任务奠定了基础。广泛的实验证明了我们方法对合成和现实数据集的有效性。

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。

由于卷积神经网络（CNNS）在从大规模数据中进行了学习的可概括图像前沿执行井，因此这些模型已被广泛地应用于图像恢复和相关任务。最近，另一类神经架构，变形金刚表现出对自然语言和高级视觉任务的显着性能。虽然变压器模型减轻了CNNS的缺点（即，有限的接收领域并对输入内容而无关），但其计算复杂性以空间分辨率二次大转，因此可以对涉及高分辨率图像的大多数图像恢复任务应用得不可行。在这项工作中，我们通过在构建块（多头关注和前锋网络）中进行多个关键设计，提出了一种有效的变压器模型，使得它可以捕获远程像素相互作用，同时仍然适用于大图像。我们的模型，命名恢复变压器（RESTORMER），实现了最先进的结果，导致几种图像恢复任务，包括图像派生，单图像运动脱棕，散焦去纹（单图像和双像素数据）和图像去噪（高斯灰度/颜色去噪，真实的图像去噪）。源代码和预先训练的型号可在https://github.com/swz30/restormer上获得。

大气湍流可以通过在大气折射索引中引起空间和时间随机的波动，从而显着降低远程成像系统获得的图像质量。折射率的变化导致捕获的图像几何扭曲和模糊。因此，重要的是要补偿由大气湍流引起的图像中的视觉降解。在本文中，我们提出了一种基于深度学习的方法，用于限制大气湍流降解的单个图像。我们利用基于蒙特卡洛辍学的认知不确定性来捕获网络很难恢复的图像中的区域。然后，使用估计的不确定性图来指导网络以获得还原图像。对合成图像和真实图像进行了广泛的实验，以显示拟议工作的重要性。代码可在以下网址找到：https：//github.com/rajeevyasarla/at-net

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

降解的图像通常存在于字符图像的一般来源中，从而导致特征识别结果不令人满意。现有的方法有专门的努力来恢复降级的角色图像。但是，这些方法获得的降解结果似乎并不能提高字符识别性能。这主要是因为当前方法仅着眼于像素级信息，而忽略了角色的关键特征，例如其字形，从而在脱索过程中导致字符标志性损害。在本文中，我们介绍了一个基于字形融合和注意力机制（即Churformer）的新型通用框架，以精确地恢复角色图像而不改变其固有的字形。与现有的框架不同，Charformer引入了一个并行目标任务，用于捕获其他信息并将其注入DICONISE骨架的图像，这将在字符图像DeNoising期间保持角色字形的一致性。此外，我们利用基于注意力的网络进行全局本地特征交互，这将有助于处理盲目的denoising和增强deNoSising绩效。我们将Charformer与多个数据集上的最新方法进行比较。实验结果表明了杂形和质量上的优势。

卷积神经网络（CNN）和变压器在多媒体应用中取得了巨大成功。但是，几乎没有努力有效，有效地协调这两个架构以满足图像的范围。本文旨在统一这两种架构，以利用其学习优点来降低图像。特别是，CNN的局部连通性和翻译等效性以及变压器中自我注意力（SA）的全球聚合能力被完全利用用于特定的局部环境和全球结构表示。基于雨水分布揭示降解位置和程度的观察，我们在帮助背景恢复之前引入退化，并因此呈现关联细化方案。提出了一种新型的多输入注意模块（MAM），以将降雨的去除和背景恢复关联。此外，我们为模型配备了有效的深度可分离卷积，以学习特定的特征表示并权衡计算复杂性。广泛的实验表明，我们提出的方法（称为ELF）的表现平均比最先进的方法（MPRNET）优于0.25 dB，但仅占其计算成本和参数的11.7 \％和42.1 \％。源代码可从https://github.com/kuijiang94/magic-elf获得。

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

派生是一个重要而基本的计算机视觉任务，旨在消除在下雨天捕获的图像或视频中的雨条纹和累积。现有的派威方法通常会使雨水模型的启发式假设，这迫使它们采用复杂的优化或迭代细化以获得高回收质量。然而，这导致耗时的方法，并影响解决从假设偏离的雨水模式的有效性。在本文中，我们通过在没有复杂的雨水模型假设的情况下，通过在没有复杂的雨水模型假设的情况下制定污染作为预测滤波问题的简单而有效的污染方法。具体地，我们识别通过深网络自适应地预测适当的核的空间变型预测滤波（SPFILT以过滤不同的各个像素。由于滤波可以通过加速卷积来实现，因此我们的方法可以显着效率。我们进一步提出了eFderain +，其中包含三个主要贡献来解决残留的雨迹，多尺度和多样化的雨水模式而不会损害效率。首先，我们提出了不确定感知的级联预测滤波（UC-PFILT），其可以通过预测的内核来识别重建清洁像素的困难，并有效地移除残留的雨水迹线。其次，我们设计重量共享多尺度扩张过滤（WS-MS-DFILT），以处理多尺度雨条纹，而不会损害效率。第三，消除各种雨水模式的差距，我们提出了一种新颖的数据增强方法（即Rainmix）来培养我们的深层模型。通过对不同变体的复杂分析的所有贡献相结合，我们的最终方法在恢复质量和速度方面优于四个单像辐照数据集和一个视频派威数据集的基线方法。

在本文中，我们研究了现实世界图像脱毛的问题，并考虑了改善深度图像脱布模型的性能的两个关键因素，即培训数据综合和网络体系结构设计。经过现有合成数据集训练的脱毛模型在由于域移位引起的真实模糊图像上的表现较差。为了减少合成和真实域之间的域间隙，我们提出了一种新颖的现实模糊合成管道来模拟摄像机成像过程。由于我们提出的合成方法，可以使现有的Deblurring模型更强大，以处理现实世界的模糊。此外，我们开发了一个有效的脱蓝色模型，该模型同时捕获特征域中的非本地依赖性和局部上下文。具体而言，我们将多路径变压器模块介绍给UNET架构，以进行丰富的多尺度功能学习。在三个现实世界数据集上进行的全面实验表明，所提出的Deblurring模型的性能优于最新方法。

图像恢复是从降级版本中恢复清洁图像的任务。在大多数情况下，劣化是空间变化的，并且它需要恢复网络到本地化并恢复受影响的区域。在本文中，我们提出了一种适用于处理受实际发生的伪像（如模糊，雨杆）的图像中的图像中降解的图像特异性和空间不同性质的新方法。与直接学习劣化和清洁图像之间的映射直接学习映射的现有方法不同，我们将恢复任务分解为劣化定位和降级的区域引导恢复的两个阶段。我们的前提是使用劣化掩模预测的辅助任务来指导恢复过程。我们展示了对此辅助任务培训的模型包含重要地区知识，可以利用使用细心知识蒸馏技术来指导恢复网络的培训。此外，我们提出了掩模引导的卷积和全局上下文聚合模块，专注于恢复劣化区域。通过实现强大基线的显着改善，证明了所提出的方法的有效性。

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .

放映摄像头（UDC）为全屏智能手机提供了优雅的解决方案。但是，由于传感器位于显示屏下，UDC捕获的图像遭受了严重的降解。尽管可以通过图像恢复网络解决此问题，但这些网络需要大规模的图像对进行培训。为此，我们提出了一个模块化网络，称为MPGNET，该网络使用生成对抗网络（GAN）框架来模拟UDC成像。具体而言，我们注意到UDC成像降解过程包含亮度衰减，模糊和噪声损坏。因此，我们将每个降解与特征相关的模块化网络建模，并将所有模块化网络级联成型以形成生成器。加上像素的歧视器和受监督的损失，我们可以训练发电机以模拟UDC成像降解过程。此外，我们提出了一个用于UDC图像恢复的Dwformer的变压器式网络。出于实际目的，我们使用深度卷积而不是多头自我注意力来汇总本地空间信息。此外，我们提出了一个新型的渠道注意模块来汇总全局信息，这对于亮度恢复至关重要。我们对UDC基准进行了评估，我们的方法在P-Oled轨道上超过了先前的最新模型和T-Oled轨道上的0.71 dB。

由于长时间曝光时间，传统的基于帧的相机不可避免地遭受运动模糊。作为一种生物启发相机，事件摄像机以具有高时间分辨率的异步方式记录强度变化，在曝光时间内提供有效的图像劣化信息。在本文中，我们重新思考基于事件的图像去掩盖问题并将其展开成为端到端的两级图像恢复网络。为了有效地利用事件信息，我们设计（i）专门用于图像去纹理的新型对称累积事件表示，以及（ii）在我们网络的多个级别应用的仿射事件图像融合模块。我们还提出了网络的两个阶段之间的事件掩码所连接的连接，以避免信息丢失。在数据集级别，为了促进基于事件的运动解训，并促进挑战真实世界图像的评估，我们介绍了在照明控制的光学实验室中使用活动摄像机捕获的高质量模糊（HQBLUR）数据集。我们的多尺度事件融合网络（MEFNET）设置了用于运动解训的新技术，超越了先前最佳的基于图像的方法和GoPro上的公共实现的所有基于事件的方法（高达2.38dB即使在极端模糊条件下，也是HQBLUR Datasets。源代码和数据集将公开可用。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。