盲面修复（BFR）旨在从相应的低质量（LQ）输入中构建高质量（HQ）面部图像。最近，已经提出了许多BFR方法，并取得了杰出的成功。但是，这些方法经过私人合成的数据集进行了培训或评估，这使得与后续方法相比的方法是不可行的。为了解决这个问题，我们首先合成两个称为EDFEACE-CELEB-1M（BFR128）和EDFACE-CELEB-150K（BFR512）的盲面恢复基准数据集。在五个设置下，将最先进的方法在它们的五个设置下进行了基准测试，包括模糊，噪声，低分辨率，JPEG压缩伪像及其组合（完全退化）。为了使比较更全面，应用了五个广泛使用的定量指标和两个任务驱动的指标，包括平均面部标志距离（AFLD）和平均面部ID余弦相似性（AFICS）。此外，我们开发了一个有效的基线模型，称为Swin Transformer U-NET（昏迷）。带有U-NET体系结构的昏迷器应用了注意机制和移动的窗口方案，以捕获远程像素相互作用，并更多地关注重要功能，同时仍受到有效训练。实验结果表明，所提出的基线方法对各种BFR任务的SOTA方法表现出色。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

盲人恢复通常会遇到各种规模的面孔输入，尤其是在现实世界中。但是，当前的大多数作品都支持特定的规模面，这限制了其在现实情况下的应用能力。在这项工作中，我们提出了一个新颖的尺度感知盲人面部修复框架，名为FaceFormer，该框架将面部特征恢复作为比例感知转换。所提出的面部特征上采样（FFUP）模块基于原始的比例比例动态生成UPSMPLING滤波器，这有助于我们的网络适应任意面部尺度。此外，我们进一步提出了面部特征嵌入（FFE）模块，该模块利用变压器来层次提取面部潜在的多样性和鲁棒性。因此，我们的脸部形式实现了富裕性和稳健性，恢复了面部的面孔，对面部成分具有现实和对称的细节。广泛的实验表明，我们提出的使用合成数据集训练的方法比当前的最新图像更好地推广到天然低质量的图像。

压缩在通过限制系统（例如流媒体服务，虚拟现实或视频游戏）等系统的有效传输和存储图像和视频中起着重要作用。但是，不可避免地会导致伪影和原始信息的丢失，这可能会严重降低视觉质量。由于这些原因，压缩图像的质量增强已成为流行的研究主题。尽管大多数最先进的图像恢复方法基于卷积神经网络，但基于Swinir等其他基于变压器的方法在这些任务上表现出令人印象深刻的性能。在本文中，我们探索了新型的Swin Transformer V2，以改善图像超分辨率的Swinir，尤其是压缩输入方案。使用这种方法，我们可以解决训练变压器视觉模型中的主要问题，例如训练不稳定性，预训练和微调之间的分辨率差距以及数据饥饿。我们对三个代表性任务进行实验：JPEG压缩伪像去除，图像超分辨率（经典和轻巧）以及压缩的图像超分辨率。实验结果表明，我们的方法SWIN2SR可以改善SWINIR的训练收敛性和性能，并且是“ AIM 2022挑战压缩图像和视频的超分辨率”的前5个解决方案。

Image restoration is a long-standing low-level vision problem that aims to restore high-quality images from lowquality images (e.g., downscaled, noisy and compressed images). While state-of-the-art image restoration methods are based on convolutional neural networks, few attempts have been made with Transformers which show impressive performance on high-level vision tasks. In this paper, we propose a strong baseline model SwinIR for image restoration based on the Swin Transformer. SwinIR consists of three parts: shallow feature extraction, deep feature extraction and high-quality image reconstruction. In particular, the deep feature extraction module is composed of several residual Swin Transformer blocks (RSTB), each of which has several Swin Transformer layers together with a residual connection. We conduct experiments on three representative tasks: image super-resolution (including classical, lightweight and real-world image super-resolution), image denoising (including grayscale and color image denoising) and JPEG compression artifact reduction. Experimental results demonstrate that SwinIR outperforms state-of-the-art methods on different tasks by up to 0.14∼0.45dB, while the total number of parameters can be reduced by up to 67%.

盲人面部修复（BFR）旨在从低品质的图像中恢复高质量的面部图像，并通常求助于面部先验，以改善恢复性能。但是，当前的方法仍然遇到两个主要困难：1）如何在不进行大规模调整的情况下得出强大的网络体系结构； 2）如何从一个网络中的多个面部先验捕获互补信息以提高恢复性能。为此，我们提出了一个面部修复搜索网络（FRSNET），以适应我们指定的搜索空间内的合适特征提取体系结构，这可以直接有助于恢复质量。在FRSNET的基础上，我们通过多个学习方案进一步设计了多个面部先验搜索网络（MFPSNET）。 MFPSNET最佳地从不同的面部先验中提取信息，并将信息融合到图像特征中，以确保保留外部指导和内部特征。通过这种方式，MFPSNet充分利用了语义级别（解析图），几何级别（面部热图），参考级别（面部词典）和像素级（降级图像）信息，从而产生忠实且逼真的图像。定量和定性实验表明，MFPSNET在合成和现实世界数据集上对最先进的BFR方法表现出色。这些代码可公开可用：https：//github.com/yyj1ang/mfpsnet。

Recently, Transformer-based image restoration networks have achieved promising improvements over convolutional neural networks due to parameter-independent global interactions. To lower computational cost, existing works generally limit self-attention computation within non-overlapping windows. However, each group of tokens are always from a dense area of the image. This is considered as a dense attention strategy since the interactions of tokens are restrained in dense regions. Obviously, this strategy could result in restricted receptive fields. To address this issue, we propose Attention Retractable Transformer (ART) for image restoration, which presents both dense and sparse attention modules in the network. The sparse attention module allows tokens from sparse areas to interact and thus provides a wider receptive field. Furthermore, the alternating application of dense and sparse attention modules greatly enhances representation ability of Transformer while providing retractable attention on the input image.We conduct extensive experiments on image super-resolution, denoising, and JPEG compression artifact reduction tasks. Experimental results validate that our proposed ART outperforms state-of-the-art methods on various benchmark datasets both quantitatively and visually. We also provide code and models at the website https://github.com/gladzhang/ART.

最近的深面幻觉方法显示出令人惊叹的超级分辨面部图像，甚至超过人类能力。但是，这些算法主要在非公共合成数据集上评估。因此，尚不清楚这些算法如何在公共面幻觉数据集上执行。同时，大多数现有数据集都不太考虑种族的分布，这使得在这些数据集上训练的面部幻觉方法偏向于某些特定种族。为了解决上述两个问题，在本文中，我们构建了一个公共种族多样化的面部数据集，Edface-Celeb-1M，并设计了面部幻觉的基准任务。我们的数据集包括170万张覆盖不同国家 /地区的照片，并具有平衡的种族组成。据我们所知，它是野外最大且公开的面部幻觉数据集。与该数据集相关联，本文还贡献了各种评估协议，并提供了全面的分析，以基于现有的最新方法。基准评估证明了最新算法的性能和局限性。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

近年来，面部语义指导（包括面部地标，面部热图和面部解析图）和面部生成对抗网络（GAN）近年来已广泛用于盲面修复（BFR）。尽管现有的BFR方法在普通案例中取得了良好的性能，但这些解决方案在面对严重降解和姿势变化的图像时具有有限的弹性（例如，在现实世界情景中看起来右，左看，笑等）。在这项工作中，我们提出了一个精心设计的盲人面部修复网络，具有生成性面部先验。所提出的网络主要由非对称编解码器和stylegan2先验网络组成。在非对称编解码器中，我们采用混合的多路残留块（MMRB）来逐渐提取输入图像的弱纹理特征，从而可以更好地保留原始面部特征并避免过多的幻想。 MMRB也可以在其他网络中插入插件。此外，多亏了StyleGAN2模型的富裕和多样化的面部先验，我们采用了微调的方法来灵活地恢复自然和现实的面部细节。此外，一种新颖的自我监督训练策略是专门设计用于面部修复任务的，以使分配更接近目标并保持训练稳定性。关于合成和现实世界数据集的广泛实验表明，我们的模型在面部恢复和面部超分辨率任务方面取得了卓越的表现。

As the quality of optical sensors improves, there is a need for processing large-scale images. In particular, the ability of devices to capture ultra-high definition (UHD) images and video places new demands on the image processing pipeline. In this paper, we consider the task of low-light image enhancement (LLIE) and introduce a large-scale database consisting of images at 4K and 8K resolution. We conduct systematic benchmarking studies and provide a comparison of current LLIE algorithms. As a second contribution, we introduce LLFormer, a transformer-based low-light enhancement method. The core components of LLFormer are the axis-based multi-head self-attention and cross-layer attention fusion block, which significantly reduces the linear complexity. Extensive experiments on the new dataset and existing public datasets show that LLFormer outperforms state-of-the-art methods. We also show that employing existing LLIE methods trained on our benchmark as a pre-processing step significantly improves the performance of downstream tasks, e.g., face detection in low-light conditions. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLFormer.

盲面修复是从未知的降解中恢复高质量的面部图像。由于面部图像包含丰富的上下文信息，因此我们提出了一种方法，还可以修复器，该方法探讨了完全空间的关注，以模拟上下文信息并超越了使用本地运营商的现有作品。与先前的艺术相比，还原构造器具有多种好处。首先，与以前视觉变压器（VIT）中传统的多头自我发作不同，还原构图结合了多头跨注意层，以学习损坏的查询与高质量的键值对之间的完全空间相互作用。其次，从重建为导向的高质量词典中对Resotreformer中的钥匙值对进行采样，其元素具有富含高质量的面部特征，专门针对面部重建，从而导致出色的恢复结果。第三，RestoreFormer优于一个合成数据集和三个现实世界数据集上的先进的最新方法，并且可以产生具有更好视觉质量的图像。

由于现代硬件的计算能力强烈增加，在大规模数据集上学习的预训练的深度学习模型（例如，BERT，GPT-3）已经显示了它们对传统方法的有效性。巨大进展主要促进了变压器及其变体架构的代表能力。在本文中，我们研究了低级计算机视觉任务（例如，去噪，超级分辨率和派没），并开发了一个新的预先训练的模型，即图像处理变压器（IPT）。为了最大限度地挖掘变压器的能力，我们展示了利用众所周知的想象网基准，以产生大量损坏的图像对。 IPT模型在具有多头和多尾的这些图像上培训。此外，引入了对比度学习，以适应不同的图像处理任务。因此，在微调后，预先训练的模型可以有效地在所需的任务上使用。只有一个预先训练的模型，IPT优于当前的最先进方法对各种低级基准。代码可在https://github.com/huawei-noah/pretrate -ipt和https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/ipt

在本文中，我们呈现了UFFORER，一种用于图像恢复的有效和高效的变换器架构，其中我们使用变压器块构建分层编码器解码器网络。在UFFAR中，有两个核心设计。首先，我们介绍了一个新颖的本地增强型窗口（Lewin）变压器块，其执行基于窗口的自我关注而不是全局自我关注。它显着降低了高分辨率特征映射的计算复杂性，同时捕获本地上下文。其次，我们提出了一种以多尺度空间偏置的形式提出了一种学习的多尺度恢复调制器，以调整UFFORER解码器的多个层中的特征。我们的调制器展示了卓越的能力，用于恢复各种图像恢复任务的详细信息，同时引入边缘额外参数和计算成本。通过这两个设计提供支持，UFFORER享有高能力，可以捕获本地和全局依赖性的图像恢复。为了评估我们的方法，在几种图像恢复任务中进行了广泛的实验，包括图像去噪，运动脱棕，散焦和污染物。没有钟声和口哨，与最先进的算法相比，我们的UFormer实现了卓越的性能或相当的性能。代码和模型可在https://github.com/zhendongwang6/uformer中找到。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

学习自然图像恢复的一般性先验是一项重要但具有挑战性的任务。早期方法主要涉及手工制作的先验，包括归一化稀疏性，L_0梯度，暗通道先验等。最近，深层神经网络已用于学习各种图像先验，但不能保证概括。在本文中，我们提出了一种新颖的方法，该方法将任务敏捷的先验嵌入到变压器中。我们的方法称为任务不合时宜的先验嵌入（磁带），由两个阶段组成，即，任务不合时宜的预训练和特定于任务的微调，第一阶段将有关自然图像的先验知识嵌入到变压器中，第二阶段嵌入了第二阶段。阶段提取知识以帮助下游图像恢复。对各种降解的实验验证了胶带的有效性。根据PSNR的图像恢复性能提高了多达1.45dB，甚至超过了特定于任务的算法。更重要的是，磁带显示了从退化的图像中解开广义图像先验的能力，这些图像具有良好的转移能力，可以转移到未知的下游任务。

我们提出了一种新的零射多帧图像恢复方法，用于去除连续帧中变化的不需要的障碍物（例如降雨，雪和莫尔图案）。它有三个阶段：变压器预训练，零射恢复和硬贴片细化。使用预先训练的变压器，我们的模型能够在真实图像信息和阻碍元件之间讲述运动差异。对于零拍摄图像恢复，我们设计了一种由暹罗变换器，编码器和解码器构建的新型模型，称为暹罗。每个变压器具有时间关注层和几个自我注意层，以捕获多个帧的时间和空间信息。只有在去噪任务上进行预训练（自我监督），Siamtrans在三个不同的低级视觉任务中测试了三种不同的低级视觉任务（派生，发誓和Desnowing）。与相关方法相比，我们的表现效果最佳，甚至优于具有监督学习的表现。

最近的作品在使用卷积神经网络（CNN）的双像素数据基于defocus Deblurring任务方面取得了出色的成果，而数据的稀缺性限制了视觉变压器在此任务中的探索和尝试。此外，现有作品还使用固定参数和网络体系结构来删除具有不同分布和内容信息的图像，这也影响了模型的概括能力。在本文中，我们提出了一个动态多尺度网络，名为DMTNET，用于双像素图像Defocus DeBlurring。 DMTNET主要包含两个模块：特征提取模块和重建模块。该特征提取模块由几个视觉变压器块组成，该模块使用其强大的特征提取能力来获得更丰富的功能并改善模型的鲁棒性。重建模块由几个动态多尺度子重构模块（DMSSRM）组成。 DMSSRM可以根据输入图像的模糊分布和内容信息自适应地分配权重来恢复图像。 DMTNET结合了变压器和CNN的优势，其中视觉变压器改善了CNN的性能上限，并且CNN的电感偏置使变压器能够在不依赖大量数据的情况下提取更强大的功能。 DMTNET可能是首次使用视觉变压器来恢复模糊图像以清晰的尝试。通过与CNN结合，视觉变压器可以在小数据集上实现更好的性能。对流行基准测试的实验结果表明，我们的DMTNET显着优于最先进的方法。