面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

盲人恢复通常会遇到各种规模的面孔输入，尤其是在现实世界中。但是，当前的大多数作品都支持特定的规模面，这限制了其在现实情况下的应用能力。在这项工作中，我们提出了一个新颖的尺度感知盲人面部修复框架，名为FaceFormer，该框架将面部特征恢复作为比例感知转换。所提出的面部特征上采样（FFUP）模块基于原始的比例比例动态生成UPSMPLING滤波器，这有助于我们的网络适应任意面部尺度。此外，我们进一步提出了面部特征嵌入（FFE）模块，该模块利用变压器来层次提取面部潜在的多样性和鲁棒性。因此，我们的脸部形式实现了富裕性和稳健性，恢复了面部的面孔，对面部成分具有现实和对称的细节。广泛的实验表明，我们提出的使用合成数据集训练的方法比当前的最新图像更好地推广到天然低质量的图像。

尽管基准数据集的成功，但大多数先进的面部超分辨率模型在真实情况下表现不佳，因为真实图像与合成训练对之间的显着域间隙。为了解决这个问题，我们提出了一种用于野外面部超分辨率的新型域 - 自适应降级网络。该降级网络预测流场以及中间低分辨率图像。然后，通过翘曲中间图像来生成降级的对应物。利用捕获运动模糊的偏好，这种模型在保护原始图像和劣化之间保持身份一致性更好地执行。我们进一步提出了超分辨率网络的自我调节块。该块将输入图像作为条件术语，以有效地利用面部结构信息，从而消除了对显式前沿的依赖性，例如，面部地标或边界。我们的模型在Celeba和真实世界的面部数据集上实现了最先进的性能。前者展示了我们所提出的建筑的强大生成能力，而后者展示了现实世界中的良好的身份一致性和感知品质。

最近的深面幻觉方法显示出令人惊叹的超级分辨面部图像，甚至超过人类能力。但是，这些算法主要在非公共合成数据集上评估。因此，尚不清楚这些算法如何在公共面幻觉数据集上执行。同时，大多数现有数据集都不太考虑种族的分布，这使得在这些数据集上训练的面部幻觉方法偏向于某些特定种族。为了解决上述两个问题，在本文中，我们构建了一个公共种族多样化的面部数据集，Edface-Celeb-1M，并设计了面部幻觉的基准任务。我们的数据集包括170万张覆盖不同国家 /地区的照片，并具有平衡的种族组成。据我们所知，它是野外最大且公开的面部幻觉数据集。与该数据集相关联，本文还贡献了各种评估协议，并提供了全面的分析，以基于现有的最新方法。基准评估证明了最新算法的性能和局限性。

Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at \url{https://github.com/yongsongH/Infrared_Image_SR_Survey

近年来，面部语义指导（包括面部地标，面部热图和面部解析图）和面部生成对抗网络（GAN）近年来已广泛用于盲面修复（BFR）。尽管现有的BFR方法在普通案例中取得了良好的性能，但这些解决方案在面对严重降解和姿势变化的图像时具有有限的弹性（例如，在现实世界情景中看起来右，左看，笑等）。在这项工作中，我们提出了一个精心设计的盲人面部修复网络，具有生成性面部先验。所提出的网络主要由非对称编解码器和stylegan2先验网络组成。在非对称编解码器中，我们采用混合的多路残留块（MMRB）来逐渐提取输入图像的弱纹理特征，从而可以更好地保留原始面部特征并避免过多的幻想。 MMRB也可以在其他网络中插入插件。此外，多亏了StyleGAN2模型的富裕和多样化的面部先验，我们采用了微调的方法来灵活地恢复自然和现实的面部细节。此外，一种新颖的自我监督训练策略是专门设计用于面部修复任务的，以使分配更接近目标并保持训练稳定性。关于合成和现实世界数据集的广泛实验表明，我们的模型在面部恢复和面部超分辨率任务方面取得了卓越的表现。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

盲人面部修复（BFR）旨在从低品质的图像中恢复高质量的面部图像，并通常求助于面部先验，以改善恢复性能。但是，当前的方法仍然遇到两个主要困难：1）如何在不进行大规模调整的情况下得出强大的网络体系结构； 2）如何从一个网络中的多个面部先验捕获互补信息以提高恢复性能。为此，我们提出了一个面部修复搜索网络（FRSNET），以适应我们指定的搜索空间内的合适特征提取体系结构，这可以直接有助于恢复质量。在FRSNET的基础上，我们通过多个学习方案进一步设计了多个面部先验搜索网络（MFPSNET）。 MFPSNET最佳地从不同的面部先验中提取信息，并将信息融合到图像特征中，以确保保留外部指导和内部特征。通过这种方式，MFPSNet充分利用了语义级别（解析图），几何级别（面部热图），参考级别（面部词典）和像素级（降级图像）信息，从而产生忠实且逼真的图像。定量和定性实验表明，MFPSNET在合成和现实世界数据集上对最先进的BFR方法表现出色。这些代码可公开可用：https：//github.com/yyj1ang/mfpsnet。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

面部超分辨率方法的性能依赖于它们有效地收回面部结构和突出特征的能力。尽管卷积神经网络和基于生成的对抗网络的方法在面对幻觉任务中提供令人印象深刻的性能，但使用与低分辨率图像相关的属性来提高性能的能力是不令人满意的。在本文中，我们提出了一种属性引导的注意力发生抗体网络，该受体对抗网络采用新的属性引导的注意力（AGA）模块来识别和聚焦图像中各种面部特征的生成过程。堆叠多个AGA模块可以恢复高电平的高级面部结构。我们设计鉴别者来学习利用高分辨率图像与其相应的面部属性注释之间关系的鉴别特征。然后，我们探索基于U-Net的架构来改进现有预测并综合进一步的面部细节。跨越几个指标的广泛实验表明，我们的AGA-GaN和Aga-GaN + U-Net框架优于其他几种最先进的幻觉的方法。我们还演示了我们的方法的可行性，当每个属性描述符未知并因此建立其在真实情景中的应用程序时。

在本文中，我们探讨了一个有趣的问题，即从$ 8 \ times8 $ Pixel视频序列中获得什么。令人惊讶的是，事实证明很多。我们表明，当我们处理此$ 8 \ times8 $视频带有正确的音频和图像先验时，我们可以获得全长的256 \ times256 $视频。我们使用新颖的视听UPPRAPLING网络实现了极低分辨率输入的$ 32 \ times $缩放。音频先验有助于恢复元素面部细节和精确的唇形，而单个高分辨率目标身份图像先验为我们提供了丰富的外观细节。我们的方法是端到端的多阶段框架。第一阶段会产生一个粗糙的中间输出视频，然后可用于动画单个目标身份图像并生成逼真，准确和高质量的输出。我们的方法很简单，并且与以前的超分辨率方法相比，表现非常好（$ 8 \ times $改善了FID得分）。我们还将模型扩展到了谈话视频压缩，并表明我们在以前的最新时间上获得了$ 3.5 \ times $的改进。通过广泛的消融实验（在论文和补充材料中）对我们网络的结果进行了彻底的分析。我们还在我们的网站上提供了演示视频以及代码和模型：\ url {http://cvit.iiit.ac.in/research/project/projects/cvit-projects/talking-face-vace-video-upsmpling}。

在过去的几十年中，已经进行了许多尝试来解决从其相应的低分辨率（LR）对应物中恢复高分辨率（HR）面部形象的问题，这是通常被称为幻觉的任务。尽管通过位置补丁和基于深度学习的方法实现了令人印象深刻的性能，但大多数技术仍然无法恢复面孔的特定特定功能。前一组算法通常在存在更高水平的降解存在下产生模糊和过天气输出，而后者产生的面部有时绝不使得输入图像中的个体类似于个体。在本文中，将引入一种新的面部超分辨率方法，其中幻觉面被迫位于可用训练面跨越的子空间中。因此，与大多数现有面的幻觉技术相比，由于这种面部子空间之前，重建是为了回收特定人的面部特征，而不是仅仅增加图像定量分数。此外，通过最近的3D面部重建领域的进步启发，还呈现了一种有效的3D字典对齐方案，通过该方案，该算法能够处理在不受控制的条件下拍摄的低分辨率面。在几个众所周知的面部数据集上进行的广泛实验中，所提出的算法通过生成详细和接近地面真理结果来显示出色的性能，这在定量和定性评估中通过显着的边距来实现了最先进的面部幻觉算法。

The primary aim of single-image super-resolution is to construct a high-resolution (HR) image from a corresponding low-resolution (LR) input. In previous approaches, which have generally been supervised, the training objective typically measures a pixel-wise average distance between the super-resolved (SR) and HR images. Optimizing such metrics often leads to blurring, especially in high variance (detailed) regions. We propose an alternative formulation of the super-resolution problem based on creating realistic SR images that downscale correctly. We present a novel super-resolution algorithm addressing this problem, PULSE (Photo Upsampling via Latent Space Exploration), which generates high-resolution, realistic images at resolutions previously unseen in the literature. It accomplishes this in an entirely self-supervised fashion and is not confined to a specific degradation operator used during training, unlike previous methods (which require training on databases of LR-HR image pairs for supervised learning). Instead of starting with the LR image and slowly adding detail, PULSE traverses the high-resolution natural image manifold, searching for images that downscale to the original LR image. This is formalized through the "downscaling loss," which guides exploration through the latent space of a generative model. By leveraging properties of high-dimensional Gaussians, we restrict the search space to guarantee that our outputs are realistic. PULSE thereby generates super-resolved images that both are realistic and downscale correctly. We show extensive experimental results demonstrating the efficacy of our approach in the domain of face super-resolution (also known as face hallucination). We also present a discussion of the limitations and biases of the method as currently implemented with an accompanying model card with relevant metrics. Our method outperforms state-of-the-art methods in perceptual quality at higher resolutions and scale factors than previously pos-sible.

深度神经网络极大地促进了单图超分辨率（SISR）的性能。传统方法仍然仅基于图像模态的输入来恢复单个高分辨率（HR）解决方案。但是，图像级信息不足以预测大型展望因素面临的足够细节和光真逼真的视觉质量（x8，x16）。在本文中，我们提出了一种新的视角，将SISR视为语义图像详细信息增强问题，以产生忠于地面真理的语义合理的HR图像。为了提高重建图像的语义精度和视觉质量，我们通过提出文本指导的超分辨率（TGSR）框架来探索SISR中的多模式融合学习，该框架可以从文本和图像模态中有效地利用信息。与现有方法不同，提出的TGSR可以生成通过粗到精细过程匹配文本描述的HR图像详细信息。广泛的实验和消融研究证明了TGSR的效果，该效果利用文本参考来恢复逼真的图像。

Face super-resolution is a domain-specific image super-resolution, which aims to generate High-Resolution (HR) face images from their Low-Resolution (LR) counterparts. In this paper, we propose a novel face super-resolution method, namely Semantic Encoder guided Generative Adversarial Face Ultra-Resolution Network (SEGA-FURN) to ultra-resolve an unaligned tiny LR face image to its HR counterpart with multiple ultra-upscaling factors (e.g., 4x and 8x). The proposed network is composed of a novel semantic encoder that has the ability to capture the embedded semantics to guide adversarial learning and a novel generator that uses a hierarchical architecture named Residual in Internal Dense Block (RIDB). Moreover, we propose a joint discriminator which discriminates both image data and embedded semantics. The joint discriminator learns the joint probability distribution of the image space and latent space. We also use a Relativistic average Least Squares loss (RaLS) as the adversarial loss to alleviate the gradient vanishing problem and enhance the stability of the training procedure. Extensive experiments on large face datasets have proved that the proposed method can achieve superior super-resolution results and significantly outperform other state-of-the-art methods in both qualitative and quantitative comparisons.

我们表明，诸如Stylegan和Biggan之类的预训练的生成对抗网络（GAN）可以用作潜在银行，以提高图像超分辨率的性能。尽管大多数现有面向感知的方法试图通过以对抗性损失学习来产生现实的产出，但我们的方法，即生成的潜在银行（GLEAN），通过直接利用预先训练的gan封装的丰富而多样的先验来超越现有实践。但是，与需要在运行时需要昂贵的图像特定优化的普遍的GAN反演方法不同，我们的方法只需要单个前向通行证才能修复。可以轻松地将Glean合并到具有多分辨率Skip连接的简单编码器银行decoder架构中。采用来自不同生成模型的先验，可以将收集到各种类别（例如人的面孔，猫，建筑物和汽车）。我们进一步提出了一个轻巧的Glean，名为Lightglean，该版本仅保留Glean中的关键组成部分。值得注意的是，Lightglean仅由21％的参数和35％的拖鞋组成，同时达到可比的图像质量。我们将方法扩展到不同的任务，包括图像着色和盲图恢复，广泛的实验表明，与现有方法相比，我们提出的模型表现出色。代码和模型可在https://github.com/open-mmlab/mmediting上找到。