我们引入了一个新颖的框架，用于连续的面部运动脱毛，该框架通过矩控制因子恢复单个运动毛面脸部图像中潜在的连续锋利力矩。尽管动作毛刺图像是在曝光时间内连续锋利矩的累积信号，但大多数现有的单个图像脱毛方法旨在使用多个网络和训练阶段恢复固定数量的帧。为了解决这个问题，我们提出了一个基于GAN（CFMD-GAN）的连续面部运动脱毛网络，该网络是一个新颖的框架，用于恢复带有单个网络和单个训练阶段的单个运动型面部图像中潜在的连续力矩。为了稳定网络培训，我们训练发电机以通过面部特定于面部知识的面部基于面部运动的重新排序过程（FMR）确定的顺序恢复连续矩。此外，我们提出了一个辅助回归器，该回归器通过估计连续锋利的力矩来帮助我们的发电机产生更准确的图像。此外，我们引入了一个控制自适应（CONTADA）块，该块执行空间变形的卷积和频道的注意，作为控制因子的函数。 300VW数据集上的大量实验表明，所提出的框架通过改变力矩控制因子来生成各种连续的输出帧。与最近使用相同300VW训练集训练的最近的单一单击图像脱蓝色网络相比，提出的方法显示了在感知指标（包括LPIPS，FID和Arcface身份距离）方面恢复中央锋利框架的出色性能。该方法的表现优于现有的单一视频脱蓝和用于定性和定量比较的方法。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

在文献中，粗细或缩放 - 重复性方法是从其低分辨率版本逐步恢复清洁图像，已成功用于单图像去孔。然而，现有方法的主要缺点是需要配对数据;即夏普尔图像对同一场景，这是一种复杂和繁琐的采集程序。此外，由于对损耗功能的强烈监督，此类网络的预先训练模型对训练期间的模糊强烈偏向，并且在推理时间内的新模糊内核面对时倾向于提供子最佳性能。为了解决上述问题，我们使用秤 - 自适应注意模块（Saam）提出了无监督的域特定的去孔。我们的网络不需要监督对进行训练，并且防夹机制主要由逆势丢失引导，从而使我们的网络适用于模糊功能的分布。给定模糊的输入图像，在训练期间我们的模型中使用相同图像的不同分辨率，Saam允许在整个分辨率上有效的信息流。对于特定规模的网络培训，Saam作为当前规模的函数参加较低的尺度功能。不同的消融研究表明，我们的粗细机制优于端到端无监督的模型，而Saam能够与文学中使用的注意力相比更好地参加。定性和定量比较（在无参考度量标准）表明我们的方法优于现有无监督的方法。

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

在本文中，我们介绍了一种快速运动脱棕色条件的生成对抗网络（FMD-CGAN），其有助于单个图像的盲运动去纹理。 FMD-CGAN在去修改图像后提供令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样，GAN也遭受大型模型大小（参数）和计算。在诸如移动设备和机器人等资源约束设备上部署模型并不容易。借助MobileNet基于MobileNet的架构，包括深度可分离卷积，我们降低了模型大小和推理时间，而不会丢失图像的质量。更具体地说，我们将模型大小与最近的竞争对手相比将3-60倍。由此产生的压缩去掩盖CGAN比其最接近的竞争对手更快，甚至定性和定量结果优于各种最近提出的最先进的盲运动去误紧模型。我们还可以使用我们的模型进行实时映像解擦干任务。标准数据集的当前实验显示了该方法的有效性。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

盲人恢复通常会遇到各种规模的面孔输入，尤其是在现实世界中。但是，当前的大多数作品都支持特定的规模面，这限制了其在现实情况下的应用能力。在这项工作中，我们提出了一个新颖的尺度感知盲人面部修复框架，名为FaceFormer，该框架将面部特征恢复作为比例感知转换。所提出的面部特征上采样（FFUP）模块基于原始的比例比例动态生成UPSMPLING滤波器，这有助于我们的网络适应任意面部尺度。此外，我们进一步提出了面部特征嵌入（FFE）模块，该模块利用变压器来层次提取面部潜在的多样性和鲁棒性。因此，我们的脸部形式实现了富裕性和稳健性，恢复了面部的面孔，对面部成分具有现实和对称的细节。广泛的实验表明，我们提出的使用合成数据集训练的方法比当前的最新图像更好地推广到天然低质量的图像。

尽管最近的生成面部先验和几何事物最近证明了盲面修复的高质量结果，但忠实于投入的细粒度细节仍然是一个具有挑战性的问题。由基于经典词典的方法和最近的矢量量化（VQ）技术激励，我们提出了一种基于VQ的面部恢复方法-VQFR。 VQFR利用从高质量面孔中提取的高质量低级特征银行，因此可以帮助恢复现实的面部细节。但是，通过忠实的细节和身份保存，VQ代码簿的简单应用无法取得良好的结果。因此，我们进一步介绍了两个特殊的网络设计。 1）。我们首先研究了VQ代码簿中的压缩补丁大小，并发现使用适当的压缩补丁大小设计的VQ代码簿对于平衡质量和忠诚度至关重要。 2）。为了进一步融合来自输入的低级功能，而不是“污染” VQ代码簿中生成的现实细节，我们提出了一个由纹理解码器和主要解码器组成的并行解码器。然后，这两个解码器与具有变形卷积的纹理翘曲模块进行交互。拟议的VQFR配备了VQ Codebook作为面部细节词典和平行解码器设计，可以在很大程度上提高面部细节的恢复质量，同时保持对先前方法的保真度。

面部去夹旨在从模糊的输入图像恢复清晰的面部图像，具有更明确的结构和面部细节。然而，大多数传统的图像和面部去夹方法的重点是整个产生的图像分辨率，而不考虑特殊的面部纹理并且通常产生无充气的细节。考虑到面部和背景具有不同的分布信息，在本研究中，我们设计了一种基于可分离的归一化和自适应非规范化（SnAdnet）的有效面部去孔网络。首先，我们微调面部解析网络以获得精确的面部结构。然后，我们将脸部解析功能划分为面部前景和背景。此外，我们构建了一种新的特征自适应非规范化，以将FAYCIAL结构规则为辅助的条件，以产生更加和谐的面部结构。另外，我们提出了一种纹理提取器和多贴片鉴别器，以增强所生成的面部纹理信息。 Celeba和Celeba-HQ数据集的实验结果表明，所提出的面部去孔网络以更具面部细节恢复面部结构，并在结构相似性索引方法（SSIM），峰值信号方面对最先进的方法进行有利的方法。信噪比（PSNR），Frechet Inception距离（FID）和L1以及定性比较。

近年来，面部语义指导（包括面部地标，面部热图和面部解析图）和面部生成对抗网络（GAN）近年来已广泛用于盲面修复（BFR）。尽管现有的BFR方法在普通案例中取得了良好的性能，但这些解决方案在面对严重降解和姿势变化的图像时具有有限的弹性（例如，在现实世界情景中看起来右，左看，笑等）。在这项工作中，我们提出了一个精心设计的盲人面部修复网络，具有生成性面部先验。所提出的网络主要由非对称编解码器和stylegan2先验网络组成。在非对称编解码器中，我们采用混合的多路残留块（MMRB）来逐渐提取输入图像的弱纹理特征，从而可以更好地保留原始面部特征并避免过多的幻想。 MMRB也可以在其他网络中插入插件。此外，多亏了StyleGAN2模型的富裕和多样化的面部先验，我们采用了微调的方法来灵活地恢复自然和现实的面部细节。此外，一种新颖的自我监督训练策略是专门设计用于面部修复任务的，以使分配更接近目标并保持训练稳定性。关于合成和现实世界数据集的广泛实验表明，我们的模型在面部恢复和面部超分辨率任务方面取得了卓越的表现。

我们研究了从单个运动毛发图像中恢复详细运动的挑战性问题。该问题的现有解决方案估算一个单个图像序列，而无需考虑每个区域的运动歧义。因此，结果倾向于收敛到多模式可能性的平均值。在本文中，我们明确说明了这种运动歧义，使我们能够详细地生成多个合理的解决方案。关键思想是引入运动引导表示，这是对仅有四个离散运动方向的2D光流的紧凑量量化。在运动引导的条件下，模糊分解通过使用新型的两阶段分解网络导致了特定的，明确的解决方案。我们提出了一个模糊分解的统一框架，该框架支持各种界面来生成我们的运动指导，包括人类输入，来自相邻视频帧的运动信息以及从视频数据集中学习。关于合成数据集和现实世界数据的广泛实验表明，所提出的框架在定性和定量上优于以前的方法，并且还具有生产物理上合理和多样的解决方案的优点。代码可从https://github.com/zzh-tech/animation-from-blur获得。

Non-uniform blind deblurring for general dynamic scenes is a challenging computer vision problem as blurs arise not only from multiple object motions but also from camera shake, scene depth variation. To remove these complicated motion blurs, conventional energy optimization based methods rely on simple assumptions such that blur kernel is partially uniform or locally linear. Moreover, recent machine learning based methods also depend on synthetic blur datasets generated under these assumptions. This makes conventional deblurring methods fail to remove blurs where blur kernel is difficult to approximate or parameterize (e.g. object motion boundaries). In this work, we propose a multi-scale convolutional neural network that restores sharp images in an end-to-end manner where blur is caused by various sources. Together, we present multiscale loss function that mimics conventional coarse-to-fine approaches. Furthermore, we propose a new large-scale dataset that provides pairs of realistic blurry image and the corresponding ground truth sharp image that are obtained by a high-speed camera. With the proposed model trained on this dataset, we demonstrate empirically that our method achieves the state-of-the-art performance in dynamic scene deblurring not only qualitatively, but also quantitatively.

夜间摄影通常由于昏暗的环境和长期使用而遭受弱光和模糊问题。尽管现有的光增强和脱毛方法可以单独解决每个问题，但一系列此类方法不能和谐地适应可见性和纹理的共同降解。训练端到端网络也是不可行的，因为没有配对数据可以表征低光和模糊的共存。我们通过引入新的数据合成管道来解决该问题，该管道对现实的低光模糊降解进行建模。使用管道，我们介绍了第一个用于关节低光增强和去皮的大型数据集。数据集，LOL-BLUR，包含12,000个低Blur/正常出现的对，在不同的情况下具有不同的黑暗和运动模糊。我们进一步提出了一个名为LEDNET的有效网络，以执行关节弱光增强和脱毛。我们的网络是独一无二的，因为它是专门设计的，目的是考虑两个相互连接的任务之间的协同作用。拟议的数据集和网络都为这项具有挑战性的联合任务奠定了基础。广泛的实验证明了我们方法对合成和现实数据集的有效性。

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

We present a new end-to-end generative adversarial network (GAN) for single image motion deblurring, named DeblurGAN-v2, which considerably boosts state-of-the-art deblurring efficiency, quality, and flexibility. DeblurGAN-v2 is based on a relativistic conditional GAN with a doublescale discriminator. For the first time, we introduce the Feature Pyramid Network into deblurring, as a core building block in the generator of DeblurGAN-v2. It can flexibly work with a wide range of backbones, to navigate the balance between performance and efficiency. The plugin of sophisticated backbones (e.g., Inception-ResNet-v2) can lead to solid state-of-the-art deblurring. Meanwhile, with light-weight backbones (e.g., MobileNet and its variants), DeblurGAN-v2 reaches 10-100 times faster than the nearest competitors, while maintaining close to state-ofthe-art results, implying the option of real-time video deblurring. We demonstrate that DeblurGAN-v2 obtains very competitive performance on several popular benchmarks, in terms of deblurring quality (both objective and subjective), as well as efficiency. Besides, we show the architecture to be effective for general image restoration tasks too. Our codes, models and data are available at: https: //github.com/KupynOrest/DeblurGANv2.

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。

在各种基于学习的图像恢复任务（例如图像降解和图像超分辨率）中，降解表示形式被广泛用于建模降解过程并处理复杂的降解模式。但是，在基于学习的图像deblurring中，它们的探索程度较低，因为在现实世界中挑战性的情况下，模糊内核估计不能很好地表现。我们认为，对于图像降低的降解表示形式是特别必要的，因为模糊模式通常显示出比噪声模式或高频纹理更大的变化。在本文中，我们提出了一个框架来学习模糊图像的空间自适应降解表示。提出了一种新颖的联合图像re毁和脱蓝色的学习过程，以提高降解表示的表现力。为了使学习的降解表示有效地启动和降解，我们提出了一个多尺度退化注入网络（MSDI-NET），以将它们集成到神经网络中。通过集成，MSDI-NET可以适应各种复杂的模糊模式。 GoPro和Realblur数据集上的实验表明，我们提出的具有学识渊博的退化表示形式的Deblurring框架优于最先进的方法，具有吸引人的改进。该代码在https://github.com/dasongli1/learning_degradation上发布。

在本文中，我们介绍了基于稀疏学习的端到端生成的对抗网络（GAN），用于单幅图像盲运动去纹理，我们称为SL-Corpygan。在盲运运动去纹理中的第一次，我们提出了一种稀疏的Reset-块作为基于HTM（分层时间内存）的稀疏卷积层和可训练的空间池K-Winner的组合，以替换RESET中的非线性等非线性-Block的SL-Corpergan发电机。此外，与许多最先进的GaN的运动脱孔方法不同，将运动脱棕色作为线性端到端过程，我们从CompyGan的域名翻译能力中获取灵感，我们展示图像去孔可以是循环一致的，同时实现最佳定性结果。最后，我们在定性和定量上对流行的图像基准进行了广泛的实验，并在GoPro数据集上实现了38.087 dB的记录分布PSNR，比最新的去纹理方法优于5.377 dB。

视频去抑制是一种高度均不存在的问题，因为模糊劣化过程中的运动信息丢失。由于事件相机可以通过高时分辨率捕获表观运动，因此多次尝试探索了引导视频去纹的事件的潜力。这些方法通常认为曝光时间与视频帧速率的倒数相同。然而，在实际情况下，这不是真的，并且曝光时间可能是未知的并且根据视频拍摄环境（例如，照明条件）动态地变化。在本文中，假设基于帧的相机的动态可变未知的曝光时间来解决事件引导视频去纹。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间来推导出事件引导视频去掩模的新配方。然后，我们提出了一种用于事件引导视频去纹的新的结束终端学习框架。特别地，我们设计了一种新的基于曝光时间的事件选择（ETES）模块，以通过估计来自模糊帧和事件的特征之间的跨模型相关来选择性地使用事件特征。此外，我们提出了一种特征融合模块，以有效地熔断来自事件和模糊帧的所选功能。我们对各种数据集进行广泛的实验，并证明我们的方法实现了最先进的性能。我们的项目代码和预付费型号将可用。