We present a new end-to-end generative adversarial network (GAN) for single image motion deblurring, named DeblurGAN-v2, which considerably boosts state-of-the-art deblurring efficiency, quality, and flexibility. DeblurGAN-v2 is based on a relativistic conditional GAN with a doublescale discriminator. For the first time, we introduce the Feature Pyramid Network into deblurring, as a core building block in the generator of DeblurGAN-v2. It can flexibly work with a wide range of backbones, to navigate the balance between performance and efficiency. The plugin of sophisticated backbones (e.g., Inception-ResNet-v2) can lead to solid state-of-the-art deblurring. Meanwhile, with light-weight backbones (e.g., MobileNet and its variants), DeblurGAN-v2 reaches 10-100 times faster than the nearest competitors, while maintaining close to state-ofthe-art results, implying the option of real-time video deblurring. We demonstrate that DeblurGAN-v2 obtains very competitive performance on several popular benchmarks, in terms of deblurring quality (both objective and subjective), as well as efficiency. Besides, we show the architecture to be effective for general image restoration tasks too. Our codes, models and data are available at: https: //github.com/KupynOrest/DeblurGANv2.

在本文中，我们介绍了一种快速运动脱棕色条件的生成对抗网络（FMD-CGAN），其有助于单个图像的盲运动去纹理。 FMD-CGAN在去修改图像后提供令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样，GAN也遭受大型模型大小（参数）和计算。在诸如移动设备和机器人等资源约束设备上部署模型并不容易。借助MobileNet基于MobileNet的架构，包括深度可分离卷积，我们降低了模型大小和推理时间，而不会丢失图像的质量。更具体地说，我们将模型大小与最近的竞争对手相比将3-60倍。由此产生的压缩去掩盖CGAN比其最接近的竞争对手更快，甚至定性和定量结果优于各种最近提出的最先进的盲运动去误紧模型。我们还可以使用我们的模型进行实时映像解擦干任务。标准数据集的当前实验显示了该方法的有效性。

We present DeblurGAN, an end-to-end learned method for motion deblurring. The learning is based on a conditional GAN and the content loss . DeblurGAN achieves state-of-the art performance both in the structural similarity measure and visual appearance. The quality of the deblurring model is also evaluated in a novel way on a real-world problem -object detection on (de-)blurred images. The method is 5 times faster than the closest competitor -Deep-Deblur [25]. We also introduce a novel method for generating synthetic motion blurred images from sharp ones, allowing realistic dataset augmentation.The model, code and the dataset are available at https://github.com/KupynOrest/DeblurGAN

在本文中，我们介绍了基于稀疏学习的端到端生成的对抗网络（GAN），用于单幅图像盲运动去纹理，我们称为SL-Corpygan。在盲运运动去纹理中的第一次，我们提出了一种稀疏的Reset-块作为基于HTM（分层时间内存）的稀疏卷积层和可训练的空间池K-Winner的组合，以替换RESET中的非线性等非线性-Block的SL-Corpergan发电机。此外，与许多最先进的GaN的运动脱孔方法不同，将运动脱棕色作为线性端到端过程，我们从CompyGan的域名翻译能力中获取灵感，我们展示图像去孔可以是循环一致的，同时实现最佳定性结果。最后，我们在定性和定量上对流行的图像基准进行了广泛的实验，并在GoPro数据集上实现了38.087 dB的记录分布PSNR，比最新的去纹理方法优于5.377 dB。

模糊文物可以严重降低图像的视觉质量，并且已经提出了许多用于特定场景的脱模方法。然而，在大多数现实世界的图像中，模糊是由不同因素引起的，例如运动和散焦。在本文中，我们解决了不同的去纹身方法如何在一般类型的模糊上进行。对于深入的性能评估，我们构建一个名为（MC-Blur）的新型大规模的多个原因图像去孔数据集，包括现实世界和合成模糊图像，具有模糊的混合因素。采用不同的技术收集所提出的MC-Blur数据集中的图像：卷积超高清（UHD）具有大核的锐利图像，平均由1000 FPS高速摄像头捕获的清晰图像，向图像添加Defocus，而且真实-world模糊的图像由各种相机型号捕获。这些结果概述了当前的去纹理方法的优缺点。此外，我们提出了一种新的基线模型，适应多种模糊的原因。通过包括对不同程度的特征的不同重量，所提出的网络导出更强大的特征，重量分配给更重要的水平，从而增强了特征表示。新数据集上的广泛实验结果展示了多原因模糊情景所提出的模型的有效性。

Non-uniform blind deblurring for general dynamic scenes is a challenging computer vision problem as blurs arise not only from multiple object motions but also from camera shake, scene depth variation. To remove these complicated motion blurs, conventional energy optimization based methods rely on simple assumptions such that blur kernel is partially uniform or locally linear. Moreover, recent machine learning based methods also depend on synthetic blur datasets generated under these assumptions. This makes conventional deblurring methods fail to remove blurs where blur kernel is difficult to approximate or parameterize (e.g. object motion boundaries). In this work, we propose a multi-scale convolutional neural network that restores sharp images in an end-to-end manner where blur is caused by various sources. Together, we present multiscale loss function that mimics conventional coarse-to-fine approaches. Furthermore, we propose a new large-scale dataset that provides pairs of realistic blurry image and the corresponding ground truth sharp image that are obtained by a high-speed camera. With the proposed model trained on this dataset, we demonstrate empirically that our method achieves the state-of-the-art performance in dynamic scene deblurring not only qualitatively, but also quantitatively.

Despite deep end-to-end learning methods have shown their superiority in removing non-uniform motion blur, there still exist major challenges with the current multi-scale and scale-recurrent models: 1) Deconvolution/upsampling operations in the coarse-to-fine scheme result in expensive runtime; 2) Simply increasing the model depth with finer-scale levels cannot improve the quality of deblurring. To tackle the above problems, we present a deep hierarchical multi-patch network inspired by Spatial Pyramid Matching to deal with blurry images via a fine-tocoarse hierarchical representation. To deal with the performance saturation w.r.t. depth, we propose a stacked version of our multi-patch model. Our proposed basic multi-patch model achieves the state-of-the-art performance on the Go-Pro dataset while enjoying a 40× faster runtime compared to current multi-scale methods. With 30ms to process an image at 1280×720 resolution, it is the first real-time deep motion deblurring model for 720p images at 30fps. For stacked networks, significant improvements (over 1.2dB) are achieved on the GoPro dataset by increasing the network depth. Moreover, by varying the depth of the stacked model, one can adapt the performance and runtime of the same network for different application scenarios.

我们引入了一个新颖的框架，用于连续的面部运动脱毛，该框架通过矩控制因子恢复单个运动毛面脸部图像中潜在的连续锋利力矩。尽管动作毛刺图像是在曝光时间内连续锋利矩的累积信号，但大多数现有的单个图像脱毛方法旨在使用多个网络和训练阶段恢复固定数量的帧。为了解决这个问题，我们提出了一个基于GAN（CFMD-GAN）的连续面部运动脱毛网络，该网络是一个新颖的框架，用于恢复带有单个网络和单个训练阶段的单个运动型面部图像中潜在的连续力矩。为了稳定网络培训，我们训练发电机以通过面部特定于面部知识的面部基于面部运动的重新排序过程（FMR）确定的顺序恢复连续矩。此外，我们提出了一个辅助回归器，该回归器通过估计连续锋利的力矩来帮助我们的发电机产生更准确的图像。此外，我们引入了一个控制自适应（CONTADA）块，该块执行空间变形的卷积和频道的注意，作为控制因子的函数。 300VW数据集上的大量实验表明，所提出的框架通过改变力矩控制因子来生成各种连续的输出帧。与最近使用相同300VW训练集训练的最近的单一单击图像脱蓝色网络相比，提出的方法显示了在感知指标（包括LPIPS，FID和Arcface身份距离）方面恢复中央锋利框架的出色性能。该方法的表现优于现有的单一视频脱蓝和用于定性和定量比较的方法。

本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围（HDR）图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近，在没有配对示例的情况下，生成对抗网络（GAN）证明了它们将图像从源域X转换为目标域y的潜力。在本文中，我们提出了一个基于GAN的网络，用于解决此类问题，同时产生愉快的HDR结果，名为Uphdr-Gan。提出的方法放松了配对数据集的约束，并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据，但UPHDR-GAN可以借助修改后的GAN丢失，改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。

大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

In single image deblurring, the "coarse-to-fine" scheme, i.e. gradually restoring the sharp image on different resolutions in a pyramid, is very successful in both traditional optimization-based methods and recent neural-networkbased approaches. In this paper, we investigate this strategy and propose a Scale-recurrent Network (SRN-DeblurNet) for this deblurring task. Compared with the many recent learning-based approaches in [25], it has a simpler network structure, a smaller number of parameters and is easier to train. We evaluate our method on large-scale deblurring datasets with complex motion. Results show that our method can produce better quality results than state-of-thearts, both quantitatively and qualitatively.

由于大气湍流的扭曲而恢复图像是一个长期存在的问题，这是由于变形的空间变化，图像形成过程的非线性以及训练和测试数据的稀缺性。现有方法通常在失真模型上具有强大的统计假设，在许多情况下，由于没有概括，因此在现实世界中的性能有限。为了克服挑战，本文提出了一种端到端物理驱动的方法，该方法有效，可以推广到现实世界的湍流。在数据合成方面，我们通过通过宽sense式的平稳性近似随机场来显着增加SOTA湍流模拟器可以处理的图像分辨率。新的数据合成过程使大规模的多级湍流和训练的地面真相对产生。在网络设计方面，我们提出了湍流缓解变压器（TMT），这是一个两级U-NET形状的多帧恢复网络，该网络具有Noval有效的自发机制，称为暂时通道关节关注（TCJA）。我们还引入了一种新的培训方案，该方案由新的模拟器启用，并设计新的变压器单元以减少内存消耗。在静态场景和动态场景上的实验结果是有希望的，包括各种真实的湍流场景。

该论文根据近年来提出的基于经典定理和最先进的方法来分析图像过度的挑战性问题。通过光谱分析，我们从数学上显示了光谱正则化方法的有效性，并指出光谱滤波结果与正则化优化目标的解决方案之间的联系。对于诸如Image Deblurring之类的不适性问题，优化目标包含一个正则化项（也称为正则化功能），该项将我们的先验知识编码为解决方案。我们使用最大后验估计的想法来演示如何通过手工制作正规化术语。然后，我们指出了这种基于正则化方法的局限性，并介入基于神经网络的方法。基于Wasserstein生成对抗模型的想法，我们可以训练CNN学习正则化功能。这种数据驱动的方法能够捕获复杂性，这可能在分析上不可调节。此外，近年来，随着体系结构的改善，由于观察到模糊的观察，该网络已经能够近似于地面真相的图像。生成对抗网络（GAN）在此图像到图像翻译的想法上工作。我们分析了Orest Kupyn等人提出的DeBlurgan-V2方法。 [14] 2019年基于数值测试。并且，根据实验结果和我们的知识，我们提出了一些改进此方法的建议。

夜间摄影通常由于昏暗的环境和长期使用而遭受弱光和模糊问题。尽管现有的光增强和脱毛方法可以单独解决每个问题，但一系列此类方法不能和谐地适应可见性和纹理的共同降解。训练端到端网络也是不可行的，因为没有配对数据可以表征低光和模糊的共存。我们通过引入新的数据合成管道来解决该问题，该管道对现实的低光模糊降解进行建模。使用管道，我们介绍了第一个用于关节低光增强和去皮的大型数据集。数据集，LOL-BLUR，包含12,000个低Blur/正常出现的对，在不同的情况下具有不同的黑暗和运动模糊。我们进一步提出了一个名为LEDNET的有效网络，以执行关节弱光增强和脱毛。我们的网络是独一无二的，因为它是专门设计的，目的是考虑两个相互连接的任务之间的协同作用。拟议的数据集和网络都为这项具有挑战性的联合任务奠定了基础。广泛的实验证明了我们方法对合成和现实数据集的有效性。

低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单

现有的视频denoising方法通常假设嘈杂的视频通过添加高斯噪声从干净的视频中降低。但是，经过这种降解假设训练的深层模型将不可避免地导致由于退化不匹配而导致的真实视频的性能差。尽管一些研究试图在摄像机捕获的嘈杂和无噪声视频对上训练深层模型，但此类模型只能对特定的相机很好地工作，并且对其他视频的推广不佳。在本文中，我们建议提高此限制，并专注于一般真实视频的问题，目的是在看不见的现实世界视频上概括。我们首先调查视频噪音的共同行为来解决这个问题，并观察两个重要特征：1）缩减有助于降低空间空间中的噪声水平； 2）来自相邻框架的信息有助于消除时间上的当前框架的噪声空间。在这两个观察结果的推动下，我们通过充分利用上述两个特征提出了多尺度的复发架构。其次，我们通过随机调整不同的噪声类型来训练Denoising模型来提出合成真实的噪声降解模型。借助合成和丰富的降解空间，我们的退化模型可以帮助弥合训练数据和现实世界数据之间的分布差距。广泛的实验表明，与现有方法相比，我们所提出的方法实现了最先进的性能和更好的概括能力，而在合成高斯denoising和实用的真实视频denoisising方面都具有现有方法。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

在本文中，我们研究了现实世界图像脱毛的问题，并考虑了改善深度图像脱布模型的性能的两个关键因素，即培训数据综合和网络体系结构设计。经过现有合成数据集训练的脱毛模型在由于域移位引起的真实模糊图像上的表现较差。为了减少合成和真实域之间的域间隙，我们提出了一种新颖的现实模糊合成管道来模拟摄像机成像过程。由于我们提出的合成方法，可以使现有的Deblurring模型更强大，以处理现实世界的模糊。此外，我们开发了一个有效的脱蓝色模型，该模型同时捕获特征域中的非本地依赖性和局部上下文。具体而言，我们将多路径变压器模块介绍给UNET架构，以进行丰富的多尺度功能学习。在三个现实世界数据集上进行的全面实验表明，所提出的Deblurring模型的性能优于最新方法。