在现实世界中收集大型清洁扭曲的训练图像对是非琐碎的，这严重限制了这些受监管的基于学习的图像恢复（IR）方法的实际应用。以前的作品试图通过利用无监督的学习技术来缓解对配对训练样本的依赖来解决这个问题。然而，由于缺乏清洁的图像监督，这些方法通常遭受不令人满意的纹理合成。与纯粹无监督的解决方案相比，具有少量清洁图像（FS-IR）的探索计划（FS-IR）更加可行，以解决这一具有挑战性的真实图像恢复任务。在本文中，我们是第一个调查少量实际图像恢复，并提出失真关系引导学习（称为DRTL）框架。 DRTL为知识图分配，以捕获辅助任务（即，合成失真）和目标任务之间的失真关系（即，具有少量图像的实际失真），然后采用梯度加权策略来指导从辅助任务到目标任务的知识传输。通过这种方式，DRTL可以快速学习来自前后扭曲的最相关的知识来实现​​目标失真。我们将DRTL实例化与预训练和元学习管道集成为一个实施例，以实现失真 - 关系意识FS-IR。在多个基准上的广泛实验证明了DRTL对少量实际图像恢复的有效性。

近年来，已经对真实图像deno的任务进行了大量研究。但是，通过创建更好的网络体系结构来改善真实图像的努力。我们探索了一个不同的方向，我们建议通过更好的学习策略来改善真实图像deno的性能，该策略可以在多任务网络上进行测试时间适应。学习策略是两个阶段，第一阶段使用元辅助学习预先培训网络以获得更好的元定位化。同时，我们使用元学习进行微调（元转移学习）作为培训的第二阶段，以实现对真实嘈杂图像的测试时间适应。为了利用更好的学习策略，我们还提出了一个具有自我监督的掩盖重建损失的网络体系结构。实际嘈杂数据集的实验显示了提出的方法的贡献，并表明该方法可以优于其他SOTA方法。

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

虽然单图像超分辨率（SISR）方法在单次降级方面取得了巨大成功，但它们仍然在实际情况下具有多重降低效果的性能下降。最近，已经探索了一些盲人和非盲模范，已经探讨了多重降级。然而，这些方法通常在训练和测试数据之间的分布换档方面显着降低。为此，我们第一次提出了一个条件元网络框架（命名CMDSR），这有助于SR框架了解如何适应输入分布的变化。我们使用所提出的ConditionNet在任务级别提取劣化，该条件将用于调整基本SR网络（BaseNet）的参数。具体而言，我们的框架的ConditionNet首先从支撑集中学习劣化，该支持集由来自相同任务的一系列劣化图像补丁组成。然后，Adaptive BaseNet根据条件特征迅速移动其参数。此外，为了更好地提取劣化，我们提出了一个任务对比损失，以减少内部任务距离，并增加任务级别功能之间的交叉任务距离。在没有预定义的降级地图，我们的盲框可以进行一个参数更新，以产生相当大的SR结果。广泛的实验证明了CMDSR在各种盲，甚至是非盲方法上的有效性。柔性基座结构还揭示了CMDSR可以是大系列SISR模型的一般框架。

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

学习自然图像恢复的一般性先验是一项重要但具有挑战性的任务。早期方法主要涉及手工制作的先验，包括归一化稀疏性，L_0梯度，暗通道先验等。最近，深层神经网络已用于学习各种图像先验，但不能保证概括。在本文中，我们提出了一种新颖的方法，该方法将任务敏捷的先验嵌入到变压器中。我们的方法称为任务不合时宜的先验嵌入（磁带），由两个阶段组成，即，任务不合时宜的预训练和特定于任务的微调，第一阶段将有关自然图像的先验知识嵌入到变压器中，第二阶段嵌入了第二阶段。阶段提取知识以帮助下游图像恢复。对各种降解的实验验证了胶带的有效性。根据PSNR的图像恢复性能提高了多达1.45dB，甚至超过了特定于任务的算法。更重要的是，磁带显示了从退化的图像中解开广义图像先验的能力，这些图像具有良好的转移能力，可以转移到未知的下游任务。

近年来，压缩图像超分辨率已引起了极大的关注，其中图像被压缩伪像和低分辨率伪影降解。由于复杂的杂化扭曲变形，因此很难通过简单的超分辨率和压缩伪像消除掉的简单合作来恢复扭曲的图像。在本文中，我们向前迈出了一步，提出了层次的SWIN变压器（HST）网络，以恢复低分辨率压缩图像，该图像共同捕获分层特征表示并分别用SWIN Transformer增强每个尺度表示。此外，我们发现具有超分辨率（SR）任务的预处理对于压缩图像超分辨率至关重要。为了探索不同的SR预审查的影响，我们将常用的SR任务（例如，比科比奇和不同的实际超分辨率仿真）作为我们的预处理任务，并揭示了SR在压缩的图像超分辨率中起不可替代的作用。随着HST和预训练的合作，我们的HST在AIM 2022挑战中获得了低质量压缩图像超分辨率轨道的第五名，PSNR为23.51db。广泛的实验和消融研究已经验证了我们提出的方法的有效性。

盲级超分辨率（SR）旨在从低分辨率（LR）图像中恢复高质量的视觉纹理，通常通过下采样模糊内核和添加剂噪声来降解。由于现实世界中复杂的图像降解的挑战，此任务非常困难。现有的SR方法要么假定预定义的模糊内核或固定噪声，这限制了这些方法在具有挑战性的情况下。在本文中，我们提出了一个用于盲目超级分辨率（DMSR）的降解引导的元修复网络，该网络促进了真实病例的图像恢复。 DMSR由降解提取器和元修复模块组成。萃取器估计LR输入中的降解，并指导元恢复模块以预测恢复参数的恢复参数。 DMSR通过新颖的降解一致性损失和重建损失共同优化。通过这样的优化，DMSR在三个广泛使用的基准上以很大的边距优于SOTA。一项包括16个受试者的用户研究进一步验证了现实世界中的盲目SR任务中DMSR的优势。

引导过滤器是计算机视觉和计算机图形中的基本工具，旨在将结构信息从引导图像传输到目标图像。大多数现有方法构造来自指导本身的滤波器内核，而不考虑指导和目标之间的相互依赖性。然而，由于两种图像中通常存在显着不同的边沿，只需将引导的所有结构信息传送到目标即将导致各种伪像。要应对这个问题，我们提出了一个名为Deep Enterponal引导图像过滤的有效框架，其过滤过程可以完全集成两个图像中包含的互补信息。具体地，我们提出了一种注意力内核学习模块，分别从引导和目标生成双组滤波器内核，然后通过在两个图像之间建模像素方向依赖性来自适应地组合它们。同时，我们提出了一种多尺度引导图像滤波模块，以粗略的方式通过所构造的内核逐渐产生滤波结果。相应地，引入了多尺度融合策略以重用中间导点在粗略的过程中。广泛的实验表明，所提出的框架在广泛的引导图像滤波应用中，诸如引导超分辨率，横向模态恢复，纹理拆除和语义分割的最先进的方法。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

盲人面部修复（BFR）旨在从低品质的图像中恢复高质量的面部图像，并通常求助于面部先验，以改善恢复性能。但是，当前的方法仍然遇到两个主要困难：1）如何在不进行大规模调整的情况下得出强大的网络体系结构； 2）如何从一个网络中的多个面部先验捕获互补信息以提高恢复性能。为此，我们提出了一个面部修复搜索网络（FRSNET），以适应我们指定的搜索空间内的合适特征提取体系结构，这可以直接有助于恢复质量。在FRSNET的基础上，我们通过多个学习方案进一步设计了多个面部先验搜索网络（MFPSNET）。 MFPSNET最佳地从不同的面部先验中提取信息，并将信息融合到图像特征中，以确保保留外部指导和内部特征。通过这种方式，MFPSNet充分利用了语义级别（解析图），几何级别（面部热图），参考级别（面部词典）和像素级（降级图像）信息，从而产生忠实且逼真的图像。定量和定性实验表明，MFPSNET在合成和现实世界数据集上对最先进的BFR方法表现出色。这些代码可公开可用：https：//github.com/yyj1ang/mfpsnet。

交互式图像恢复旨在通过调整几个控制系数来恢复图像，从而确定恢复强度。现有方法在学习已知降解类型和级别的监督下学习可控功能受到限制。当真正的降解与假设不同时，它们通常会遭受严重的性能下降。这样的限制是由于现实世界下降的复杂性，无法在培训期间对交互式调制提供明确的监督。但是，尚未研究如何实现现实世界中超级分辨率中的交互式调制。在这项工作中，我们提出了基于公制的实现现实世界超级分辨率（MM-REALSR）的交互式调制。具体而言，我们提出了一种无监督的退化估计策略，以估计现实情况下的降解水平。我们提出了一种度量学习策略，而不是将已知的降解水平作为对互动机制的明确监督，而是提出了一种度量策略，以将现实世界情景中的不可量化的降解水平映射到公制空间，该度量空间以不受监督的方式进行培训。此外，我们在度量学习过程中引入了锚点策略，以使度量空间的分布正常化。广泛的实验表明，所提出的MM-REALSR在现实世界中的超级分辨率中实现了出色的调制和恢复性能。代码可在https://github.com/tencentarc/mm-realsr上找到。

The task of Few-shot learning (FSL) aims to transfer the knowledge learned from base categories with sufficient labelled data to novel categories with scarce known information. It is currently an important research question and has great practical values in the real-world applications. Despite extensive previous efforts are made on few-shot learning tasks, we emphasize that most existing methods did not take into account the distributional shift caused by sample selection bias in the FSL scenario. Such a selection bias can induce spurious correlation between the semantic causal features, that are causally and semantically related to the class label, and the other non-causal features. Critically, the former ones should be invariant across changes in distributions, highly related to the classes of interest, and thus well generalizable to novel classes, while the latter ones are not stable to changes in the distribution. To resolve this problem, we propose a novel data augmentation strategy dubbed as PatchMix that can break this spurious dependency by replacing the patch-level information and supervision of the query images with random gallery images from different classes from the query ones. We theoretically show that such an augmentation mechanism, different from existing ones, is able to identify the causal features. To further make these features to be discriminative enough for classification, we propose Correlation-guided Reconstruction (CGR) and Hardness-Aware module for instance discrimination and easier discrimination between similar classes. Moreover, such a framework can be adapted to the unsupervised FSL scenario.

基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务更改的细节时，通常都需要昂贵的网络再培训。在本文中，我们建议使用有效的插入方法以统一的方法恢复HSI，该方法可以共同保留基于优化方法的灵活性，并利用深神经网络的强大表示能力。具体而言，我们首先开发了一个新的深HSI DeNoiser，利用了门控复发单元，短期和长期的跳过连接以及增强的噪声水平图，以更好地利用HSIS内丰富的空间光谱信息。因此，这导致在高斯和复杂的噪声设置下，在HSI DeNosing上的最新性能。然后，在处理各种HSI恢复任务之前，将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率，压缩感测和内部进行的广泛实验，我们证明了我们的方法经常实现卓越的性能，这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。

尽管目前基于深度学习的方法在盲目的单图像超分辨率（SISR）任务中已获得了有希望的表现，但其中大多数主要集中在启发式上构建多样化的网络体系结构，并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率（HR）图像。为了减轻这个问题，我们提出了一个模型驱动的深神经网络，称为blind SISR。具体而言，为了解决经典的SISR模型，我们提出了一种简单的效果迭代算法。然后，通过将所涉及的迭代步骤展开到相应的网络模块中，我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此，学习的模糊内核具有清晰的物理模式，并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在：\ url {https://github.com/jiahong-fu/kxnet}中获得。

图像恢复是从降级版本中恢复清洁图像的任务。在大多数情况下，劣化是空间变化的，并且它需要恢复网络到本地化并恢复受影响的区域。在本文中，我们提出了一种适用于处理受实际发生的伪像（如模糊，雨杆）的图像中的图像中降解的图像特异性和空间不同性质的新方法。与直接学习劣化和清洁图像之间的映射直接学习映射的现有方法不同，我们将恢复任务分解为劣化定位和降级的区域引导恢复的两个阶段。我们的前提是使用劣化掩模预测的辅助任务来指导恢复过程。我们展示了对此辅助任务培训的模型包含重要地区知识，可以利用使用细心知识蒸馏技术来指导恢复网络的培训。此外，我们提出了掩模引导的卷积和全局上下文聚合模块，专注于恢复劣化区域。通过实现强大基线的显着改善，证明了所提出的方法的有效性。

Diffusion Probabilistic Models (DPMs) have recently been employed for image deblurring. DPMs are trained via a stochastic denoising process that maps Gaussian noise to the high-quality image, conditioned on the concatenated blurry input. Despite their high-quality generated samples, image-conditioned Diffusion Probabilistic Models (icDPM) rely on synthetic pairwise training data (in-domain), with potentially unclear robustness towards real-world unseen images (out-of-domain). In this work, we investigate the generalization ability of icDPMs in deblurring, and propose a simple but effective guidance to significantly alleviate artifacts, and improve the out-of-distribution performance. Particularly, we propose to first extract a multiscale domain-generalizable representation from the input image that removes domain-specific information while preserving the underlying image structure. The representation is then added into the feature maps of the conditional diffusion model as an extra guidance that helps improving the generalization. To benchmark, we focus on out-of-distribution performance by applying a single-dataset trained model to three external and diverse test sets. The effectiveness of the proposed formulation is demonstrated by improvements over the standard icDPM, as well as state-of-the-art performance on perceptual quality and competitive distortion metrics compared to existing methods.

由于智能手机摄像机中配备了相对较小的传感器，通常在当今捕获的图像中通常存在高噪声，在这种情况下，噪声带来了有损图像压缩算法的额外挑战。如果没有能力分辨图像细节和噪声之间的差异，一般图像压缩方法分配了其他位，以在压缩过程中明确存储不需要的图像噪声，并在减压期间恢复不愉快的嘈杂图像。基于观察结果，我们优化图像压缩算法是噪声吸引的，因为关节降解和压缩以解决位不当分配问题。关键是要通过消除压缩过程中的不希望的噪声来将原始噪声图像转换为无噪声的位，以后将其作为干净的图像解压缩。具体而言，我们提出了一种新型的两分支，重量分担的架构，并具有插件功能Denoisers，以允许在几乎没有计算成本的情况下简单有效地实现目标。实验结果表明，我们的方法对合成数据集和现实数据集的现有基线方法有了显着改进。我们的源代码可从https://github.com/felixcheng97/denoisecompression获得。

知识蒸馏（KD）可以有效地将知识从繁琐的网络（教师）转移到紧凑的网络（学生），在某些计算机视觉应用中证明了其优势。知识的表示对于知识转移和学生学习至关重要，这通常以手工制作的方式定义或直接使用中间功能。在本文中，我们建议在教师学生架构下为单像超级分辨率任务提出一种模型 - 不足的元知识蒸馏方法。它提供了一种更灵活，更准确的方法，可以通过知识代表网络（KRNET）的能力来帮助教师通过具有可学习参数的知识传输知识。为了提高知识表示对学生需求的看法能力，我们建议通过采用学生特征以及KRNET中的教师和学生之间的相关性来解决从中间产出到转移知识的转型过程。具体而言，生成纹理感知的动态内核，然后提取要改进的纹理特征，并将相应的教师指导分解为质地监督，以进一步促进高频细节的恢复质量。此外，KRNET以元学习方式进行了优化，以确保知识转移和学生学习有益于提高学生的重建质量。在各种单个图像超分辨率数据集上进行的实验表明，我们所提出的方法优于现有的定义知识表示相关的蒸馏方法，并且可以帮助超分辨率算法实现更好的重建质量，而无需引入任何推理复杂性。