Blind image super-resolution (Blind-SR) aims to recover a high-resolution (HR) image from its corresponding low-resolution (LR) input image with unknown degradations. Most of the existing works design an explicit degradation estimator for each degradation to guide SR. However, it is infeasible to provide concrete labels of multiple degradation combinations (\eg, blur, noise, jpeg compression) to supervise the degradation estimator training. In addition, these special designs for certain degradation, such as blur, impedes the models from being generalized to handle different degradations. To this end, it is necessary to design an implicit degradation estimator that can extract discriminative degradation representation for all degradations without relying on the supervision of degradation ground-truth. In this paper, we propose a Knowledge Distillation based Blind-SR network (KDSR). It consists of a knowledge distillation based implicit degradation estimator network (KD-IDE) and an efficient SR network. To learn the KDSR model, we first train a teacher network: KD-IDE$_{T}$. It takes paired HR and LR patches as inputs and is optimized with the SR network jointly. Then, we further train a student network KD-IDE$_{S}$, which only takes LR images as input and learns to extract the same implicit degradation representation (IDR) as KD-IDE$_{T}$. In addition, to fully use extracted IDR, we design a simple, strong, and efficient IDR based dynamic convolution residual block (IDR-DCRB) to build an SR network. We conduct extensive experiments under classic and real-world degradation settings. The results show that KDSR achieves SOTA performance and can generalize to various degradation processes. The source codes and pre-trained models will be released.

基于CNN的大多数超分辨率（SR）方法假设降解是已知的（\ eg，bicubic）。当降解与假设不同时，这些方法将遭受严重的性能下降。因此，一些方法试图通过多种降解的复杂组合来培训SR网络，以涵盖实际的降解空间。为了适应多个未知降解，引入显式降解估计器实际上可以促进SR性能。然而，以前的显式降解估计方法通常可以通过对地面模糊内核的监督来预测高斯的模糊，并且估计错误可能导致SR失败。因此，有必要设计一种可以提取隐式歧视性降解表示的方法。为此，我们提出了一个基于元学习的区域退化意识SR网络（MRDA），包括元学习网络（MLN），降级提取网络（DEN）和区域退化意识SR Network（RDAN）。为了处理缺乏地面污染的降解，我们使用MLN在几次迭代后快速适应特定的复合物降解并提取隐式降解信息。随后，教师网络MRDA $ _ {T} $旨在进一步利用MLN为SR提取的降解信息。但是，MLN需要在配对的低分辨率（LR）和相应的高分辨率（HR）图像上进行迭代，这在推理阶段不可用。因此，我们采用知识蒸馏（KD）来使学生网络学会直接提取与LR图像的老师相同的隐式退化表示（IDR）。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

盲级超分辨率（SR）旨在从低分辨率（LR）图像中恢复高质量的视觉纹理，通常通过下采样模糊内核和添加剂噪声来降解。由于现实世界中复杂的图像降解的挑战，此任务非常困难。现有的SR方法要么假定预定义的模糊内核或固定噪声，这限制了这些方法在具有挑战性的情况下。在本文中，我们提出了一个用于盲目超级分辨率（DMSR）的降解引导的元修复网络，该网络促进了真实病例的图像恢复。 DMSR由降解提取器和元修复模块组成。萃取器估计LR输入中的降解，并指导元恢复模块以预测恢复参数的恢复参数。 DMSR通过新颖的降解一致性损失和重建损失共同优化。通过这样的优化，DMSR在三个广泛使用的基准上以很大的边距优于SOTA。一项包括16个受试者的用户研究进一步验证了现实世界中的盲目SR任务中DMSR的优势。

尽管目前基于深度学习的方法在盲目的单图像超分辨率（SISR）任务中已获得了有希望的表现，但其中大多数主要集中在启发式上构建多样化的网络体系结构，并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率（HR）图像。为了减轻这个问题，我们提出了一个模型驱动的深神经网络，称为blind SISR。具体而言，为了解决经典的SISR模型，我们提出了一种简单的效果迭代算法。然后，通过将所涉及的迭代步骤展开到相应的网络模块中，我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此，学习的模糊内核具有清晰的物理模式，并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在：\ url {https://github.com/jiahong-fu/kxnet}中获得。

Existing convolutional neural networks (CNN) based image super-resolution (SR) methods have achieved impressive performance on bicubic kernel, which is not valid to handle unknown degradations in real-world applications. Recent blind SR methods suggest to reconstruct SR images relying on blur kernel estimation. However, their results still remain visible artifacts and detail distortion due to the estimation errors. To alleviate these problems, in this paper, we propose an effective and kernel-free network, namely DSSR, which enables recurrent detail-structure alternative optimization without blur kernel prior incorporation for blind SR. Specifically, in our DSSR, a detail-structure modulation module (DSMM) is built to exploit the interaction and collaboration of image details and structures. The DSMM consists of two components: a detail restoration unit (DRU) and a structure modulation unit (SMU). The former aims at regressing the intermediate HR detail reconstruction from LR structural contexts, and the latter performs structural contexts modulation conditioned on the learned detail maps at both HR and LR spaces. Besides, we use the output of DSMM as the hidden state and design our DSSR architecture from a recurrent convolutional neural network (RCNN) view. In this way, the network can alternatively optimize the image details and structural contexts, achieving co-optimization across time. Moreover, equipped with the recurrent connection, our DSSR allows low- and high-level feature representations complementary by observing previous HR details and contexts at every unrolling time. Extensive experiments on synthetic datasets and real-world images demonstrate that our method achieves the state-of-the-art against existing methods. The source code can be found at https://github.com/Arcananana/DSSR.

突发超级分辨率（SR）提供了从低质量图像恢复丰富细节的可能性。然而，由于实际应用中的低分辨率（LR）图像具有多种复杂和未知的降级，所以现有的非盲（例如，双臂）设计的网络通常导致恢复高分辨率（HR）图像的严重性能下降。此外，处理多重未对准的嘈杂的原始输入也是具有挑战性的。在本文中，我们解决了从现代手持设备获取的原始突发序列重建HR图像的问题。中央观点是一个内核引导策略，可以用两个步骤解决突发SR：内核建模和HR恢复。前者估计来自原始输入的突发内核，而后者基于估计的内核预测超分辨图像。此外，我们引入了内核感知可变形对准模块，其可以通过考虑模糊的前沿而有效地对准原始图像。对综合和现实世界数据集的广泛实验表明，所提出的方法可以在爆发SR问题中对最先进的性能进行。

Real-world image super-resolution (RISR) has received increased focus for improving the quality of SR images under unknown complex degradation. Existing methods rely on the heavy SR models to enhance low-resolution (LR) images of different degradation levels, which significantly restricts their practical deployments on resource-limited devices. In this paper, we propose a novel Dynamic Channel Splitting scheme for efficient Real-world Image Super-Resolution, termed DCS-RISR. Specifically, we first introduce the light degradation prediction network to regress the degradation vector to simulate the real-world degradations, upon which the channel splitting vector is generated as the input for an efficient SR model. Then, a learnable octave convolution block is proposed to adaptively decide the channel splitting scale for low- and high-frequency features at each block, reducing computation overhead and memory cost by offering the large scale to low-frequency features and the small scale to the high ones. To further improve the RISR performance, Non-local regularization is employed to supplement the knowledge of patches from LR and HR subspace with free-computation inference. Extensive experiments demonstrate the effectiveness of DCS-RISR on different benchmark datasets. Our DCS-RISR not only achieves the best trade-off between computation/parameter and PSNR/SSIM metric, and also effectively handles real-world images with different degradation levels.

现实世界图像超分辨率（SR）的关键挑战是在低分辨率（LR）图像中恢复具有复杂未知降解（例如，下采样，噪声和压缩）的缺失细节。大多数以前的作品还原图像空间中的此类缺失细节。为了应对自然图像的高度多样性，他们要么依靠难以训练和容易训练和伪影的不稳定的甘体，要么诉诸于通常不可用的高分辨率（HR）图像中的明确参考。在这项工作中，我们提出了匹配SR（FEMASR）的功能，该功能在更紧凑的特征空间中恢复了现实的HR图像。与图像空间方法不同，我们的FEMASR通过将扭曲的LR图像{\ IT特征}与我们预读的HR先验中的无失真性HR对应物匹配来恢复HR图像，并解码匹配的功能以获得现实的HR图像。具体而言，我们的人力资源先验包含一个离散的特征代码簿及其相关的解码器，它们在使用量化的生成对抗网络（VQGAN）的HR图像上预估计。值得注意的是，我们在VQGAN中结合了一种新型的语义正则化，以提高重建图像的质量。对于功能匹配，我们首先提取由LR编码器组成的LR编码器的LR功能，然后遵循简单的最近邻居策略，将其与预读的代码簿匹配。特别是，我们为LR编码器配备了与解码器的残留快捷方式连接，这对于优化功能匹配损耗至关重要，还有助于补充可能的功能匹配错误。实验结果表明，我们的方法比以前的方法产生更现实的HR图像。代码以\ url {https://github.com/chaofengc/femasr}发布。

Deep Convolutional Neural Networks (DCNNs) have exhibited impressive performance on image super-resolution tasks. However, these deep learning-based super-resolution methods perform poorly in real-world super-resolution tasks, where the paired high-resolution and low-resolution images are unavailable and the low-resolution images are degraded by complicated and unknown kernels. To break these limitations, we propose the Unsupervised Bi-directional Cycle Domain Transfer Learning-based Generative Adversarial Network (UBCDTL-GAN), which consists of an Unsupervised Bi-directional Cycle Domain Transfer Network (UBCDTN) and the Semantic Encoder guided Super Resolution Network (SESRN). First, the UBCDTN is able to produce an approximated real-like LR image through transferring the LR image from an artificially degraded domain to the real-world LR image domain. Second, the SESRN has the ability to super-resolve the approximated real-like LR image to a photo-realistic HR image. Extensive experiments on unpaired real-world image benchmark datasets demonstrate that the proposed method achieves superior performance compared to state-of-the-art methods.

盲目图像超分辨率（SR）的典型方法通过直接估算或学习潜在空间中的降解表示来处理未知的降解。这些方法的一个潜在局限性是，他们假设可以通过整合各种手工降解（例如，比科比克下采样）来模拟未知的降解，这不一定是正确的。现实世界中的降解可能超出了手工降解的模拟范围，这被称为新型降解。在这项工作中，我们建议学习一个潜在的降解空间，可以将其从手工制作的（基本）降解中推广到新的降解。然后将其在此潜在空间中获得的新型降解的表示形式被利用，以生成与新型降解一致的降级图像，以构成SR模型的配对训练数据。此外，我们执行各种推断，以使潜在表示空间中的降解后降解与先前的分布（例如高斯分布）相匹配。因此，我们能够采样更多的高质量表示以进行新的降级，以增加SR模型的训练数据。我们对合成数据集和现实数据集进行了广泛的实验，以验证我们在新型降解中盲目超分辨率的有效性和优势。

近年来，在光场（LF）图像超分辨率（SR）中，深度神经网络（DNN）的巨大进展。但是，现有的基于DNN的LF图像SR方法是在单个固定降解（例如，双学的下采样）上开发的，因此不能应用于具有不同降解的超级溶解实际LF图像。在本文中，我们提出了第一种处理具有多个降解的LF图像SR的方法。在我们的方法中，开发了一个实用的LF降解模型，以近似于真实LF图像的降解过程。然后，降解自适应网络（LF-DANET）旨在将降解之前纳入SR过程。通过对具有多种合成降解的LF图像进行训练，我们的方法可以学会适应不同的降解，同时结合了空间和角度信息。对合成降解和现实世界LFS的广泛实验证明了我们方法的有效性。与现有的最新单一和LF图像SR方法相比，我们的方法在广泛的降解范围内实现了出色的SR性能，并且可以更好地推广到真实的LF图像。代码和模型可在https://github.com/yingqianwang/lf-danet上找到。

当前的深层图像超分辨率（SR）方法试图从下采样的图像或假设简单高斯内核和添加噪声中降解来恢复高分辨率图像。但是，这种简单的图像处理技术代表了降低图像分辨率的现实世界过程的粗略近似。在本文中，我们提出了一个更现实的过程，通过引入新的内核对抗学习超分辨率（KASR）框架来处理现实世界图像SR问题，以降低图像分辨率。在提议的框架中，降解内核和噪声是自适应建模的，而不是明确指定的。此外，我们还提出了一个迭代监督过程和高频选择性目标，以进一步提高模型SR重建精度。广泛的实验验证了对现实数据集中提出的框架的有效性。

虽然最近基于模型的盲目单图像超分辨率（SISR）的研究已经取得了巨大的成功，但大多数人都不认为图像劣化。首先，它们总是假设图像噪声obeys独立和相同分布的（i.i.d.）高斯或拉普拉斯分布，这在很大程度上低估了真实噪音的复杂性。其次，以前的常用核前沿（例如，归一化，稀疏性）不足以保证理性内核解决方案，从而退化后续SISR任务的性能。为了解决上述问题，本文提出了一种基于模型的盲人SISR方法，该方法在概率框架下，从噪声和模糊内核的角度精心模仿图像劣化。具体而言，而不是传统的i.i.d.噪声假设，基于补丁的非i.i.d。提出噪声模型来解决复杂的真实噪声，期望增加噪声表示模型的自由度。至于模糊内核，我们新建构建一个简洁但有效的内核生成器，并将其插入所提出的盲人SISR方法作为明确的内核（EKP）。为了解决所提出的模型，专门设计了理论上接地的蒙特卡罗EM算法。综合实验证明了我们对综合性和实时数据集的最新技术的方法的优越性。

为了在盲图超级分辨率（SR）上取得有希望的结果，一些尝试利用低分辨率（LR）图像来预测内核并改善SR性能。但是，由于不可用的现实世界模糊内核，这些监督的内核预测（SKP）方法是不切实际的。尽管提出了一些无监督的降解预测（UDP）方法来绕过此问题，但\ textIt {contercestency}之间的降解嵌入和SR功能之间仍然具有挑战性。通过探索降解嵌入与SR功能之间的相关性，我们观察到共同学习内容和降解感知功能是最佳的。基于此观察结果，提出了一个名为CDSR的内容和退化的SR网络。具体而言，CDSR包含三个新建立的模块：（1）将基于重量的编码器（LPE）应用于共同提取内容和降解功能； （2）采用基于域查询的基于注意力的模块（DQA）来适应不一致； （3）基于密码的空格压缩模块（CSC），可以抑制冗余信息。对几个基准测试的广泛实验表明，即使与最先进的SKP方法相比，提议的CDSR的表现都优于现有的UDP模型，并在PSNR和SSIM上实现竞争性能。

对比学习在各种高级任务中取得了显着的成功，但是为低级任务提出了较少的方法。采用VANILLA对比学习技术采用直接为低级视觉任务提出的VANILLA对比度学习技术，因为所获得的全局视觉表现不足以用于需要丰富的纹理和上下文信息的低级任务。在本文中，我们提出了一种用于单图像超分辨率（SISR）的新型对比学习框架。我们从两个视角调查基于对比的学习的SISR：样品施工和特征嵌入。现有方法提出了一些天真的样本施工方法（例如，考虑到作为负样本的低质量输入以及作为正样品的地面真理），并且它们采用了先前的模型（例如，预先训练的VGG模型）来获得该特征嵌入而不是探索任务友好的。为此，我们向SISR提出了一个实用的对比学习框架，涉及在频率空间中产生许多信息丰富的正负样本。我们不是利用其他预先训练的网络，我们设计了一种从鉴别器网络继承的简单但有效的嵌入网络，并且可以用主SR网络迭代优化，使其成为任务最通报。最后，我们对我们的方法进行了广泛的实验评估，与基准方法相比，在目前的最先进的SISR方法中显示出高达0.21 dB的显着增益。

极度依赖于从划痕的模型的降级或优化的降解或优化的迭代估计，现有的盲超分辨率（SR）方法通常是耗时和效率较低，因为退化的估计从盲初始化进行并且缺乏可解释降解前沿。为了解决它，本文提出了一种使用端到端网络的盲SR的过渡学习方法，没有任何额外的推断中的额外迭代，并探讨了未知降级的有效表示。首先，我们分析并证明降解的过渡性作为可解释的先前信息，以间接推断出未知的降解模型，包括广泛使用的添加剂和卷曲降解。然后，我们提出了一种新颖的过渡性学习方法，用于盲目超分辨率（TLSR），通过自适应地推断过渡转换功能来解决未知的降级而没有推断的任何迭代操作。具体地，端到端TLSR网络包括一定程度的过渡性（点）估计网络，同一性特征提取网络和过渡学习模块。对盲人SR任务的定量和定性评估表明，拟议的TLSR实现了优异的性能，并且对最先进的盲人SR方法的复杂性较少。该代码可在github.com/yuanfeihuang/tlsr获得。

基于参考的超分辨率（REFSR）在使用外部参考（REF）图像产生现实纹理方面取得了重大进展。然而，现有的REFSR方法可以获得与输入大小一起消耗二次计算资源的高质量对应匹配，限制其应用程序。此外，这些方法通常遭受低分辨率（LR）图像和REF图像之间的比例错位。在本文中，我们提出了一种加速的多尺度聚合网络（AMSA），用于基于参考的超分辨率，包括粗略嵌入式斑块（CFE-PACKPMATCH）和多尺度动态聚合（MSDA）模块。为了提高匹配效率，我们设计一种具有随机样本传播的新型嵌入式PACKMTH方案，其涉及具有渐近线性计算成本的端到端训练到输入大小。为了进一步降低计算成本和加速会聚，我们在构成CFE-PACKMATCH的嵌入式PACKMACTH上应用了粗略策略。为了完全利用跨多个尺度的参考信息并增强稳定性的稳定性，我们开发由动态聚合和多尺度聚合组成的MSDA模块。动态聚合通过动态聚合特征来纠正轻微比例的错位，并且多尺度聚合通过融合多尺度信息来为大规模错位带来鲁棒性。实验结果表明，该拟议的AMSA对定量和定性评估的最先进方法实现了卓越的性能。

虽然单图像超分辨率（SISR）方法在单次降级方面取得了巨大成功，但它们仍然在实际情况下具有多重降低效果的性能下降。最近，已经探索了一些盲人和非盲模范，已经探讨了多重降级。然而，这些方法通常在训练和测试数据之间的分布换档方面显着降低。为此，我们第一次提出了一个条件元网络框架（命名CMDSR），这有助于SR框架了解如何适应输入分布的变化。我们使用所提出的ConditionNet在任务级别提取劣化，该条件将用于调整基本SR网络（BaseNet）的参数。具体而言，我们的框架的ConditionNet首先从支撑集中学习劣化，该支持集由来自相同任务的一系列劣化图像补丁组成。然后，Adaptive BaseNet根据条件特征迅速移动其参数。此外，为了更好地提取劣化，我们提出了一个任务对比损失，以减少内部任务距离，并增加任务级别功能之间的交叉任务距离。在没有预定义的降级地图，我们的盲框可以进行一个参数更新，以产生相当大的SR结果。广泛的实验证明了CMDSR在各种盲，甚至是非盲方法上的有效性。柔性基座结构还揭示了CMDSR可以是大系列SISR模型的一般框架。

在本文中，我们考虑了基于参考的超分辨率（REFSR）中的两个具有挑战性的问题，（i）如何选择适当的参考图像，以及（ii）如何以一种自我监督的方式学习真实世界RefSR。特别是，我们从双摄像头Zooms（SelfDZSR）观察到现实世界图像SR的新颖的自我监督学习方法。考虑到多台相机在现代智能手机中的普及，可以自然利用越来越多的缩放（远摄）图像作为指导较小的变焦（短对焦）图像的SR。此外，SelfDZSR学习了一个深层网络，以获得短对焦图像的SR结果，以具有与远摄图像相同的分辨率。为此，我们将远摄图像而不是其他高分辨率图像作为监督信息，然后从中选择中心贴片作为对相应的短对焦图像补丁的引用。为了减轻短对焦低分辨率（LR）图像和远摄地面真相（GT）图像之间未对准的影响，我们设计了辅助LR发电机，并将GT映射到辅助LR，同时保持空间位置不变。 。然后，可以利用辅助-LR通过建议的自适应空间变压器网络（ADASTN）将LR特征变形，并将REF特征与GT匹配。在测试过程中，可以直接部署SelfDZSR，以使用远摄映像的引用来超级解决整个短对焦图像。实验表明，我们的方法可以针对最先进的方法实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/selfdzsr上找到。