目前基于学习的单图像超分辨率（SISR）算法由于假定的Daradada-Tion过程中的偏差而导致的实际数据up到实际数据。常规的劣化过程考虑在高分辨率（HR）图像上应用模糊，噪声和下采样（通常是较大的采样）以合成低分辨率（LR）对应物。然而，很少有用于退化建模的作品已经采取了光学成像系统的物理方面。在本文中，我们光学分析了成像系统，并探索了空间频域的实际LR-HR对的特征。通过考虑optiopticsandsordegration，我们制定真实的物理启发的退化模型;成像系统的物理劣化被建模为低通滤波器，其截止频率由物体距离，焦距的更焦距和图像传感器的像素尺寸。特别是，我们建议使用卷积神经网络（CNN）来学习现实世界劣化过程的截止频率。然后应用学习的网络从未配对的HR图像合成LR图像。稍后使用合成的HR-LR图像对培训SISR网络。我们评估所提出的不同成像系统捕获的现实世界图像中提出的退化模型的有效性和泛化能力。实验结果展示了通过使用传统的退化模型使用我们的合成数据训练的SISR网络通过传统的降级模型对网络进行了有利的。此外，我们的结果与通过使用现实世界LR-HR对训练的相同网络获得的结果相当，这是在真实场景中获得的具有挑战性。

对于真实世界形象超分辨率的深度学习方法，最关键的问题是对训练的配对低和高分辨率图像是否准确反映了真实相机的采样过程。由现有的退化模型（例如，双臂下采样）合成的低分辨率（LR $ \ SIM $ HR）图像对偏离现实中的模型;因此，当应用于真实图像时，由这些合成的LR $ \ SIM $ HR图像对训练的超分辨率CNN不会表现良好。为了解决问题，我们提出了一种新的数据采集过程，使用真实相机拍摄一大集的LR $ \ SIM $ HR图像对。图像显示在超高质量屏幕上并以不同的分辨率捕获。由此产生的LR $ \ SIM $ HR图像对可以通过新颖的空间频率二元域注册方法与非常高的子像素精度对齐，因此它们为超级分辨率的学习任务提供了高质量的培训数据。此外，捕获的HR图像和原始数字图像提供了双引用来提高学习性能。实验结果表明，我们的LR $ \ SIM $ HR DataSet培训超分辨率CNN，而不是文献中的其他数据集培训更高的图像质量。

尽管近年来取得了显着的进展，但开发了几个局限性的单像超分辨率方法。具体而言，它们在具有某些降解（合成还是真实）的固定内容域中进行了培训。他们所学的先验容易过度适应培训配置。因此，目前尚不清楚对新型领域（例如无人机顶视图数据以及跨海）的概括。尽管如此，将无人机与正确的图像超分辨率配对具有巨大的价值。这将使无人机能够飞行更高的覆盖范围，同时保持高图像质量。为了回答这些问题，并为无人机图像超级分辨率铺平了道路，我们探索了该应用程序，特别关注单像案例。我们提出了一个新颖的无人机图像数据集，其场景在低分辨率和高分辨率下捕获，并在高度范围内捕获。我们的结果表明，现成的最先进的网络见证了这个不同领域的性能下降。我们还表明了简单的微调，并将高度意识纳入网络的体系结构，都可以改善重建性能。

尽管目前基于深度学习的方法在盲目的单图像超分辨率（SISR）任务中已获得了有希望的表现，但其中大多数主要集中在启发式上构建多样化的网络体系结构，并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率（HR）图像。为了减轻这个问题，我们提出了一个模型驱动的深神经网络，称为blind SISR。具体而言，为了解决经典的SISR模型，我们提出了一种简单的效果迭代算法。然后，通过将所涉及的迭代步骤展开到相应的网络模块中，我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此，学习的模糊内核具有清晰的物理模式，并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在：\ url {https://github.com/jiahong-fu/kxnet}中获得。

在过去的几年中，目睹了基于无人机的应用，计算机视觉起着至关重要的作用。但是，大多数基于公共无人机的视力数据集都集中在检测和跟踪上。另一方面，大多数现有图像超分辨率方法的性能对数据集敏感，特别是高分辨率和低分辨率图像之间的退化模型。在本文中，我们提出了第一个用于无人机视觉的超分辨率数据集。图像对由具有不同焦距的无人机上的两个摄像机捕获。我们在不同的高度收集数据，然后提出预处理步骤以对齐图像对。广泛的经验研究表明，在不同高度捕获的图像之间存在域间隙。同时，经过验证的图像超分辨率网络的性能在我们的数据集上也有所下降，并且海拔不同。最后，我们提出了两种方法，以在不同高度建立强大的图像超分辨率网络。第一个通过高度感知的层将高度信息馈送到网络中。第二个使用单次学习来快速使超分辨率模型适应未知高度。我们的结果表明，所提出的方法可以有效地提高不同海拔高度的超分辨率网络的性能。

在本文中，我们考虑了基于参考的超分辨率（REFSR）中的两个具有挑战性的问题，（i）如何选择适当的参考图像，以及（ii）如何以一种自我监督的方式学习真实世界RefSR。特别是，我们从双摄像头Zooms（SelfDZSR）观察到现实世界图像SR的新颖的自我监督学习方法。考虑到多台相机在现代智能手机中的普及，可以自然利用越来越多的缩放（远摄）图像作为指导较小的变焦（短对焦）图像的SR。此外，SelfDZSR学习了一个深层网络，以获得短对焦图像的SR结果，以具有与远摄图像相同的分辨率。为此，我们将远摄图像而不是其他高分辨率图像作为监督信息，然后从中选择中心贴片作为对相应的短对焦图像补丁的引用。为了减轻短对焦低分辨率（LR）图像和远摄地面真相（GT）图像之间未对准的影响，我们设计了辅助LR发电机，并将GT映射到辅助LR，同时保持空间位置不变。 。然后，可以利用辅助-LR通过建议的自适应空间变压器网络（ADASTN）将LR特征变形，并将REF特征与GT匹配。在测试过程中，可以直接部署SelfDZSR，以使用远摄映像的引用来超级解决整个短对焦图像。实验表明，我们的方法可以针对最先进的方法实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/selfdzsr上找到。

近年来，在光场（LF）图像超分辨率（SR）中，深度神经网络（DNN）的巨大进展。但是，现有的基于DNN的LF图像SR方法是在单个固定降解（例如，双学的下采样）上开发的，因此不能应用于具有不同降解的超级溶解实际LF图像。在本文中，我们提出了第一种处理具有多个降解的LF图像SR的方法。在我们的方法中，开发了一个实用的LF降解模型，以近似于真实LF图像的降解过程。然后，降解自适应网络（LF-DANET）旨在将降解之前纳入SR过程。通过对具有多种合成降解的LF图像进行训练，我们的方法可以学会适应不同的降解，同时结合了空间和角度信息。对合成降解和现实世界LFS的广泛实验证明了我们方法的有效性。与现有的最新单一和LF图像SR方法相比，我们的方法在广泛的降解范围内实现了出色的SR性能，并且可以更好地推广到真实的LF图像。代码和模型可在https://github.com/yingqianwang/lf-danet上找到。

突发超级分辨率（SR）提供了从低质量图像恢复丰富细节的可能性。然而，由于实际应用中的低分辨率（LR）图像具有多种复杂和未知的降级，所以现有的非盲（例如，双臂）设计的网络通常导致恢复高分辨率（HR）图像的严重性能下降。此外，处理多重未对准的嘈杂的原始输入也是具有挑战性的。在本文中，我们解决了从现代手持设备获取的原始突发序列重建HR图像的问题。中央观点是一个内核引导策略，可以用两个步骤解决突发SR：内核建模和HR恢复。前者估计来自原始输入的突发内核，而后者基于估计的内核预测超分辨图像。此外，我们引入了内核感知可变形对准模块，其可以通过考虑模糊的前沿而有效地对准原始图像。对综合和现实世界数据集的广泛实验表明，所提出的方法可以在爆发SR问题中对最先进的性能进行。

现代数码相机和智能手机主要依赖于图像信号处理（ISP）管道，从而产生逼真的彩色RGB图像。然而，与DSLR相机相比，由于其物理限制，在许多便携式移动设备中通常可以在许多便携式移动设备中获得低质量的图像。低质量的图像具有多种降级，即，由于相机滤色器阵列，由于相机滤色器阵列，由于较小的摄像机传感器而导致的低分辨率，磁割模式，并且其余信息因噪声损坏而导致的镶嵌图案。这种降级限制了从单个低分辨率（LR）图像中恢复高分辨率（HR）图像细节的电流单图像超分辨率（SISR）方法的性能。在这项工作中，我们提出了一种原始的突发超分辨率迭代卷积神经网络（RBSricnn），其作为前向（物理）模型的整体沿着突发拍摄管道。与现有的黑盒数据驱动方法相比，所提出的突发SR方案解决了经典图像正则化，凸优化和深度学习技术的问题。所提出的网络通过中间SR估计的迭代细化产生最终输出。我们展示了我们提出的方法在定量和定性实验中的有效性，这些实验概括为具有可用于培训的ONL合成突发数据的真实LR突发输入。

近年来，由于SR数据集的开发和相应的实际SR方法，真实的图像超分辨率（SR）已取得了令人鼓舞的结果。相比之下，真实视频SR领域落后，尤其是对于真实的原始视频。考虑到原始图像SR优于SRGB图像SR，我们构建了一个真实世界的原始视频SR（Real-Rawvsr）数据集，并提出了相应的SR方法。我们利用两个DSLR摄像机和一个梁切口来同时捕获具有2倍，3倍和4倍大型的高分辨率（LR）和高分辨率（HR）原始视频。我们的数据集中有450对视频对，场景从室内到室外各不相同，包括相机和对象运动在内的动作。据我们所知，这是第一个现实世界的RAW VSR数据集。由于原始视频的特征是拜耳模式，因此我们提出了一个两分支网络，该网络既涉及包装的RGGB序列和原始的拜耳模式序列，又涉及两个分支，并且两个分支相互互补。经过提出的共对象，相互作用，融合和重建模块后，我们生成了相应的HR SRGB序列。实验结果表明，所提出的方法优于原始或SRGB输入的基准实体和合成视频SR方法。我们的代码和数据集可在https://github.com/zmzhang1998/real-rawvsr上找到。

最近，深度神经网络（DNNS）在现实世界图像超分辨率（SR）方面取得了重大成功。但是，具有准侵蚀噪声的对抗图像样本可能威胁到深度学习的SR模型。在本文中，我们为现实世界SR提出了一个强大的深度学习框架，该框架随机消除了输入图像或功能的频域中潜在的对抗噪声。理由是，在SR任务上，清洁图像或功能与频域中受攻击的图案不同。观察到现有的对抗攻击通常会为输入图像增加高频噪声，我们引入了一个新型的随机频率掩码模块，该模块可以以随机方式阻止可能包含有害扰动的高频组件。由于频率掩蔽不仅可能会破坏对抗性扰动，而且还会影响干净的图像中的尖锐细节，我们进一步基于图像的频域开发了对抗性样品分类器，以确定是否应用了提出的掩码模块。基于上述想法，我们设计了一个新颖的现实世界图像SR框架，该框架结合了建议的频率掩盖模块和所提出的对抗分类器与现有的超分辨率骨干网络。实验表明，我们所提出的方法对对抗性攻击更加不敏感，并且比现有模型和防御能力更稳定。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.

虽然最近基于模型的盲目单图像超分辨率（SISR）的研究已经取得了巨大的成功，但大多数人都不认为图像劣化。首先，它们总是假设图像噪声obeys独立和相同分布的（i.i.d.）高斯或拉普拉斯分布，这在很大程度上低估了真实噪音的复杂性。其次，以前的常用核前沿（例如，归一化，稀疏性）不足以保证理性内核解决方案，从而退化后续SISR任务的性能。为了解决上述问题，本文提出了一种基于模型的盲人SISR方法，该方法在概率框架下，从噪声和模糊内核的角度精心模仿图像劣化。具体而言，而不是传统的i.i.d.噪声假设，基于补丁的非i.i.d。提出噪声模型来解决复杂的真实噪声，期望增加噪声表示模型的自由度。至于模糊内核，我们新建构建一个简洁但有效的内核生成器，并将其插入所提出的盲人SISR方法作为明确的内核（EKP）。为了解决所提出的模型，专门设计了理论上接地的蒙特卡罗EM算法。综合实验证明了我们对综合性和实时数据集的最新技术的方法的优越性。

盲目图像超分辨率（SR）的典型方法通过直接估算或学习潜在空间中的降解表示来处理未知的降解。这些方法的一个潜在局限性是，他们假设可以通过整合各种手工降解（例如，比科比克下采样）来模拟未知的降解，这不一定是正确的。现实世界中的降解可能超出了手工降解的模拟范围，这被称为新型降解。在这项工作中，我们建议学习一个潜在的降解空间，可以将其从手工制作的（基本）降解中推广到新的降解。然后将其在此潜在空间中获得的新型降解的表示形式被利用，以生成与新型降解一致的降级图像，以构成SR模型的配对训练数据。此外，我们执行各种推断，以使潜在表示空间中的降解后降解与先前的分布（例如高斯分布）相匹配。因此，我们能够采样更多的高质量表示以进行新的降级，以增加SR模型的训练数据。我们对合成数据集和现实数据集进行了广泛的实验，以验证我们在新型降解中盲目超分辨率的有效性和优势。

Existing convolutional neural networks (CNN) based image super-resolution (SR) methods have achieved impressive performance on bicubic kernel, which is not valid to handle unknown degradations in real-world applications. Recent blind SR methods suggest to reconstruct SR images relying on blur kernel estimation. However, their results still remain visible artifacts and detail distortion due to the estimation errors. To alleviate these problems, in this paper, we propose an effective and kernel-free network, namely DSSR, which enables recurrent detail-structure alternative optimization without blur kernel prior incorporation for blind SR. Specifically, in our DSSR, a detail-structure modulation module (DSMM) is built to exploit the interaction and collaboration of image details and structures. The DSMM consists of two components: a detail restoration unit (DRU) and a structure modulation unit (SMU). The former aims at regressing the intermediate HR detail reconstruction from LR structural contexts, and the latter performs structural contexts modulation conditioned on the learned detail maps at both HR and LR spaces. Besides, we use the output of DSMM as the hidden state and design our DSSR architecture from a recurrent convolutional neural network (RCNN) view. In this way, the network can alternatively optimize the image details and structural contexts, achieving co-optimization across time. Moreover, equipped with the recurrent connection, our DSSR allows low- and high-level feature representations complementary by observing previous HR details and contexts at every unrolling time. Extensive experiments on synthetic datasets and real-world images demonstrate that our method achieves the state-of-the-art against existing methods. The source code can be found at https://github.com/Arcananana/DSSR.

当前的深层图像超分辨率（SR）方法试图从下采样的图像或假设简单高斯内核和添加噪声中降解来恢复高分辨率图像。但是，这种简单的图像处理技术代表了降低图像分辨率的现实世界过程的粗略近似。在本文中，我们提出了一个更现实的过程，通过引入新的内核对抗学习超分辨率（KASR）框架来处理现实世界图像SR问题，以降低图像分辨率。在提议的框架中，降解内核和噪声是自适应建模的，而不是明确指定的。此外，我们还提出了一个迭代监督过程和高频选择性目标，以进一步提高模型SR重建精度。广泛的实验验证了对现实数据集中提出的框架的有效性。

Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at \url{https://github.com/yongsongH/Infrared_Image_SR_Survey

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。