尽管近年来取得了显着的进展，但开发了几个局限性的单像超分辨率方法。具体而言，它们在具有某些降解（合成还是真实）的固定内容域中进行了培训。他们所学的先验容易过度适应培训配置。因此，目前尚不清楚对新型领域（例如无人机顶视图数据以及跨海）的概括。尽管如此，将无人机与正确的图像超分辨率配对具有巨大的价值。这将使无人机能够飞行更高的覆盖范围，同时保持高图像质量。为了回答这些问题，并为无人机图像超级分辨率铺平了道路，我们探索了该应用程序，特别关注单像案例。我们提出了一个新颖的无人机图像数据集，其场景在低分辨率和高分辨率下捕获，并在高度范围内捕获。我们的结果表明，现成的最先进的网络见证了这个不同领域的性能下降。我们还表明了简单的微调，并将高度意识纳入网络的体系结构，都可以改善重建性能。

在过去的几年中，目睹了基于无人机的应用，计算机视觉起着至关重要的作用。但是，大多数基于公共无人机的视力数据集都集中在检测和跟踪上。另一方面，大多数现有图像超分辨率方法的性能对数据集敏感，特别是高分辨率和低分辨率图像之间的退化模型。在本文中，我们提出了第一个用于无人机视觉的超分辨率数据集。图像对由具有不同焦距的无人机上的两个摄像机捕获。我们在不同的高度收集数据，然后提出预处理步骤以对齐图像对。广泛的经验研究表明，在不同高度捕获的图像之间存在域间隙。同时，经过验证的图像超分辨率网络的性能在我们的数据集上也有所下降，并且海拔不同。最后，我们提出了两种方法，以在不同高度建立强大的图像超分辨率网络。第一个通过高度感知的层将高度信息馈送到网络中。第二个使用单次学习来快速使超分辨率模型适应未知高度。我们的结果表明，所提出的方法可以有效地提高不同海拔高度的超分辨率网络的性能。

目前基于学习的单图像超分辨率（SISR）算法由于假定的Daradada-Tion过程中的偏差而导致的实际数据up到实际数据。常规的劣化过程考虑在高分辨率（HR）图像上应用模糊，噪声和下采样（通常是较大的采样）以合成低分辨率（LR）对应物。然而，很少有用于退化建模的作品已经采取了光学成像系统的物理方面。在本文中，我们光学分析了成像系统，并探索了空间频域的实际LR-HR对的特征。通过考虑optiopticsandsordegration，我们制定真实的物理启发的退化模型;成像系统的物理劣化被建模为低通滤波器，其截止频率由物体距离，焦距的更焦距和图像传感器的像素尺寸。特别是，我们建议使用卷积神经网络（CNN）来学习现实世界劣化过程的截止频率。然后应用学习的网络从未配对的HR图像合成LR图像。稍后使用合成的HR-LR图像对培训SISR网络。我们评估所提出的不同成像系统捕获的现实世界图像中提出的退化模型的有效性和泛化能力。实验结果展示了通过使用传统的退化模型使用我们的合成数据训练的SISR网络通过传统的降级模型对网络进行了有利的。此外，我们的结果与通过使用现实世界LR-HR对训练的相同网络获得的结果相当，这是在真实场景中获得的具有挑战性。

对于真实世界形象超分辨率的深度学习方法，最关键的问题是对训练的配对低和高分辨率图像是否准确反映了真实相机的采样过程。由现有的退化模型（例如，双臂下采样）合成的低分辨率（LR $ \ SIM $ HR）图像对偏离现实中的模型;因此，当应用于真实图像时，由这些合成的LR $ \ SIM $ HR图像对训练的超分辨率CNN不会表现良好。为了解决问题，我们提出了一种新的数据采集过程，使用真实相机拍摄一大集的LR $ \ SIM $ HR图像对。图像显示在超高质量屏幕上并以不同的分辨率捕获。由此产生的LR $ \ SIM $ HR图像对可以通过新颖的空间频率二元域注册方法与非常高的子像素精度对齐，因此它们为超级分辨率的学习任务提供了高质量的培训数据。此外，捕获的HR图像和原始数字图像提供了双引用来提高学习性能。实验结果表明，我们的LR $ \ SIM $ HR DataSet培训超分辨率CNN，而不是文献中的其他数据集培训更高的图像质量。

突发超级分辨率（SR）提供了从低质量图像恢复丰富细节的可能性。然而，由于实际应用中的低分辨率（LR）图像具有多种复杂和未知的降级，所以现有的非盲（例如，双臂）设计的网络通常导致恢复高分辨率（HR）图像的严重性能下降。此外，处理多重未对准的嘈杂的原始输入也是具有挑战性的。在本文中，我们解决了从现代手持设备获取的原始突发序列重建HR图像的问题。中央观点是一个内核引导策略，可以用两个步骤解决突发SR：内核建模和HR恢复。前者估计来自原始输入的突发内核，而后者基于估计的内核预测超分辨图像。此外，我们引入了内核感知可变形对准模块，其可以通过考虑模糊的前沿而有效地对准原始图像。对综合和现实世界数据集的广泛实验表明，所提出的方法可以在爆发SR问题中对最先进的性能进行。

由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限，在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法（据我们所知），以重建高分辨率，高动态范围的颜色图像，这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法，用于求解相应的逆问题和学习的图像表示，以进行健壮的比对，并以前的自然图像。所提出的算法很快，与基于最新的学习图像恢复方法相比，内存需求较低，并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能，具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片，以及对低光条件，噪音，摄像机摇动和中等物体运动的高度鲁棒性。

近年来，在光场（LF）图像超分辨率（SR）中，深度神经网络（DNN）的巨大进展。但是，现有的基于DNN的LF图像SR方法是在单个固定降解（例如，双学的下采样）上开发的，因此不能应用于具有不同降解的超级溶解实际LF图像。在本文中，我们提出了第一种处理具有多个降解的LF图像SR的方法。在我们的方法中，开发了一个实用的LF降解模型，以近似于真实LF图像的降解过程。然后，降解自适应网络（LF-DANET）旨在将降解之前纳入SR过程。通过对具有多种合成降解的LF图像进行训练，我们的方法可以学会适应不同的降解，同时结合了空间和角度信息。对合成降解和现实世界LFS的广泛实验证明了我们方法的有效性。与现有的最新单一和LF图像SR方法相比，我们的方法在广泛的降解范围内实现了出色的SR性能，并且可以更好地推广到真实的LF图像。代码和模型可在https://github.com/yingqianwang/lf-danet上找到。

在本文中，我们考虑了基于参考的超分辨率（REFSR）中的两个具有挑战性的问题，（i）如何选择适当的参考图像，以及（ii）如何以一种自我监督的方式学习真实世界RefSR。特别是，我们从双摄像头Zooms（SelfDZSR）观察到现实世界图像SR的新颖的自我监督学习方法。考虑到多台相机在现代智能手机中的普及，可以自然利用越来越多的缩放（远摄）图像作为指导较小的变焦（短对焦）图像的SR。此外，SelfDZSR学习了一个深层网络，以获得短对焦图像的SR结果，以具有与远摄图像相同的分辨率。为此，我们将远摄图像而不是其他高分辨率图像作为监督信息，然后从中选择中心贴片作为对相应的短对焦图像补丁的引用。为了减轻短对焦低分辨率（LR）图像和远摄地面真相（GT）图像之间未对准的影响，我们设计了辅助LR发电机，并将GT映射到辅助LR，同时保持空间位置不变。 。然后，可以利用辅助-LR通过建议的自适应空间变压器网络（ADASTN）将LR特征变形，并将REF特征与GT匹配。在测试过程中，可以直接部署SelfDZSR，以使用远摄映像的引用来超级解决整个短对焦图像。实验表明，我们的方法可以针对最先进的方法实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/selfdzsr上找到。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

近年来，由于SR数据集的开发和相应的实际SR方法，真实的图像超分辨率（SR）已取得了令人鼓舞的结果。相比之下，真实视频SR领域落后，尤其是对于真实的原始视频。考虑到原始图像SR优于SRGB图像SR，我们构建了一个真实世界的原始视频SR（Real-Rawvsr）数据集，并提出了相应的SR方法。我们利用两个DSLR摄像机和一个梁切口来同时捕获具有2倍，3倍和4倍大型的高分辨率（LR）和高分辨率（HR）原始视频。我们的数据集中有450对视频对，场景从室内到室外各不相同，包括相机和对象运动在内的动作。据我们所知，这是第一个现实世界的RAW VSR数据集。由于原始视频的特征是拜耳模式，因此我们提出了一个两分支网络，该网络既涉及包装的RGGB序列和原始的拜耳模式序列，又涉及两个分支，并且两个分支相互互补。经过提出的共对象，相互作用，融合和重建模块后，我们生成了相应的HR SRGB序列。实验结果表明，所提出的方法优于原始或SRGB输入的基准实体和合成视频SR方法。我们的代码和数据集可在https://github.com/zmzhang1998/real-rawvsr上找到。

捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。

超级分辨率（SR）旨在增加图像的分辨率。应用程序包括安全性，医学成像和对象识别。我们提出了一种基于深度学习的SR系统，其将六角采样的低分辨率图像作为输入，并产生矩形采样的SR图像作为输出。为了进行培训和测试，我们使用一种现实观察模型，包括从衍射和传感器劣化的光学劣化，从检测器集成。我们的SR方法首先使用非均匀插值来部分地上置观察到的六边形图像并将其转换为矩形网格。然后，我们利用了设计用于SR的最先进的卷积神经网络（CNN）架构，该架构被称为残留通道注意网络（RCAN）。特别是，我们使用RCAN进一步上表并恢复图像以产生最终的SR图像估计。我们证明该系统优于将RCAN直接施加到具有等效样本密度的矩形采样的LR图像。六边形取样的理论优势是众所周知的。然而，据我们所知，六角形取样的实际好处，即RCAN SR等现代加工技术是迄今为止未经测试的。我们的SR系统演示了六角形样式在采用修改的RCAN进行六边形SR时的显着优势。

高分辨率遥感图像用于广泛的任务，包括对象的检测和分类。然而，高分辨率图像昂贵，而较低的分辨率图像通常是可自由的可用的，并且可以由公众用于社会良好应用范围。为此，我们使用从Spacenet 7挑战的PlanetsCope图像策划多个频谱多图像超分辨率数据集作为高分辨率参考和与低分辨率图像相同的图像的多个Sentinel-2重新定位。我们介绍了将多图像超分辨率（MISR）应用于多光谱遥感图像的第一个结果。此外，我们还将辐射级一致性模块引入MISR模型，以保持哨声-2传感器的高辐射分辨率。我们表明MISR优于一系列图像保真度指标的单图像超分辨率和其他基线。此外，我们对建筑描绘的多图像超分辨率的效用进行了第一次评估，显示利用多个图像导致这些下游任务中的更好的性能。

Neural volumetric representations have become a widely adopted model for radiance fields in 3D scenes. These representations are fully implicit or hybrid function approximators of the instantaneous volumetric radiance in a scene, which are typically learned from multi-view captures of the scene. We investigate the new task of neural volume super-resolution - rendering high-resolution views corresponding to a scene captured at low resolution. To this end, we propose a neural super-resolution network that operates directly on the volumetric representation of the scene. This approach allows us to exploit an advantage of operating in the volumetric domain, namely the ability to guarantee consistent super-resolution across different viewing directions. To realize our method, we devise a novel 3D representation that hinges on multiple 2D feature planes. This allows us to super-resolve the 3D scene representation by applying 2D convolutional networks on the 2D feature planes. We validate the proposed method's capability of super-resolving multi-view consistent views both quantitatively and qualitatively on a diverse set of unseen 3D scenes, demonstrating a significant advantage over existing approaches.

Reference-based image super-resolution (RefSR) is a promising SR branch and has shown great potential in overcoming the limitations of single image super-resolution. While previous state-of-the-art RefSR methods mainly focus on improving the efficacy and robustness of reference feature transfer, it is generally overlooked that a well reconstructed SR image should enable better SR reconstruction for its similar LR images when it is referred to as. Therefore, in this work, we propose a reciprocal learning framework that can appropriately leverage such a fact to reinforce the learning of a RefSR network. Besides, we deliberately design a progressive feature alignment and selection module for further improving the RefSR task. The newly proposed module aligns reference-input images at multi-scale feature spaces and performs reference-aware feature selection in a progressive manner, thus more precise reference features can be transferred into the input features and the network capability is enhanced. Our reciprocal learning paradigm is model-agnostic and it can be applied to arbitrary RefSR models. We empirically show that multiple recent state-of-the-art RefSR models can be consistently improved with our reciprocal learning paradigm. Furthermore, our proposed model together with the reciprocal learning strategy sets new state-of-the-art performances on multiple benchmarks.

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

我们呈现NERF-SR，一种用于高分辨率（HR）新型视图合成的解决方案，主要是低分辨率（LR）输入。我们的方法是基于神经辐射场（NERF）的内置，其预测每点密度和颜色，具有多层的射击。在在任意尺度上产生图像时，NERF与超越观察图像的分辨率努力。我们的关键识别是NERF具有本地之前的，这意味着可以在附近区域传播3D点的预测，并且保持准确。我们首先通过超级采样策略来利用它，该策略在每个图像像素处射击多个光线，这在子像素级别强制了多视图约束。然后，我们表明，NERF-SR可以通过改进网络进一步提高超级采样的性能，该细化网络利用估计的深度来实现HR参考图像上的相关补丁的幻觉。实验结果表明，NERF-SR在合成和现实世界数据集的HR上为新型视图合成产生高质量结果。

最新的多视图多媒体应用程序在高分辨率（HR）视觉体验与存储或带宽约束之间挣扎。因此，本文提出了一个多视图图像超分辨率（MVISR）任务。它旨在增加从同一场景捕获的多视图图像的分辨率。一种解决方案是将图像或视频超分辨率（SR）方法应用于低分辨率（LR）输入视图结果。但是，这些方法无法处理视图之间的大角度转换，并利用所有多视图图像中的信息。为了解决这些问题，我们提出了MVSRNET，该MVSRNET使用几何信息从所有LR多视图中提取尖锐的细节，以支持LR输入视图的SR。具体而言，MVSRNET中提出的几何感知参考合成模块使用几何信息和所有多视图LR图像来合成像素对齐的HR参考图像。然后，提出的动态高频搜索网络完全利用了SR参考图像中的高频纹理细节。关于几个基准测试的广泛实验表明，我们的方法在最新方法上有了显着改善。

面部超分辨率（FSR），也称为面部幻觉，其旨在增强低分辨率（LR）面部图像以产生高分辨率（HR）面部图像的分辨率，是特定于域的图像超分辨率问题。最近，FSR获得了相当大的关注，并目睹了深度学习技术的发展炫目。迄今为止，有很少有基于深入学习的FSR的研究摘要。在本次调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面审查。首先，我们总结了FSR的问题制定，并引入了流行的评估度量和损失功能。其次，我们详细说明了FSR中使用的面部特征和流行数据集。第三，我们根据面部特征的利用大致分类了现有方法。在每个类别中，我们从设计原则的一般描述开始，然后概述代表方法，然后讨论其中的利弊。第四，我们评估了一些最先进的方法的表现。第五，联合FSR和其他任务以及与FSR相关的申请大致介绍。最后，我们设想了这一领域进一步的技术进步的前景。在\ URL {https://github.com/junjun-jiang/face-hallucination-benchmark}上有一个策划的文件和资源的策划文件和资源清单