高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

随着深度学习技术的发展，基于卷积神经网络的多光谱图像超分辨率方法最近取得了很大的进展。然而，由于高光谱数据的高维和复谱特性，单个高光谱图像超分辨率仍然是一个具有挑战性的问题，这使得难以同时捕获空间和光谱信息。要处理此问题，我们提出了一种新的反馈精确的本地 - 全球网络（FRLGN），用于超光谱图像的超级分辨率。具体而言，我们开发新的反馈结构和本地全局频谱块，以减轻空间和光谱特征提取的难度。反馈结构可以传输高电平信息以指导低级特征的生成过程，其通过具有有限展开的经常性结构实现。此外，为了有效地使用所传回的高电平信息，构造局部全局频谱块以处理反馈连接。本地 - 全局频谱块利用反馈高级信​​息来校正来自局部光谱频带的低级功能，并在全局光谱频带之间产生强大的高级表示。通过结合反馈结构和局部全局光谱块，FRLGN可以充分利用光谱带之间的空间光谱相关性，并逐渐重建高分辨率高光谱图像。 FRLGN的源代码在https://github.com/tangzhenjie/frlgn上获得。

频谱重建的现有方法通常学习从RGB图像到多个频带的离散映射。然而，这种建模策略忽略了光谱签名的连续性。在本文中，我们提出了神经光谱重构（NESR）来提升这种限制，通过引入新的连续光谱表示来提升这种限制。为此，我们拥抱隐式功能的概念，并利用神经网络实现参数化实施例。具体来说，我们首先采用骨干网络来提取RGB输入的空间特征。基于它，我们设计了光谱简档插值（SPI）模块和神经注意映射（NAM）模块，以丰富深度特征，其中空间谱相关涉及更好的表示。然后，我们将采样光谱频带的数量视为连续隐式功能的坐标，以便从深度特征到频谱强度来学习投影。广泛的实验表明NESR在基线方法中重建精度的明显优势。此外，NESR通过使任意数量的频谱频带作为目标输出来扩展光谱重建的灵活性。

光谱超分辨率（SSR）是指从RGB对应物中恢复的高光谱图像（HSI）。由于SSR问题的一对多性，可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息，如自然RGB空间上下文的上下文，深度特征或固有的HSI统计事先等，以提高重建的置信度和保真度光谱。然而，大多数目前的方法只考虑设计定制的卷积神经网络（CNN）的一般和有限的前瞻，这导致无法有效地减轻不良程度。为解决有问题的问题，我们为SSR提出了一个新颖的全面的先前嵌入关系网络（HPRN）。基本上，核心框架由几个多剩余关系块（MRB）进行多种组装，其完全便于RGB信号之前的低频内容的传输和利用。创新性地，引入了RGB输入的语义之前，以识别类别属性，并且向前提出了语义驱动的空间关系模块（SSRM）以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外，我们开发了一种基于变换器的通道关系模块（TCRM），其习惯使用标量作为先前深度特征中的频道方面关系的描述符，并用某些向量替换为变换器特征交互，支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性，将二阶的先前约束（SOPC）结合到丢失功能中以引导HSI重建过程。

NERF和其他相关隐式神经表示方法的最新成功为连续图像表示打开了一条新的途径，其中不再需要从存储的离散2D阵列中查找像素值，但可以从连续空间域上的神经网络模型推断出来。尽管LIIF最近的工作表明，这种新颖的方法可以在任意尺度的超分辨率任务上实现良好的性能，但由于对高频纹理的预测不准确，它们的高尺度图像经常显示出结构性失真。在这项工作中，我们提出了UltraSR，这是一种基于隐式图像函数的简单而有效的新网络设计，在其中我们深入整合了空间坐标和与隐式神经表示的定期编码。通过广泛的实验和消融研究，我们表明空间编码是朝向下一个阶段高表现隐式图像函数的缺失钥匙。与以前的最先进的方法相比，我们的Ultrasr在所有超分辨率量表下在DIV2K基准测试中设定了新的最先进的性能。 Ultrasr还可以在其他标准基准数据集上实现卓越的性能，在这些数据集中，它在几乎所有实验中都优于先前的工作。

高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。

中心位置是否完全能够代表像素？在离散的图像表示中表示具有它们的中心的像素的错误，但是在图像超分辨率（SR）上下文中的局域脉中的信号的聚合时，它更有意义地考虑每个像素。尽管任意级图像SR领域的基于坐标的隐式表示的能力很大，但该区域的像素的性质不完全考虑。为此，我们提出了集成的位置编码（IPE），通过聚合在像素区域上聚合频率信息来扩展传统的位置编码。我们将IPE应用于最先进的任意级图像超分辨率方法：本地隐式图像功能（LIIF），呈现IPE-LIIF。我们通过定量和定性评估显示IPE-LIIF的有效性，并进一步证明了IPE泛化能力与更大的图像尺度和基于多种隐式的方法。代码将被释放。

具有窄光谱带的高光谱图像（HSI）可以捕获丰富的光谱信息，但它在该过程中牺牲其空间分辨率。最近提出了许多基于机器学习的HSI超分辨率（SR）算法。然而，这些方法的基本限制之一是它们高度依赖于图像和相机设置，并且只能学会用另一个特定设置用一个特定的设置映射输入的HSI。然而，由于HSI相机的多样性，不同的相机捕获具有不同光谱响应函数和频带编号的图像。因此，现有的基于机器学习的方法无法学习用于各种输入输出频带设置的超声波HSIS。我们提出了一种基于元学习的超分辨率（MLSR）模型，其可以在任意数量的输入频带'峰值波长下采用HSI图像，并产生具有任意数量的输出频带'峰值波长的SR HSIS。我们利用NTIRE2020和ICVL数据集训练并验证MLSR模型的性能。结果表明，单个提出的模型可以在任意输入 - 输出频带设置下成功生成超分辨的HSI频段。结果更好或至少与在特定输入输出频带设置上单独培训的基线相当。

为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。

基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务更改的细节时，通常都需要昂贵的网络再培训。在本文中，我们建议使用有效的插入方法以统一的方法恢复HSI，该方法可以共同保留基于优化方法的灵活性，并利用深神经网络的强大表示能力。具体而言，我们首先开发了一个新的深HSI DeNoiser，利用了门控复发单元，短期和长期的跳过连接以及增强的噪声水平图，以更好地利用HSIS内丰富的空间光谱信息。因此，这导致在高斯和复杂的噪声设置下，在HSI DeNosing上的最新性能。然后，在处理各种HSI恢复任务之前，将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率，压缩感测和内部进行的广泛实验，我们证明了我们的方法经常实现卓越的性能，这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。

如今，由于屏幕共享，远程合作和在线教育的广泛应用，屏幕内容存在爆炸性增长。为了匹配有限终端带宽，可以缩小高分辨率（HR）屏幕内容并压缩。在接收器侧，低分辨率（LR）屏幕内容图像（SCI）的超分辨率（SR）由HR显示器或用户缩小以供详细观察。然而，由于图像特性非常不同的图像特性以及在任意尺度下浏览的SCI浏览要求，图像SR方法主要针对自然图像设计不概括SCI。为此，我们为SCISR提出了一种新颖的隐式变压器超分辨率网络（ITSRN）。对于任意比率的高质量连续SR，通过所提出的隐式变压器从密钥坐标处的图像特征推断出查询坐标处的像素值，并且提出了隐式位置编码方案来聚合与查询相似的相邻像素值。使用LR和HR SCI对构建基准SCI1K和SCI1K压缩数据集。广泛的实验表明，提出的ITSRN显着优于压缩和未压缩的SCI的几种竞争连续和离散SR方法。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.

由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足，因此低光谱图像（HSIS）通常会遭受视野较低，光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法，但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务，该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发，我们收集了室内和室外场景的低光HSI（LHSI）数据集。基于Laplacian金字塔分解和重建，我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强（HSIE）方法。通过观察到照明与HSI的低频组件有关，而纹理细节与高频组件密切相关，因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外，为了提高信息流量和提高性能，我们引入了具有残留致密连接的有效通道注意块（CAB），该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能，下游任务受益于增强的HSI。可用数据集和代码：\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。

深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更好的解决方案。但是，现有的基于学习的方法有两个主要缺陷。首先，具有自我注意力的网络通常会牺牲内部分辨率，以平衡模型性能与复杂性，失去细粒度的高分辨率（HR）功能。其次，即使专注于空间光谱域学习（SDL）的优化也会收敛到理想解决方案，但重建的HSI与真相之间仍然存在显着的视觉差异。因此，我们为HSI重建提出了一个高分辨率双域学习网络（HDNET）。一方面，提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面，引入了频域学习（FDL），以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率，并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明，我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布

最近有一种隐式神经功能棚灯，代表任意分辨率的图像。然而，独立的多层Perceptron（MLP）在学习高频分量中显示了有限的性能。在本文中，我们提出了一种局部纹理估计器（LTE），用于自然图像的主要频率估计器，使得隐式功能以连续方式重建图像的同时捕获精细细节。当用深层超分辨率（SR）架构共同培训时，LTE能够在2D傅里叶空间中表征图像纹理。我们表明，基于LTE的神经功能优于所有数据集的任意级别的现有深度SR方法，以及所有规模因素。此外，与以前的作品相比，我们的实施呈现了最短的运行时间。源代码将打开。

遥感图像中的Pansharpening旨在通过融合具有平面（PAN）图像的低分辨率多光谱（LRMS）图像直接获取高分辨率多光谱（HRMS）图像。主要问题是如何将LRMS图像的丰富光谱信息与PAN图像的丰富空间信息有效地结合。最近，已经提出了基于深度学习的许多方法，以便泛歌舞团的任务。然而，这些方法通常具有两个主要缺点：1）需要HRMS进行监督学习; 2）简单地忽略了MS和PAN​​图像之间的潜在关系并直接融合它们。为了解决这些问题，我们提出了一种基于学习劣化过程的新型无监督网络，称为LDP-Net。设计用于分别用于学习相应的降级过程的重新阻挡块和灰色块。另外，提出了一种新的混合损失函数，以在不同分辨率下限制泛散形图像和平底锅和平移和LRMS图像之间的空间和光谱一致性。 WorldView2和WorldView3图像上的实验表明，我们所提出的LDP-Net可以在没有HRMS样本的帮助下有效地融合平移和LRMS图像，从而在定性视觉效果和定量度量方面实现了有希望的性能。

现实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应物中产生具有更高光谱和空间忠诚的高分辨率（HR）HSI。生成的对抗网络（GAN）已被证明是图像超分辨率的有效深入学习框架。然而，现有GaN的模型的优化过程经常存在模式崩溃问题，导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真，尤其是具有大的升级因子。为了缓解模式崩溃的问题，这项工作提出了一种与潜在编码器（Le-GaN）耦合的新型GaN模型，其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上，我们将HSI视为嵌入在潜在空间中的高维歧管。因此，GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题，使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器（即Aviris和UHD-185）的两种实际HSI数据集进行了测试和验证，用于各种升高因素并增加噪声水平，并与最先进的超分辨率模型相比（即Hyconet，LTTR，Bagan，SR-GaN，Wgan）。

This paper proposes a non-data-driven deep neural network for spectral image recovery problems such as denoising, single hyperspectral image super-resolution, and compressive spectral imaging reconstruction. Unlike previous methods, the proposed approach, dubbed Mixture-Net, implicitly learns the prior information through the network. Mixture-Net consists of a deep generative model whose layers are inspired by the linear and non-linear low-rank mixture models, where the recovered image is composed of a weighted sum between the linear and non-linear decomposition. Mixture-Net also provides a low-rank decomposition interpreted as the spectral image abundances and endmembers, helpful in achieving remote sensing tasks without running additional routines. The experiments show the MixtureNet effectiveness outperforming state-of-the-art methods in recovery quality with the advantage of architecture interpretability.