在本文中，我们通过深度学习研究了高光谱（HS）图像空间超分辨率的问题。特别是，我们专注于如何有效有效地嵌入HS图像的高维空间光谱信息。具体而言，与采用经验设计的网络模块的现有方法相反，我们将HS嵌入为一组精心定义的HS嵌入事件的后验分布的近似聚合。然后，我们将所提出的特征嵌入方案纳入源符合的超级分辨率框架中，该框架具有物理性开采，从而产生了轻质的PDE-NET，其中高分辨率（HR）HS图像是从输入低 - 低 - 之间的残差迭代完善的。分辨率（LR）HS图像和伪LR-HS图像通过概率启发的HS嵌入从重建的HR-HS图像中退化。在三个常见基准数据集上进行的广泛实验表明，PDE-NET比最先进的方法实现了卓越的性能。此外，这种网络的概率特征可以提供网络输出的认知不确定性，当用于其他基于HS图像的应用程序时，这可能会带来其他好处。该代码将在https://github.com/jinnh/pde-net上公开获得。

本文解决了高光谱（HS）图像denoising的具有挑战性的问题。与现有的基于深度学习的方法不同，通常采用复杂的网络体系结构或经验堆叠现成的模块以提高性能，我们专注于捕获HS图像的高维特性的高效提取方式。具体来说，基于理论分析，提高由展开的卷积内核形成的矩阵的排名可以促进特征多样性，我们建议分别执行1卷卷积的降级低维卷积集（Re-Convset）沿着HS图像并排的三个维度，然后通过可学习的压缩层汇总所得的空间光谱嵌入。重新汇率不仅了解HS图像的不同空间光谱特征，而且还降低了网络的参数和复杂性。然后，我们将重新汇合纳入广泛使用的U-NET体系结构中，以构建HS图像Denoisising方法。令人惊讶的是，在定量指标，视觉结果和效率方面，我们观察到这样的简洁框架在很大程度上优于最新方法。我们相信我们的工作可能会阐明基于深度学习的HS图像处理和分析。

为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

光谱超分辨率（SSR）是指从RGB对应物中恢复的高光谱图像（HSI）。由于SSR问题的一对多性，可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息，如自然RGB空间上下文的上下文，深度特征或固有的HSI统计事先等，以提高重建的置信度和保真度光谱。然而，大多数目前的方法只考虑设计定制的卷积神经网络（CNN）的一般和有限的前瞻，这导致无法有效地减轻不良程度。为解决有问题的问题，我们为SSR提出了一个新颖的全面的先前嵌入关系网络（HPRN）。基本上，核心框架由几个多剩余关系块（MRB）进行多种组装，其完全便于RGB信号之前的低频内容的传输和利用。创新性地，引入了RGB输入的语义之前，以识别类别属性，并且向前提出了语义驱动的空间关系模块（SSRM）以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外，我们开发了一种基于变换器的通道关系模块（TCRM），其习惯使用标量作为先前深度特征中的频道方面关系的描述符，并用某些向量替换为变换器特征交互，支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性，将二阶的先前约束（SOPC）结合到丢失功能中以引导HSI重建过程。

随着深度学习技术的发展，基于卷积神经网络的多光谱图像超分辨率方法最近取得了很大的进展。然而，由于高光谱数据的高维和复谱特性，单个高光谱图像超分辨率仍然是一个具有挑战性的问题，这使得难以同时捕获空间和光谱信息。要处理此问题，我们提出了一种新的反馈精确的本地 - 全球网络（FRLGN），用于超光谱图像的超级分辨率。具体而言，我们开发新的反馈结构和本地全局频谱块，以减轻空间和光谱特征提取的难度。反馈结构可以传输高电平信息以指导低级特征的生成过程，其通过具有有限展开的经常性结构实现。此外，为了有效地使用所传回的高电平信息，构造局部全局频谱块以处理反馈连接。本地 - 全局频谱块利用反馈高级信​​息来校正来自局部光谱频带的低级功能，并在全局光谱频带之间产生强大的高级表示。通过结合反馈结构和局部全局光谱块，FRLGN可以充分利用光谱带之间的空间光谱相关性，并逐渐重建高分辨率高光谱图像。 FRLGN的源代码在https://github.com/tangzhenjie/frlgn上获得。

高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

盲图修复（IR）是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习（DL）方法代表了有关此问题的两种不同方法，每种方法都有自己的优点和缺点。在本文中，我们提出了一种新颖的盲图恢复方法，旨在整合它们的两种优势。具体而言，我们为盲IR构建了一个普通的贝叶斯生成模型，该模型明确描绘了降解过程。在此提出的模型中，PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布，以处理图像降解中包含的更复杂的噪声类型。为了解决该模型，我们设计了一个变异推理算法，其中所有预期的后验分布都被参数化为深神经网络，以提高其模型能力。值得注意的是，这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外，利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验，即图像降解和超分辨率，表明所提出的方法比当前最新的方法实现了卓越的性能。

本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。

现实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应物中产生具有更高光谱和空间忠诚的高分辨率（HR）HSI。生成的对抗网络（GAN）已被证明是图像超分辨率的有效深入学习框架。然而，现有GaN的模型的优化过程经常存在模式崩溃问题，导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真，尤其是具有大的升级因子。为了缓解模式崩溃的问题，这项工作提出了一种与潜在编码器（Le-GaN）耦合的新型GaN模型，其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上，我们将HSI视为嵌入在潜在空间中的高维歧管。因此，GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题，使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器（即Aviris和UHD-185）的两种实际HSI数据集进行了测试和验证，用于各种升高因素并增加噪声水平，并与最先进的超分辨率模型相比（即Hyconet，LTTR，Bagan，SR-GaN，Wgan）。

高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。

深度映射记录场景中的视点和对象之间的距离，这在许多真实应用程序中起着关键作用。然而，消费者级RGB-D相机捕获的深度图遭受了低空间分辨率。引导深度地图超分辨率（DSR）是解决此问题的流行方法，该方法试图从输入的低分辨率（LR）深度及其耦合的HR RGB图像中恢复高分辨率（HR）深度映射和作为指引。引导DSR最具挑战性的问题是如何正确选择一致的结构并传播它们，并正确处理不一致的结构。在本文中，我们提出了一种用于引导DSR的新型关注的分层多模态融合（AHMF）网络。具体地，为了有效地提取和组合来自LR深度和HR引导的相关信息，我们提出了一种基于多模态注意力的融合（MMAF）策略，包括分层卷积层，包括特征增强块，以选择有价值的功能和特征重新校准块来统一不同外观特征的方式的相似性度量。此外，我们提出了一个双向分层特征协作（BHFC）模块，以完全利用多尺度特征之间的低级空间信息和高级结构信息。实验结果表明，在重建精度，运行速度和记忆效率方面，我们的方法优于最先进的方法。

Convolutional Neural Network (CNN)-based image super-resolution (SR) has exhibited impressive success on known degraded low-resolution (LR) images. However, this type of approach is hard to hold its performance in practical scenarios when the degradation process is unknown. Despite existing blind SR methods proposed to solve this problem using blur kernel estimation, the perceptual quality and reconstruction accuracy are still unsatisfactory. In this paper, we analyze the degradation of a high-resolution (HR) image from image intrinsic components according to a degradation-based formulation model. We propose a components decomposition and co-optimization network (CDCN) for blind SR. Firstly, CDCN decomposes the input LR image into structure and detail components in feature space. Then, the mutual collaboration block (MCB) is presented to exploit the relationship between both two components. In this way, the detail component can provide informative features to enrich the structural context and the structure component can carry structural context for better detail revealing via a mutual complementary manner. After that, we present a degradation-driven learning strategy to jointly supervise the HR image detail and structure restoration process. Finally, a multi-scale fusion module followed by an upsampling layer is designed to fuse the structure and detail features and perform SR reconstruction. Empowered by such degradation-based components decomposition, collaboration, and mutual optimization, we can bridge the correlation between component learning and degradation modelling for blind SR, thereby producing SR results with more accurate textures. Extensive experiments on both synthetic SR datasets and real-world images show that the proposed method achieves the state-of-the-art performance compared to existing methods.

具有高分辨率的视网膜光学相干断层扫描术（八八）对于视网膜脉管系统的定量和分析很重要。然而，八颗图像的分辨率与相同采样频率的视野成反比，这不利于临床医生分析较大的血管区域。在本文中，我们提出了一个新型的基于稀疏的域适应超分辨率网络（SASR），以重建现实的6x6 mm2/低分辨率/低分辨率（LR）八八粒图像，以重建高分辨率（HR）表示。更具体地说，我们首先对3x3 mm2/高分辨率（HR）图像进行简单降解，以获得合成的LR图像。然后，采用一种有效的注册方法在6x6 mm2图像中以其相应的3x3 mm2图像区域注册合成LR，以获得裁切的逼真的LR图像。然后，我们提出了一个多级超分辨率模型，用于对合成数据进行全面监督的重建，从而通过生成的对流策略指导现实的LR图像重建现实的LR图像，该策略允许合成和现实的LR图像可以在特征中统一。领域。最后，新型的稀疏边缘感知损失旨在动态优化容器边缘结构。在两个八八集中进行的广泛实验表明，我们的方法的性能优于最先进的超分辨率重建方法。此外，我们还研究了重建结果对视网膜结构分割的性能，这进一步验证了我们方法的有效性。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

遥感图像中的Pansharpening旨在通过融合具有平面（PAN）图像的低分辨率多光谱（LRMS）图像直接获取高分辨率多光谱（HRMS）图像。主要问题是如何将LRMS图像的丰富光谱信息与PAN图像的丰富空间信息有效地结合。最近，已经提出了基于深度学习的许多方法，以便泛歌舞团的任务。然而，这些方法通常具有两个主要缺点：1）需要HRMS进行监督学习; 2）简单地忽略了MS和PAN​​图像之间的潜在关系并直接融合它们。为了解决这些问题，我们提出了一种基于学习劣化过程的新型无监督网络，称为LDP-Net。设计用于分别用于学习相应的降级过程的重新阻挡块和灰色块。另外，提出了一种新的混合损失函数，以在不同分辨率下限制泛散形图像和平底锅和平移和LRMS图像之间的空间和光谱一致性。 WorldView2和WorldView3图像上的实验表明，我们所提出的LDP-Net可以在没有HRMS样本的帮助下有效地融合平移和LRMS图像，从而在定性视觉效果和定量度量方面实现了有希望的性能。

已经证明了深度卷积神经网络近年来对SISR有效。一方面，已经广泛使用了残余连接和密集连接，以便于前向信息和向后梯度流动以提高性能。然而，当前方法以次优的方式在大多数网络层中单独使用残留连接和密集连接。另一方面，虽然各种网络和方法旨在改善计算效率，节省参数或利用彼此的多种比例因子的训练数据来提升性能，但它可以在人力资源空间中进行超级分辨率来具有高计算成本或不能在不同尺度因子的模型之间共享参数以节省参数和推理时间。为了解决这些挑战，我们提出了一种使用双路径连接的高效单图像超分辨率网络，其多种规模学习命名为EMSRDPN。通过将双路径的双路径连接引入EMSRDPN，它在大多数网络层中以综合方式使用残差连接和密集连接。双路径连接具有重用残余连接的共同特征和探索密集连接的新功能，以了解SISR的良好代表。要利用多种比例因子的特征相关性，EMSRDPN在不同缩放因子之间共享LR空间中的所有网络单元，以学习共享功能，并且仅使用单独的重建单元进行每个比例因子，这可以利用多种规模因子的培训数据来帮助各个规模因素另外提高性能，同时可以节省参数并支持共享推理，以提高效率的多种规模因素。实验显示EMSRDPN通过SOTA方法实现更好的性能和比较或更好的参数和推理效率。

The feed-forward architectures of recently proposed deep super-resolution networks learn representations of low-resolution inputs, and the non-linear mapping from those to high-resolution output. However, this approach does not fully address the mutual dependencies of low-and high-resolution images. We propose Deep Back-Projection Networks (DBPN), that exploit iterative up-and downsampling layers, providing an error feedback mechanism for projection errors at each stage. We construct mutuallyconnected up-and down-sampling stages each of which represents different types of image degradation and highresolution components. We show that extending this idea to allow concatenation of features across up-and downsampling stages (Dense DBPN) allows us to reconstruct further improve super-resolution, yielding superior results and in particular establishing new state of the art results for large scaling factors such as 8× across multiple data sets.

尽管目前基于深度学习的方法在盲目的单图像超分辨率（SISR）任务中已获得了有希望的表现，但其中大多数主要集中在启发式上构建多样化的网络体系结构，并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率（HR）图像。为了减轻这个问题，我们提出了一个模型驱动的深神经网络，称为blind SISR。具体而言，为了解决经典的SISR模型，我们提出了一种简单的效果迭代算法。然后，通过将所涉及的迭代步骤展开到相应的网络模块中，我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此，学习的模糊内核具有清晰的物理模式，并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在：\ url {https://github.com/jiahong-fu/kxnet}中获得。

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.