多光谱和全型图像的融合始终被称为pansharpening。大多数可用的基于深度学习的pan-sharpening方法通过一步方案增强了多光谱图像，这在很大程度上取决于网络的重建能力。但是，遥感图像总是具有很大的变化，因此，这些一步方法容易受到误差积累的影响，因此无法保留空间细节以及光谱信息。在本文中，我们提出了一个新型的两步模型，用于泛叠式模型，该模型通过空间和光谱信息的进行性补偿来锐化MS图像。首先，深层多尺度引导的生成对抗网络用于初步增强MS图像的空间分辨率。从粗糙域中的预交换MS图像开始，我们的方法随后逐步完善了具有反向体系结构的几个生成对抗网络（GAN）的空间和光谱残差。整个模型由三重gan组成，基于特定的架构，关节补偿损失函数旨在使三重甘族能够同时训练。此外，本文提出的空间谱系残留补偿结构可以扩展到其他泛伴式方法，以进一步增强其融合结果。在不同的数据集上进行了广泛的实验，结果证明了我们提出的方法的有效性和效率。

遥感图像中的Pansharpening旨在通过融合具有平面（PAN）图像的低分辨率多光谱（LRMS）图像直接获取高分辨率多光谱（HRMS）图像。主要问题是如何将LRMS图像的丰富光谱信息与PAN图像的丰富空间信息有效地结合。最近，已经提出了基于深度学习的许多方法，以便泛歌舞团的任务。然而，这些方法通常具有两个主要缺点：1）需要HRMS进行监督学习; 2）简单地忽略了MS和PAN​​图像之间的潜在关系并直接融合它们。为了解决这些问题，我们提出了一种基于学习劣化过程的新型无监督网络，称为LDP-Net。设计用于分别用于学习相应的降级过程的重新阻挡块和灰色块。另外，提出了一种新的混合损失函数，以在不同分辨率下限制泛散形图像和平底锅和平移和LRMS图像之间的空间和光谱一致性。 WorldView2和WorldView3图像上的实验表明，我们所提出的LDP-Net可以在没有HRMS样本的帮助下有效地融合平移和LRMS图像，从而在定性视觉效果和定量度量方面实现了有希望的性能。

Pansharpening是指具有高空间分辨率的全色图像的融合和具有低空间分辨率的多光谱图像，旨在获得高空间分辨率多光谱图像。在本文中，我们提出了一种新的深度神经网络架构，通过考虑以下双型结构，\ emph {ie，double级，双分支和双向，称为三双网络（TDNet）。通过使用TDNet的结构，可以充分利用平面图像的空间细节，并利用逐步注入低空间分辨率多光谱图像，从而产生高空间分辨率输出。特定的网络设计是由传统多分辨率分析（MRA）方法的物理公式的动机。因此，有效的MRA融合模块也集成到TDNet中。此外，我们采用了一些Reset块和一些多尺度卷积内核来加深和扩大网络，以有效增强所提出的TDNet的特征提取和鲁棒性。关于WorldView-3，Quickbird和GaoFen-2传感器获得的减少和全分辨率数据集的广泛实验表明了与最近最近的最先进的泛红花彭化方法相比，所提出的TDNet的优越性。一个消融的研究也证实了所提出的方法的有效性。

Pansharpening是一种广泛使用的图像增强技术，用于遥感。其原理是熔断输入的高分辨率单通道平面（PAN）图像和低分辨率多光谱图像，并获得高分辨率多光谱（HRMS）图像。现有的深度学习泛散歌方法有两个缺点。首先，需要沿信道维度连接两个输入图像的特征以重建HRMS图像，这使得PAN图像的重要性不突出，并且还导致高计算成本。其次，通过手动设计的损耗功能难以提取特征的隐式信息。为此，我们通过用于粉彩的快速引导滤波器（FGF）提出一种生成的对抗性网络。在发电机中，传统的信道级联被FGF替换，以更好地保留空间信息，同时减少参数的数量。同时，融合对象可以通过空间注意模块突出显示。此外，通过对抗性训练可以有效地保存特征的潜在信息。许多实验说明我们的网络生成了可以超越现有方法的高质量HRMS图像，以及更少的参数。

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足，因此低光谱图像（HSIS）通常会遭受视野较低，光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法，但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务，该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发，我们收集了室内和室外场景的低光HSI（LHSI）数据集。基于Laplacian金字塔分解和重建，我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强（HSIE）方法。通过观察到照明与HSI的低频组件有关，而纹理细节与高频组件密切相关，因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外，为了提高信息流量和提高性能，我们引入了具有残留致密连接的有效通道注意块（CAB），该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能，下游任务受益于增强的HSI。可用数据集和代码：\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。

深度映射记录场景中的视点和对象之间的距离，这在许多真实应用程序中起着关键作用。然而，消费者级RGB-D相机捕获的深度图遭受了低空间分辨率。引导深度地图超分辨率（DSR）是解决此问题的流行方法，该方法试图从输入的低分辨率（LR）深度及其耦合的HR RGB图像中恢复高分辨率（HR）深度映射和作为指引。引导DSR最具挑战性的问题是如何正确选择一致的结构并传播它们，并正确处理不一致的结构。在本文中，我们提出了一种用于引导DSR的新型关注的分层多模态融合（AHMF）网络。具体地，为了有效地提取和组合来自LR深度和HR引导的相关信息，我们提出了一种基于多模态注意力的融合（MMAF）策略，包括分层卷积层，包括特征增强块，以选择有价值的功能和特征重新校准块来统一不同外观特征的方式的相似性度量。此外，我们提出了一个双向分层特征协作（BHFC）模块，以完全利用多尺度特征之间的低级空间信息和高级结构信息。实验结果表明，在重建精度，运行速度和记忆效率方面，我们的方法优于最先进的方法。

引导过滤器是计算机视觉和计算机图形中的基本工具，旨在将结构信息从引导图像传输到目标图像。大多数现有方法构造来自指导本身的滤波器内核，而不考虑指导和目标之间的相互依赖性。然而，由于两种图像中通常存在显着不同的边沿，只需将引导的所有结构信息传送到目标即将导致各种伪像。要应对这个问题，我们提出了一个名为Deep Enterponal引导图像过滤的有效框架，其过滤过程可以完全集成两个图像中包含的互补信息。具体地，我们提出了一种注意力内核学习模块，分别从引导和目标生成双组滤波器内核，然后通过在两个图像之间建模像素方向依赖性来自适应地组合它们。同时，我们提出了一种多尺度引导图像滤波模块，以粗略的方式通过所构造的内核逐渐产生滤波结果。相应地，引入了多尺度融合策略以重用中间导点在粗略的过程中。广泛的实验表明，所提出的框架在广泛的引导图像滤波应用中，诸如引导超分辨率，横向模态恢复，纹理拆除和语义分割的最先进的方法。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。

基于对抗性学习的图像抑制方法，由于其出色的性能，已经在计算机视觉中进行了广泛的研究。但是，大多数现有方法对实际情况的质量功能有限，因为它们在相同场景的透明和合成的雾化图像上进行了培训。此外，它们在保留鲜艳的色彩和丰富的文本细节方面存在局限性。为了解决这些问题，我们开发了一个新颖的生成对抗网络，称为整体注意力融合对抗网络（HAAN），用于单个图像。 Haan由Fog2FogFogre块和FogFree2Fog块组成。在每个块中，有三个基于学习的模块，即雾除雾，颜色纹理恢复和雾合成，它们相互限制以生成高质量的图像。 Haan旨在通过学习雾图图像之间的整体通道空间特征相关性及其几个派生图像之间的整体通道空间特征相关性来利用纹理和结构信息的自相似性。此外，在雾合成模块中，我们利用大气散射模型来指导它，以通过新颖的天空分割网络专注于大气光优化来提高生成质量。关于合成和现实世界数据集的广泛实验表明，就定量准确性和主观的视觉质量而言，Haan的表现优于最先进的脱落方法。

现实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应物中产生具有更高光谱和空间忠诚的高分辨率（HR）HSI。生成的对抗网络（GAN）已被证明是图像超分辨率的有效深入学习框架。然而，现有GaN的模型的优化过程经常存在模式崩溃问题，导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真，尤其是具有大的升级因子。为了缓解模式崩溃的问题，这项工作提出了一种与潜在编码器（Le-GaN）耦合的新型GaN模型，其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上，我们将HSI视为嵌入在潜在空间中的高维歧管。因此，GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题，使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器（即Aviris和UHD-185）的两种实际HSI数据集进行了测试和验证，用于各种升高因素并增加噪声水平，并与最先进的超分辨率模型相比（即Hyconet，LTTR，Bagan，SR-GaN，Wgan）。

尽管深度学习使图像介绍方面取得了巨大的飞跃，但当前的方法通常无法综合现实的高频细节。在本文中，我们建议将超分辨率应用于粗糙的重建输出，以高分辨率进行精炼，然后将输出降低到原始分辨率。通过将高分辨率图像引入改进网络，我们的框架能够重建更多的细节，这些细节通常由于光谱偏置而被平滑 - 神经网络倾向于比高频更好地重建低频。为了协助培训大型高度孔洞的改进网络，我们提出了一种渐进的学习技术，其中缺失区域的大小随着培训的进行而增加。我们的缩放，完善和缩放策略，结合了高分辨率的监督和渐进学习，构成了一种框架 - 不合时宜的方法，用于增强高频细节，可应用于任何基于CNN的涂层方法。我们提供定性和定量评估以及消融分析，以显示我们方法的有效性。这种看似简单但功能强大的方法优于最先进的介绍方法。我们的代码可在https://github.com/google/zoom-to-inpaint中找到

图像融合技术广泛用于熔断多源遥感图像之间的互补信息。这篇论文首先提出了基于新型剩余循环GaN的新型综合框架提出了一种基于新的综合框架。所提出的网络由前向融合部分和后退退化反馈部分组成。前向部件从各种观察结果产生所需的融合结果;向后退化反馈部分考虑成像劣化过程，并从融合结果中重新生成观察结果。所提出的网络不仅可以有效地熔断均匀而且是异构信息。另外，首次提出了一种异构集成的融合框架，以同时合并多源异质观测的互补异质空间，光谱和时间信息。所提出的异构整合框架还提供了一种可以完成各种融合任务的均匀模式，包括异质的时空熔化，时空融合和异质时空谱 - 时间融合。对两种挑战性的土地覆盖变化和厚云覆盖进行了实验。在实验中使用来自许多遥感卫星的图像，包括MODIS，LANDSAT-8，Sentinel-1和Sentinel-2。定性和定量评估都证实了所提出的方法的有效性。

Deep learning-based methods have achieved significant performance for image defogging. However, existing methods are mainly developed for land scenes and perform poorly when dealing with overwater foggy images, since overwater scenes typically contain large expanses of sky and water. In this work, we propose a Prior map Guided CycleGAN (PG-CycleGAN) for defogging of images with overwater scenes. To promote the recovery of the objects on water in the image, two loss functions are exploited for the network where a prior map is designed to invert the dark channel and the min-max normalization is used to suppress the sky and emphasize objects. However, due to the unpaired training set, the network may learn an under-constrained domain mapping from foggy to fog-free image, leading to artifacts and loss of details. Thus, we propose an intuitive Upscaling Inception Module (UIM) and a Long-range Residual Coarse-to-fine framework (LRC) to mitigate this issue. Extensive experiments on qualitative and quantitative comparisons demonstrate that the proposed method outperforms the state-of-the-art supervised, semi-supervised, and unsupervised defogging approaches.

近年来，对基于深度学习的粉丝彭化的兴趣日益增长。研究主要集中在建筑上。然而，缺乏基础事实，模型培训也是一个主要问题。一种流行的方法是使用原始数据作为地面真理训练在降低的分辨率域中的网络。然后在全分辨率数据上使用训练有素的网络，依赖于隐式缩放不变性假设。结果通常良好的分辨率，但在全分辨率下更具可疑的问题。在这里，我们向基于深度学习的泛散歌提出了一个全分辨率的培训框架。训练在高分辨率域中进行，仅依赖于原始数据，没有信息丢失。为了确保光谱和空间保真度，定义了合适的损耗，该损耗迫使泛圆柱输出与可用的全谱和多光谱输入一致。在WorldView-3，WorldView-2和Geoeye-1图像上进行的实验表明，在拟议的框架培训的方法中，在全分辨率数值指标和视觉质量方面都能保证出色的性能。该框架完全是一般的，可用于培训和微调任何基于深度学习的泛狼平网络。

Pansharpening使用高空间分辨率Panchromatic图像的特征增强了高光谱分辨率多光谱图像的空间细节。有许多传统的pansharpening方法，但是产生表现出高光谱和空间保真度的图像仍然是一个空旷的问题。最近，深度学习已被用来产生有希望的Pansharped图像。但是，这些方法中的大多数通过使用相同的网络进行特征提取，对多光谱和全球性图像都采用了类似的处理。在这项工作中，我们提出了一个新型的基于双重注意的两流网络。首先使用两个单独的网络进行两个图像的特征提取，这是一种具有注意机制的编码器，可重新校准提取的功能。接下来是融合的特征，形成喂入图像重建网络的紧凑表示形式以产生pansharped图像。使用标准定量评估指标和视觉检查的PL \'{E} IADES数据集的实验结果表明，就Pansharped图像质量而言，所提出的方法比其他方法更好。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战，导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务，例如照明调整，颜色增强或删除噪声；或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上，因此，这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题，在本文中，我们提出了一个低光图像处理框架，该框架可以执行关节照明调整，增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义，我们设计了两个分支：系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用，并预测通过双边学习增强的系数，而关节增强和去核分支在全分辨率空间中工作，并逐步执行关节增强和脱氧。与现有方法相反，我们的框架在适应另一个摄像机模型时不需要回忆大量数据，这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验，与当前的最新方法相比，我们在现实世界中的低光成像应用中证明了它的巨大潜力。