Pansharpening是指具有高空间分辨率的全色图像的融合和具有低空间分辨率的多光谱图像，旨在获得高空间分辨率多光谱图像。在本文中，我们提出了一种新的深度神经网络架构，通过考虑以下双型结构，\ emph {ie，double级，双分支和双向，称为三双网络（TDNet）。通过使用TDNet的结构，可以充分利用平面图像的空间细节，并利用逐步注入低空间分辨率多光谱图像，从而产生高空间分辨率输出。特定的网络设计是由传统多分辨率分析（MRA）方法的物理公式的动机。因此，有效的MRA融合模块也集成到TDNet中。此外，我们采用了一些Reset块和一些多尺度卷积内核来加深和扩大网络，以有效增强所提出的TDNet的特征提取和鲁棒性。关于WorldView-3，Quickbird和GaoFen-2传感器获得的减少和全分辨率数据集的广泛实验表明了与最近最近的最先进的泛红花彭化方法相比，所提出的TDNet的优越性。一个消融的研究也证实了所提出的方法的有效性。
translated by 谷歌翻译
遥感图像中的Pansharpening旨在通过融合具有平面（PAN）图像的低分辨率多光谱（LRMS）图像直接获取高分辨率多光谱（HRMS）图像。主要问题是如何将LRMS图像的丰富光谱信息与PAN图像的丰富空间信息有效地结合。最近，已经提出了基于深度学习的许多方法，以便泛歌舞团的任务。然而，这些方法通常具有两个主要缺点：1）需要HRMS进行监督学习; 2）简单地忽略了MS和PAN图像之间的潜在关系并直接融合它们。为了解决这些问题，我们提出了一种基于学习劣化过程的新型无监督网络，称为LDP-Net。设计用于分别用于学习相应的降级过程的重新阻挡块和灰色块。另外，提出了一种新的混合损失函数，以在不同分辨率下限制泛散形图像和平底锅和平移和LRMS图像之间的空间和光谱一致性。 WorldView2和WorldView3图像上的实验表明，我们所提出的LDP-Net可以在没有HRMS样本的帮助下有效地融合平移和LRMS图像，从而在定性视觉效果和定量度量方面实现了有希望的性能。
translated by 谷歌翻译
多光谱和全型图像的融合始终被称为pansharpening。大多数可用的基于深度学习的pan-sharpening方法通过一步方案增强了多光谱图像，这在很大程度上取决于网络的重建能力。但是，遥感图像总是具有很大的变化，因此，这些一步方法容易受到误差积累的影响，因此无法保留空间细节以及光谱信息。在本文中，我们提出了一个新型的两步模型，用于泛叠式模型，该模型通过空间和光谱信息的进行性补偿来锐化MS图像。首先，深层多尺度引导的生成对抗网络用于初步增强MS图像的空间分辨率。从粗糙域中的预交换MS图像开始，我们的方法随后逐步完善了具有反向体系结构的几个生成对抗网络（GAN）的空间和光谱残差。整个模型由三重gan组成，基于特定的架构，关节补偿损失函数旨在使三重甘族能够同时训练。此外，本文提出的空间谱系残留补偿结构可以扩展到其他泛伴式方法，以进一步增强其融合结果。在不同的数据集上进行了广泛的实验，结果证明了我们提出的方法的有效性和效率。
translated by 谷歌翻译
由于高光谱摄像机传感器在较差的照明条件下捕获的能量不足，因此低光谱图像（HSIS）通常会遭受视野较低，光谱失真和各种噪音的遭受的影响。已经开发了一系列HSI恢复方法，但它们在增强低光HSIS方面的有效性受到限制。这项工作着重于低光HSI增强任务，该任务旨在揭示隐藏在黑暗区域中的空间光谱信息。为了促进低光HSI处理的开发，我们收集了室内和室外场景的低光HSI（LHSI）数据集。基于Laplacian金字塔分解和重建，我们开发了在LHSI数据集中训练的端到端数据驱动的低光HSI增强（HSIE）方法。通过观察到照明与HSI的低频组件有关，而纹理细节与高频组件密切相关，因此建议的HSIE设计为具有两个分支。采用照明增强分支以减少分辨率来启发低频组件。高频改进分支用于通过预测的掩码来完善高频组件。此外，为了提高信息流量和提高性能，我们引入了具有残留致密连接的有效通道注意块（CAB），该连接是照明增强分支的基本块。 LHSI数据集的实验结果证明了HSIE在定量评估措施和视觉效果中的有效性和效率。根据遥感印度松树数据集的分类性能，下游任务受益于增强的HSI。可用数据集和代码：\ href {https://github.com/guanguanboy/hsie} {https://github.com/guanguanboy/hsie}。
translated by 谷歌翻译
Pansharpening使用高空间分辨率Panchromatic图像的特征增强了高光谱分辨率多光谱图像的空间细节。有许多传统的pansharpening方法，但是产生表现出高光谱和空间保真度的图像仍然是一个空旷的问题。最近，深度学习已被用来产生有希望的Pansharped图像。但是，这些方法中的大多数通过使用相同的网络进行特征提取，对多光谱和全球性图像都采用了类似的处理。在这项工作中，我们提出了一个新型的基于双重注意的两流网络。首先使用两个单独的网络进行两个图像的特征提取，这是一种具有注意机制的编码器，可重新校准提取的功能。接下来是融合的特征，形成喂入图像重建网络的紧凑表示形式以产生pansharped图像。使用标准定量评估指标和视觉检查的PL \'{E} IADES数据集的实验结果表明，就Pansharped图像质量而言，所提出的方法比其他方法更好。
translated by 谷歌翻译
引导过滤器是计算机视觉和计算机图形中的基本工具，旨在将结构信息从引导图像传输到目标图像。大多数现有方法构造来自指导本身的滤波器内核，而不考虑指导和目标之间的相互依赖性。然而，由于两种图像中通常存在显着不同的边沿，只需将引导的所有结构信息传送到目标即将导致各种伪像。要应对这个问题，我们提出了一个名为Deep Enterponal引导图像过滤的有效框架，其过滤过程可以完全集成两个图像中包含的互补信息。具体地，我们提出了一种注意力内核学习模块，分别从引导和目标生成双组滤波器内核，然后通过在两个图像之间建模像素方向依赖性来自适应地组合它们。同时，我们提出了一种多尺度引导图像滤波模块，以粗略的方式通过所构造的内核逐渐产生滤波结果。相应地，引入了多尺度融合策略以重用中间导点在粗略的过程中。广泛的实验表明，所提出的框架在广泛的引导图像滤波应用中，诸如引导超分辨率，横向模态恢复，纹理拆除和语义分割的最先进的方法。
translated by 谷歌翻译
Pansharpening是一种广泛使用的图像增强技术，用于遥感。其原理是熔断输入的高分辨率单通道平面（PAN）图像和低分辨率多光谱图像，并获得高分辨率多光谱（HRMS）图像。现有的深度学习泛散歌方法有两个缺点。首先，需要沿信道维度连接两个输入图像的特征以重建HRMS图像，这使得PAN图像的重要性不突出，并且还导致高计算成本。其次，通过手动设计的损耗功能难以提取特征的隐式信息。为此，我们通过用于粉彩的快速引导滤波器（FGF）提出一种生成的对抗性网络。在发电机中，传统的信道级联被FGF替换，以更好地保留空间信息，同时减少参数的数量。同时，融合对象可以通过空间注意模块突出显示。此外，通过对抗性训练可以有效地保存特征的潜在信息。许多实验说明我们的网络生成了可以超越现有方法的高质量HRMS图像，以及更少的参数。
translated by 谷歌翻译
高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。
translated by 谷歌翻译
近年来，对基于深度学习的粉丝彭化的兴趣日益增长。研究主要集中在建筑上。然而，缺乏基础事实，模型培训也是一个主要问题。一种流行的方法是使用原始数据作为地面真理训练在降低的分辨率域中的网络。然后在全分辨率数据上使用训练有素的网络，依赖于隐式缩放不变性假设。结果通常良好的分辨率，但在全分辨率下更具可疑的问题。在这里，我们向基于深度学习的泛散歌提出了一个全分辨率的培训框架。训练在高分辨率域中进行，仅依赖于原始数据，没有信息丢失。为了确保光谱和空间保真度，定义了合适的损耗，该损耗迫使泛圆柱输出与可用的全谱和多光谱输入一致。在WorldView-3，WorldView-2和Geoeye-1图像上进行的实验表明，在拟议的框架培训的方法中，在全分辨率数值指标和视觉质量方面都能保证出色的性能。该框架完全是一般的，可用于培训和微调任何基于深度学习的泛狼平网络。
translated by 谷歌翻译
高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。
translated by 谷歌翻译
深度映射记录场景中的视点和对象之间的距离，这在许多真实应用程序中起着关键作用。然而，消费者级RGB-D相机捕获的深度图遭受了低空间分辨率。引导深度地图超分辨率（DSR）是解决此问题的流行方法，该方法试图从输入的低分辨率（LR）深度及其耦合的HR RGB图像中恢复高分辨率（HR）深度映射和作为指引。引导DSR最具挑战性的问题是如何正确选择一致的结构并传播它们，并正确处理不一致的结构。在本文中，我们提出了一种用于引导DSR的新型关注的分层多模态融合（AHMF）网络。具体地，为了有效地提取和组合来自LR深度和HR引导的相关信息，我们提出了一种基于多模态注意力的融合（MMAF）策略，包括分层卷积层，包括特征增强块，以选择有价值的功能和特征重新校准块来统一不同外观特征的方式的相似性度量。此外，我们提出了一个双向分层特征协作（BHFC）模块，以完全利用多尺度特征之间的低级空间信息和高级结构信息。实验结果表明，在重建精度，运行速度和记忆效率方面，我们的方法优于最先进的方法。
translated by 谷歌翻译
为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。
translated by 谷歌翻译
随着移动设备的快速开发，现代使用的手机通常允许用户捕获4K分辨率（即超高定义）图像。然而，对于图像进行示范，在低级视觉中，一项艰巨的任务，现有作品通常是在低分辨率或合成图像上进行的。因此，这些方法对4K分辨率图像的有效性仍然未知。在本文中，我们探索了Moire模式的删除，以进行超高定义图像。为此，我们提出了第一个超高定义的演示数据集（UHDM），其中包含5,000个现实世界4K分辨率图像对，并对当前最新方法进行基准研究。此外，我们提出了一个有效的基线模型ESDNET来解决4K Moire图像，其中我们构建了一个语义对准的比例感知模块来解决Moire模式的尺度变化。广泛的实验表明了我们的方法的有效性，这可以超过最轻巧的优于最先进的方法。代码和数据集可在https://xinyu-andy.github.io/uhdm-page上找到。
translated by 谷歌翻译
随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。
translated by 谷歌翻译
图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。
translated by 谷歌翻译
与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
对于单眼360图像，深度估计是一个具有挑战性的，因为失真沿纬度增加。为了感知失真，现有方法致力于设计深层且复杂的网络体系结构。在本文中，我们提供了一种新的观点，该视角为360图像构建了可解释且稀疏的表示形式。考虑到几何结构在深度估计中的重要性，我们利用Contourlet变换来捕获光谱域中的显式几何提示，并将其与空间域中的隐含提示集成在一起。具体而言，我们提出了一个由卷积神经网络和Contourlet变换分支组成的神经轮廓网络。在编码器阶段，我们设计了一个空间光谱融合模块，以有效融合两种类型的提示。与编码器相反，我们采用了逆向方形变换，并通过学习的低通子带和带通道的定向子带来构成解码器中的深度。在三个流行的全景图像数据集上进行的实验表明，所提出的方法的表现优于最先进的方案，其收敛速度更快。代码可在https://github.com/zhijieshen-bjtu/neural-contourlet-network-for-mode上找到。
translated by 谷歌翻译
深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更好的解决方案。但是，现有的基于学习的方法有两个主要缺陷。首先，具有自我注意力的网络通常会牺牲内部分辨率，以平衡模型性能与复杂性，失去细粒度的高分辨率（HR）功能。其次，即使专注于空间光谱域学习（SDL）的优化也会收敛到理想解决方案，但重建的HSI与真相之间仍然存在显着的视觉差异。因此，我们为HSI重建提出了一个高分辨率双域学习网络（HDNET）。一方面，提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面，引入了频域学习（FDL），以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率，并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明，我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.
translated by 谷歌翻译
有效的早期检测马铃薯晚枯萎病（PLB）是马铃薯栽培的必要方面。然而，由于缺乏在冠层水平上缺乏视觉线索，在具有传统成像方法的领域的早期阶段来检测晚期枯萎是一项挑战。高光谱成像可以，捕获来自宽范围波长的光谱信号也在视觉波长之外。在这种情况下，通过将2D卷积神经网络（2D-CNN）和3D-CNN与深度合作的网络（PLB-2D-3D-A）组合来提出高光谱图像的深度学习分类架构。首先，2D-CNN和3D-CNN用于提取丰富的光谱空间特征，然后使用注意力块和SE-RESET用于强调特征图中的突出特征，并提高模型的泛化能力。数据集采用15,360张图像（64x64x204）构建，从在实验领域捕获的240个原始图像裁剪，具有超过20种马铃薯基因型。 2000年图像的测试数据集中的精度在全带中达到0.739，特定带中的0.790（492nm，519nm，560nm，592nm，717nm和765nm）。本研究表明，具有深入学习和近端高光谱成像的早期检测PLB的令人鼓舞的结果。
translated by 谷歌翻译