光谱压缩成像（SCI）能够将高维高光谱图像编码为2D测量，然后使用算法来重建时空光谱数据处。目前，SCI的主要瓶颈是重建算法，最新的（SOTA）重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中，我们提出了一个新型的混合网络模块，即CCOT（卷积和上下文变压器）块，该模块可以同时获得卷积的感应偏见和强大的变压器建模能力，并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中，并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验，我们提出的模型可实现更高的重建质量（$> $> $> $> $ 2db的PSNR在模拟基准数据集中）和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。
translated by 谷歌翻译
视频快照压缩成像（SCI）使用计算成像的概念通过单个测量捕获了多个顺序视频帧。基本原理是通过不同的遮罩调节高速框架，这些调制帧求和到由低速2D传感器捕获的单个测量值（称为光学编码器）；此后，如果需要，使用算法来重建所需的高速帧（配音软件解码器）。在本文中，我们考虑了视频SCI中的重建算法，即从压缩测量中恢复一系列视频帧。具体而言，我们提出了一个时空变压器（STFORMER）来利用空间和时间域中的相关性。 stformer网络由令牌生成块，视频重建块组成，这两个块由一系列的stformer块连接。每个STFORMER块由空间自我注意分支，时间自我发项处和这两个分支的输出组成，由融合网络集成。对模拟和真实数据的广泛结果证明了Stformer的最新性能。代码和模型可在https://github.com/ucaswangls/stformer.git上公开获得
translated by 谷歌翻译
编码的光圈快照光谱成像（CASSI）是一种用于从一个或几个二维投影测量值重建三维高光谱图像（HSI）的技术。但是，较少的投影测量或更多的光谱通道导致了严重的问题，在这种情况下，必须应用正则化方法。为了显着提高重建的准确性，本文提出了一种基于自然图像的稀疏性和深层图像先验（FAMA-SDIP）的快速交流最小化算法。通过将深层图像（DIP）集成到压缩感应（CS）重建原理中，提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明，FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
在编码的光圈快照光谱压缩成像（CASSI）系统中，采用高光谱图像（HSI）重建方法从压缩测量中恢复了空间光谱信号。在这些算法中，深层展开的方法表现出令人鼓舞的表现，但遭受了两个问题的困扰。首先，他们没有从高度相关的CASSI估计降解模式和不适当的程度来指导迭代学习。其次，它们主要基于CNN，显示出捕获长期依赖性的局限性。在本文中，我们提出了一个原则性的降级感知框架（DAUF），该框架（DAUF）从压缩图像和物理掩码中估算参数，然后使用这些参数来控制每个迭代。此外，我们自定义了一种新颖的半剃须变压器（HST），该变压器（HST）同时捕获本地内容和非本地依赖性。通过将HST插入DAUF，我们为HSI重建建立了第一个基于变压器的深层展开方法，即降解感知的降解 - 降解的半个剃须刀变压器（DAUHST）。实验表明，Dauhst显着超过了最先进的方法，同时需要更便宜的计算和存储成本。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
高光谱成像是各种应用的基本成像模型，尤其是遥感，农业和医学。灵感来自现有的高光谱相机，可以慢，昂贵或笨重，从低预算快照测量中重建高光谱图像（HSIS）已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中，近期深度展开网络（DUNS）用于光谱快照压缩感应（SCI）已经取得了显着的成功。然而，DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中，我们提出了一种新的高光谱可分解的重建和最佳采样深度网络，用于SCI，被称为HeroSnet，其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵，并在梯度下降步骤中进行上下文调整步骤，以及分层熔断器，并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时，终端实现硬件友好的最佳二进制掩模，以进一步提高重建性能。最后，我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
高光谱图像（HSI）重建旨在从编码光圈快照频谱成像（CASSI）系统中的2D测量中恢复3D空间光谱信号。 HSI表示在光谱维度上具有高度相似和相关性。建模频谱间相互作用对HSI重建有益。然而，现有的基于CNN的方法显示了捕获光谱和远程依赖性的限制。此外，HSI信息由CASSI中的编码孔径（物理掩码）调制。尽管如此，目前的算法尚未完全探索掩模的掩模恢复的引导效果。在本文中，我们提出了一种新颖的框架，掩模引导的光谱 - 明智变压器（MST），用于HSI重建。具体地，我们介绍了一种频谱，用于将每个光谱特征视为令牌的频谱 - 明智的多头自我注意（S-MSA）并计算沿光谱尺寸的自我关注。此外，我们自定义一个掩模导向机构（mm），指示S-MSA，以注意具有高保真谱表示的空间区域。广泛的实验表明，我们的MST在模拟和真实HSI数据集上显着优于最先进的（SOTA）方法，同时需要大幅更便宜的计算和内存成本。
translated by 谷歌翻译
已经开发了许多算法来解决编码光圈快照光谱成像（CASSI）的反问题，即从2D压缩测量中恢复3D高光谱图像（HSIS）。近年来，基于学习的方法证明了有希望的表现，并主导了主流研究方向。但是，现有的基于CNN的方法显示了捕获长期依赖性和非本地自相似性的局限性。以前的基于变压器的方法密集样本令牌，其中一些是不明显的，并计算了某些在内容中无关的令牌之间的多头自我注意力（MSA）。这不符合HSI信号的空间稀疏性质，并限制了模型可伸缩性。在本文中，我们提出了一种新型的基于变压器的方法，即粗到细稀疏变压器（CST），首先将HSI的稀疏嵌入到HSI重建的深度学习中。特别是，CST使用我们提出的光谱感知筛选机制（SASM）进行粗贴片选择。然后，选定的贴片被馈入我们的定制光谱 - 聚集多头自我注意力（SAH-MSA），以进行精细的像素聚类和自相似性捕获。全面的实验表明，我们的CST在需要廉价的计算成本的同时，明显优于最先进的方法。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。
translated by 谷歌翻译
卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。
translated by 谷歌翻译
与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
在恶劣天气下降雪场景的图像恢复是一项艰巨的任务。雪图像具有复杂的降解，并在干净的图像上混乱，改变了干净的图像的分布。以前基于CNN的方法由于缺乏特定的全球建模能力，因此在恢复雪场景中完全恢复了雪场的挑战。在本文中，我们将视觉变压器应用于从单个图像中去除积雪的任务。具体而言，我们建议沿通道拆分的并行网络体系结构分别执行本地功能改进和全局信息建模。我们利用频道洗牌操作来结合其各自的优势以增强网络性能。其次，我们提出了MSP模块，该模块利用多规模的AVGPOOL来汇总不同大小的信息，并同时对多头自我注意力进行多尺度投影自我注意，以提高模型在不同规模下降下的表示能力。最后，我们设计了一个轻巧，简单的本地捕获模块，可以完善模型的本地捕获能力。在实验部分，我们进行了广泛的实验以证明我们方法的优越性。我们比较了三个雪场数据集上的先前清除方法。实验结果表明，我们的方法超过了更少的参数和计算的最新方法。在CSD测试数据集上，我们实现了1.99dB和SSIM 0.03的实质增长。在SRR和SNOW100K数据集上，与Transweather方法相比，我们还增加了2.47dB和1.62dB，在SSIM中提高了0.03。在视觉比较部分中，我们的MSP形式比现有方法获得了更好的视觉效果，证明了我们方法的可用性。
translated by 谷歌翻译
我们考虑使用系统的光学成像过程与卷积神经网络（CNN）来解决快照高光谱成像重建问题，其使用双相机系统以压缩方式捕获三维高光谱图像（HSIS）。近年来已经开发了使用CNN的各种方法来重建HSI，但大多数监督的深度学习方法旨在符合捕获的压缩图像和标准HSI之间的蛮力映射关系。因此，当观察数据偏离训练数据时，学习的映射将无效。特别是，我们通常在现实方案中没有地面真相。在本文中，我们提出了一个自我监督的双摄像机设备，具有未经训练的物理信息的CNNS框架。广泛的模拟和实验结果表明，我们没有培训的方法可以适应具有良好性能的广泛成像环境。此外，与基于培训的方法相比，我们的系统可以在现实方案中不断微调和自我改善。
translated by 谷歌翻译
最近，一些研究在图像压缩感测（CS）任务中应用了深层卷积神经网络（CNN），以提高重建质量。但是，卷积层通常具有一个小的接受场。因此，使用CNN捕获远程像素相关性是具有挑战性的，这限制了其在Image CS任务中的重建性能。考虑到这一限制，我们为图像CS任务（称为uformer-ics）提出了一个U形变压器。我们通过将CS的先验投影知识集成到原始变压器块中，然后使用基于投影基于投影的变压器块和残留卷积块构建对称重建模型来开发一个基于投影的变压器块。与以前的基于CNN的CS方法相比，只能利用本地图像特征，建议的重建模型可以同时利用图像的局部特征和远程依赖性，以及CS理论的先前投影知识。此外，我们设计了一个自适应采样模型，该模型可以基于块稀疏性自适应采样图像块，这可以确保压缩结果保留在固定采样比下原始图像的最大可能信息。提出的UFORFORFOR-ICS是一个端到端框架，同时学习采样和重建过程。实验结果表明，与现有的基于深度学习的CS方法相比，它的重建性能明显优于重建性能。
translated by 谷歌翻译
高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。
translated by 谷歌翻译
深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更好的解决方案。但是，现有的基于学习的方法有两个主要缺陷。首先，具有自我注意力的网络通常会牺牲内部分辨率，以平衡模型性能与复杂性，失去细粒度的高分辨率（HR）功能。其次，即使专注于空间光谱域学习（SDL）的优化也会收敛到理想解决方案，但重建的HSI与真相之间仍然存在显着的视觉差异。因此，我们为HSI重建提出了一个高分辨率双域学习网络（HDNET）。一方面，提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面，引入了频域学习（FDL），以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率，并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明，我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。
translated by 谷歌翻译
最近，高光谱成像（HSI）引起了越来越多的研究关注，特别是对于基于编码光圈快照谱成像（CASSI）系统的研究。现有的深度HSI重建模型通常接受对数据进行配对数据，以在CASSI中的特定光学硬件掩模给出的2D压缩测量时检索原始信号，在此期间，掩码很大程度上影响了重建性能，并且可以作为数据上的“模型超参数”。增强。此屏蔽特定的培训风格将导致硬件错误稳定问题，从而为在不同硬件和嘈杂环境中部署深度HSI模型的障碍。为了解决这一挑战，我们为HSI引入了具有完整变分的贝叶斯学习处理的掩码不确定性，并通过真实硬件的启发的掩模分解显式模拟它。具体而言，我们提出了一种基于图形的自我调整（GST）网络，以推理适应不同硬件之间的掩模的不同空间结构的不确定性。此外，我们开发了一个Bilevel优化框架，以平衡HSI重建和不确定性估计，占MASK的HyperParameter属性。广泛的实验结果和模型讨论验证了两个错误频繁场景下提出的GST方法的有效性（超过33/30 dB），与最先进的校正方法相比，竞争性能很大。我们的代码和预先接受的模型可在https://github.com/jiamian wang / mask_unctainty_spectral_sci获得
translated by 谷歌翻译
深度学习模型是压缩光谱成像（CSI）恢复的最新模型。这些方法使用深神网络（DNN）作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如，深频谱先验方法在优化算法中使用卷积自动编码器网络（CAE）通过使用非线性表示来恢复光谱图像。但是，CAE训练与恢复问题分离，这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络（JR2NET），将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成，该网络学习了非线性低维表示，并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明，该方法的优势在PSNR中的改进高达2.57 dB，并且性能比最新方法快2000倍。
translated by 谷歌翻译
基于深度学习的高光谱图像（HSI）恢复方法因其出色的性能而广受欢迎，但每当任务更改的细节时，通常都需要昂贵的网络再培训。在本文中，我们建议使用有效的插入方法以统一的方法恢复HSI，该方法可以共同保留基于优化方法的灵活性，并利用深神经网络的强大表示能力。具体而言，我们首先开发了一个新的深HSI DeNoiser，利用了门控复发单元，短期和长期的跳过连接以及增强的噪声水平图，以更好地利用HSIS内丰富的空间光谱信息。因此，这导致在高斯和复杂的噪声设置下，在HSI DeNosing上的最新性能。然后，在处理各种HSI恢复任务之前，将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率，压缩感测和内部进行的广泛实验，我们证明了我们的方法经常实现卓越的性能，这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
光谱超分辨率（SSR）是指从RGB对应物中恢复的高光谱图像（HSI）。由于SSR问题的一对多性，可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息，如自然RGB空间上下文的上下文，深度特征或固有的HSI统计事先等，以提高重建的置信度和保真度光谱。然而，大多数目前的方法只考虑设计定制的卷积神经网络（CNN）的一般和有限的前瞻，这导致无法有效地减轻不良程度。为解决有问题的问题，我们为SSR提出了一个新颖的全面的先前嵌入关系网络（HPRN）。基本上，核心框架由几个多剩余关系块（MRB）进行多种组装，其完全便于RGB信号之前的低频内容的传输和利用。创新性地，引入了RGB输入的语义之前，以识别类别属性，并且向前提出了语义驱动的空间关系模块（SSRM）以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外，我们开发了一种基于变换器的通道关系模块（TCRM），其习惯使用标量作为先前深度特征中的频道方面关系的描述符，并用某些向量替换为变换器特征交互，支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性，将二阶的先前约束（SOPC）结合到丢失功能中以引导HSI重建过程。
translated by 谷歌翻译