编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
光谱压缩成像(SCI)能够将高维高光谱图像编码为2D测量,然后使用算法来重建时空光谱数据处。目前,SCI的主要瓶颈是重建算法,最新的(SOTA)重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中,我们提出了一个新型的混合网络模块,即CCOT(卷积和上下文变压器)块,该模块可以同时获得卷积的感应偏见和强大的变压器建模能力,并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中,并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验,我们提出的模型可实现更高的重建质量($> $> $> $> $ 2db的PSNR在模拟基准数据集中)和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。
translated by 谷歌翻译
深度学习模型是压缩光谱成像(CSI)恢复的最新模型。这些方法使用深神网络(DNN)作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如,深频谱先验方法在优化算法中使用卷积自动编码器网络(CAE)通过使用非线性表示来恢复光谱图像。但是,CAE训练与恢复问题分离,这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络(JR2NET),将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成,该网络学习了非线性低维表示,并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明,该方法的优势在PSNR中的改进高达2.57 dB,并且性能比最新方法快2000倍。
translated by 谷歌翻译
高光谱成像是各种应用的基本成像模型,尤其是遥感,农业和医学。灵感来自现有的高光谱相机,可以慢,昂贵或笨重,从低预算快照测量中重建高光谱图像(HSIS)已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中,近期深度展开网络(DUNS)用于光谱快照压缩感应(SCI)已经取得了显着的成功。然而,DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中,我们提出了一种新的高光谱可分解的重建和最佳采样深度网络,用于SCI,被称为HeroSnet,其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵,并在梯度下降步骤中进行上下文调整步骤,以及分层熔断器,并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时,终端实现硬件友好的最佳二进制掩模,以进一步提高重建性能。最后,我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
基于深度网络的图像压缩感(CS)近年来引起了很多关注。然而,现有的基于深网络的CS方案以逐个块的方式重建目标图像,其导致严重的块伪像或将深网络训练为黑盒,其带来了对图像先验知识的有限识别。本文提出了一种使用非局部神经网络(NL-CSNet)的新型图像CS框架,其利用具有深度网络的非本地自相似子,提高重建质量。在所提出的NL-CSNET中,构造了两个非本地子网,用于分别利用测量域中的非本地自相似子系统和多尺度特征域。具体地,在测量域的子网中,建立用于更好的初始重建的不同图像块的测量之间的长距离依赖性。类似地,在多尺度特征域的子网中,在深度重建的多尺度空间中探讨了密集特征表示之间的亲和力。此外,开发了一种新的损失函数以增强非本地表示之间的耦合,这也能够实现NL-CSNet的端到端训练。广泛的实验表明,NL-CSNet优于现有的最先进的CS方法,同时保持快速的计算速度。
translated by 谷歌翻译
在编码的光圈快照光谱压缩成像(CASSI)系统中,采用高光谱图像(HSI)重建方法从压缩测量中恢复了空间光谱信号。在这些算法中,深层展开的方法表现出令人鼓舞的表现,但遭受了两个问题的困扰。首先,他们没有从高度相关的CASSI估计降解模式和不适当的程度来指导迭代学习。其次,它们主要基于CNN,显示出捕获长期依赖性的局限性。在本文中,我们提出了一个原则性的降级感知框架(DAUF),该框架(DAUF)从压缩图像和物理掩码中估算参数,然后使用这些参数来控制每个迭代。此外,我们自定义了一种新颖的半剃须变压器(HST),该变压器(HST)同时捕获本地内容和非本地依赖性。通过将HST插入DAUF,我们为HSI重建建立了第一个基于变压器的深层展开方法,即降解感知的降解 - 降解的半个剃须刀变压器(DAUHST)。实验表明,Dauhst显着超过了最先进的方法,同时需要更便宜的计算和存储成本。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
最近,从图像中提取的不同组件的低秩属性已经考虑在MAN Hypspectral图像去噪方法中。然而,这些方法通常将3D矩阵或1D向量展开,以利用现有信息,例如非识别空间自相似性(NSS)和全局光谱相关(GSC),其破坏了高光谱图像的内在结构相关性(HSI) )因此导致恢复质量差。此外,由于在HSI的原始高维空间中的矩阵和张量的矩阵和张量的参与,其中大多数受到重大计算负担问题。我们使用子空间表示和加权低级张量正则化(SWLRTR)进入模型中以消除高光谱图像中的混合噪声。具体地,为了在光谱频带中使用GSC,将噪声HSI投影到简化计算的低维子空间中。之后,引入加权的低级张量正则化术语以表征缩减图像子空间中的前导。此外,我们设计了一种基于交替最小化的算法来解决非耦合问题。模拟和实时数据集的实验表明,SWLRTR方法比定量和视觉上的其他高光谱去噪方法更好。
translated by 谷歌翻译
在计算机断层扫描成像的实际应用中,投影数据可以在有限角度范围内获取,并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中,我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中,提出了一个新型的低分辨率图像先验的CT重建模型,以利用低分辨率图像来提高重建质量。更具体地说,我们在下采样的投影数据上建立了低分辨率重建问题,并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明,我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。
translated by 谷歌翻译
我们考虑使用系统的光学成像过程与卷积神经网络(CNN)来解决快照高光谱成像重建问题,其使用双相机系统以压缩方式捕获三维高光谱图像(HSIS)。近年来已经开发了使用CNN的各种方法来重建HSI,但大多数监督的深度学习方法旨在符合捕获的压缩图像和标准HSI之间的蛮力映射关系。因此,当观察数据偏离训练数据时,学习的映射将无效。特别是,我们通常在现实方案中没有地面真相。在本文中,我们提出了一个自我监督的双摄像机设备,具有未经训练的物理信息的CNNS框架。广泛的模拟和实验结果表明,我们没有培训的方法可以适应具有良好性能的广泛成像环境。此外,与基于培训的方法相比,我们的系统可以在现实方案中不断微调和自我改善。
translated by 谷歌翻译
The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .
translated by 谷歌翻译
深度学习方法已成功用于各种计算机视觉任务。受到成功的启发,已经在磁共振成像(MRI)重建中探索了深度学习。特别是,整合深度学习和基于模型的优化方法已显示出很大的优势。但是,对于高重建质量,通常需要大量标记的培训数据,这对于某些MRI应用来说是具有挑战性的。在本文中,我们提出了一种名为DUREN-NET的新型重建方法,该方法可以通过组合无监督的DeNoising网络和插件方法来为MR图像重建提供可解释的无监督学习。我们的目标是通过添加明确的先验利用成像物理学来提高无监督学习的重建性能。具体而言,使用denoising(红色)正规化实现了MRI重建网络的杠杆作用。实验结果表明,所提出的方法需要减少训练数据的数量才能达到高重建质量。
translated by 谷歌翻译
This paper proposes a non-data-driven deep neural network for spectral image recovery problems such as denoising, single hyperspectral image super-resolution, and compressive spectral imaging reconstruction. Unlike previous methods, the proposed approach, dubbed Mixture-Net, implicitly learns the prior information through the network. Mixture-Net consists of a deep generative model whose layers are inspired by the linear and non-linear low-rank mixture models, where the recovered image is composed of a weighted sum between the linear and non-linear decomposition. Mixture-Net also provides a low-rank decomposition interpreted as the spectral image abundances and endmembers, helpful in achieving remote sensing tasks without running additional routines. The experiments show the MixtureNet effectiveness outperforming state-of-the-art methods in recovery quality with the advantage of architecture interpretability.
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译
视频快照压缩成像(SCI)使用计算成像的概念通过单个测量捕获了多个顺序视频帧。基本原理是通过不同的遮罩调节高速框架,这些调制帧求和到由低速2D传感器捕获的单个测量值(称为光学编码器);此后,如果需要,使用算法来重建所需的高速帧(配音软件解码器)。在本文中,我们考虑了视频SCI中的重建算法,即从压缩测量中恢复一系列视频帧。具体而言,我们提出了一个时空变压器(STFORMER)来利用空间和时间域中的相关性。 stformer网络由令牌生成块,视频重建块组成,这两个块由一系列的stformer块连接。每个STFORMER块由空间自我注意分支,时间自我发项处和这两个分支的输出组成,由融合网络集成。对模拟和真实数据的广泛结果证明了Stformer的最新性能。代码和模型可在https://github.com/ucaswangls/stformer.git上公开获得
translated by 谷歌翻译
为了解决高光谱图像超分辨率(HSISR)的不良问题,通常方法是使用高光谱图像(HSIS)的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络(CNN)来学习HSI的隐式前导者。然而,CNN的学习能力是有限的,它仅考虑HSI的空间特性并忽略光谱特性,并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中,我们提出了一种新颖的HSISR方法,该方法使用变压器而不是CNN来学习HSI之前。具体地,我们首先使用近端梯度算法来解决HSISR模型,然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外,我们在变压器层后面添加3D-CNN,以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明,与所有主流算法相比,所提出的方法实现了相当大的增益,包括最竞争力的传统方法和最近提出的基于深度学习的方法。
translated by 谷歌翻译
PtyChography是一种经过良好研究的相成像方法,可在纳米尺度上进行非侵入性成像。它已发展为主流技术,在材料科学或国防工业等各个领域具有各种应用。 PtyChography的一个主要缺点是由于相邻照明区域之间的高重叠要求以实现合理的重建,因此数据采集时间很长。扫描区域之间重叠的传统方法导致与文物的重建。在本文中,我们提出了从深层生成网络采样的数据中稀疏获得或不足采样的数据,以满足Ptychography的过采样要求。由于深度生成网络是预先训练的,并且可以在收集数据时计算其输出,因此可以减少实验数据和获取数据的时间。我们通过提出重建质量与先前提出的和传统方法相比,通过提出重建质量来验证该方法,并评论提出的方法的优势和缺点。
translated by 谷歌翻译
与传统CS方法相比,基于深度学习(DL)的压缩传感(CS)已被应用于图像重建的更好性能。但是,大多数现有的DL方法都利用逐个块测量,每个测量块分别恢复,这引入了重建的有害阻塞效应。此外,这些方法的神经元接受场被设计为每一层的大小相同,这只能收集单尺度的空间信息,并对重建过程产生负面影响。本文提出了一个新的框架,称为CS测量和重建的多尺度扩张卷积神经网络(MSDCNN)。在测量期间,我们直接从训练有素的测量网络中获得所有测量,该测量网络采用了完全卷积结构,并通过输入图像与重建网络共同训练。它不必将其切成块,从而有效地避免了块效应。在重建期间,我们提出了多尺度特征提取(MFE)体系结构,以模仿人类视觉系统以捕获同一功能映射的多尺度特征,从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中,有多个并行卷积通道以获取多尺度特征信息。然后,将多尺度功能信息融合在一起,并以高质量重建原始图像。我们的实验结果表明,根据PSNR和SSIM,该提出的方法对最新方法的性能有利。
translated by 谷歌翻译