闭环体系结构被广泛用于自动控制系统,并获得了杰出的性能。但是,经典的压缩传感系统采用了带有分离的采样和重建单元的开环体系结构。因此,通过将闭环框架引入传统压缩的传感系统中,提出了图像压缩传感(ICRIC)的迭代补偿恢复方法。提出的方法取决于任何现有方法,并通过添加负面反馈结构来升级其重建性能。对压缩传感系统负反馈的理论分析。还提供了所提出方法有效性的大致数学证明。在3个以上图像数据集上进行的仿真实验表明,该方法优于重建性能中的10种竞争方法。平均峰值信噪比的最大增量为4.36 dB,一个数据集的平均结构相似性的最大增量为0.034。基于负反馈机制的提议方法可以有效纠正现有图像压缩传感系统中的恢复误差。
translated by 谷歌翻译
自动编码器由编码和解码单元组成,因此它们具有高性能数据压缩和信号压缩传感的固有潜力。当前自动编码器的主要缺点包括以下几个方面:研究目标不是数据重建,而是特征表示;忽略了数据恢复的绩效评估;即使是通过纯净的深度学习,也很难通过纯自动编码器实现无损数据重建。本文旨在对自动编码器进行图像重建,采用基于级联解码器的自动编码器,完善图像重建的性能,逐渐无损的图像恢复,并为基于自动编码器的图像压缩和压缩感提供可靠的理论和应用基础。提出的基于串行解码器的自动编码器包括多级解码器的架构和相关的优化算法。级联解码器由一般解码器,剩余解码器,对抗解码器及其组合组成。通过实验结果评估,所提出的自动编码器在图像重建的性能中优于经典自动编码器。
translated by 谷歌翻译
与传统CS方法相比,基于深度学习(DL)的压缩传感(CS)已被应用于图像重建的更好性能。但是,大多数现有的DL方法都利用逐个块测量,每个测量块分别恢复,这引入了重建的有害阻塞效应。此外,这些方法的神经元接受场被设计为每一层的大小相同,这只能收集单尺度的空间信息,并对重建过程产生负面影响。本文提出了一个新的框架,称为CS测量和重建的多尺度扩张卷积神经网络(MSDCNN)。在测量期间,我们直接从训练有素的测量网络中获得所有测量,该测量网络采用了完全卷积结构,并通过输入图像与重建网络共同训练。它不必将其切成块,从而有效地避免了块效应。在重建期间,我们提出了多尺度特征提取(MFE)体系结构,以模仿人类视觉系统以捕获同一功能映射的多尺度特征,从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中,有多个并行卷积通道以获取多尺度特征信息。然后,将多尺度功能信息融合在一起,并以高质量重建原始图像。我们的实验结果表明,根据PSNR和SSIM,该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
近年来,基于深度学习的平行成像(PI)取得了巨大进展,以加速磁共振成像(MRI)。然而,现有方法的性能和鲁棒性仍然可以是不受欢迎的。在这项工作中,我们建议通过柔性PI重建,创建的重量K-Space Genera-Tive模型(WKGM)来探索K空间域学习。具体而言,WKGM是一种通用的K空间域模型,在其中有效地纳入了K空间加权技术和高维空间增强设计,用于基于得分的Genererative模型训练,从而实现良好和强大的重建。此外,WKGM具有灵活性,因此可以与各种传统的K空间PI模型协同结合,从而产生基于学习的先验以产生高保真重建。在具有不同采样模式和交流电因子的数据集上进行实验性重新构建表明,WKGM可以通过先验良好的K-Space生成剂获得最新的重建结果。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
基于深度网络的图像压缩感(CS)近年来引起了很多关注。然而,现有的基于深网络的CS方案以逐个块的方式重建目标图像,其导致严重的块伪像或将深网络训练为黑盒,其带来了对图像先验知识的有限识别。本文提出了一种使用非局部神经网络(NL-CSNet)的新型图像CS框架,其利用具有深度网络的非本地自相似子,提高重建质量。在所提出的NL-CSNET中,构造了两个非本地子网,用于分别利用测量域中的非本地自相似子系统和多尺度特征域。具体地,在测量域的子网中,建立用于更好的初始重建的不同图像块的测量之间的长距离依赖性。类似地,在多尺度特征域的子网中,在深度重建的多尺度空间中探讨了密集特征表示之间的亲和力。此外,开发了一种新的损失函数以增强非本地表示之间的耦合,这也能够实现NL-CSNet的端到端训练。广泛的实验表明,NL-CSNet优于现有的最先进的CS方法,同时保持快速的计算速度。
translated by 谷歌翻译
减少磁共振(MR)图像采集时间可能会使MR检查更容易获得。包括深度学习模型在内的先前艺术已致力于解决长期MRI成像时间的问题。最近,深层生成模型在算法鲁棒性和使用灵活性方面具有巨大的潜力。然而,无法直接学习或使用任何现有方案。此外,还值得研究的是,深层生成模型如何在混合域上很好地工作。在这项工作中,通过利用基于深度能量的模型,我们提出了一个K空间和图像域协作生成模型,以全面估算从采样量未采样的测量中的MR数据。与最先进的实验比较表明,所提出的混合方法的重建精度较小,在不同的加速因子下更稳定。
translated by 谷歌翻译
在过去十年中,图像已成为许多域中的重要信息来源,因此他们的高质量是获取更好信息的必要条件。出现的重要问题是图像去噪,这意味着从不准确和/或部分测量的样品中恢复信号。这种解释与压缩感测理论高度相关,这是一种革命性的技术,并且意味着如果信号稀疏,则可以从几个测量值获得原始信号,这些值远低于其他使用的理论所建议的值像Shannon的抽样理论。压缩传感(CS)理论的强因素以实现稀疏性解决方案以及从损坏的图像中移除的噪声是基础词典的选择。在本文中,比较了基于压缩感测和稀疏近似理论的高斯粘性白噪声的离散余弦变换(DCT)和力矩变换(TCHEBICHEF,KRAWTCHOUK)。实验结果表明,由矩变换构建的基本词典竞争性地表现为传统的DCT。后一种变换显示了30.82dB的PSNR,与Tchebichef变换相同的0.91 SSIM值。此外,从稀疏性的角度来看,Krawtchouk时刻提供大约20-30%的稀疏结果比DCT更多。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
卷积神经网络(CNNS)成功地进行了压缩图像感测。然而,由于局部性和重量共享的归纳偏差,卷积操作证明了建模远程依赖性的内在限制。变压器,最初作为序列到序列模型设计,在捕获由于基于自我关注的架构而捕获的全局背景中,即使它可以配备有限的本地化能力。本文提出了一种混合框架,一个混合框架,其集成了从CNN提供的借用的优点以及变压器提供的全局上下文,以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中,通过学习的采样矩阵测量图像逐块。在重建阶段,将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆,另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发,并且本地特征和全局表示在不同的分辨率下融合,以最大化功能的互补性。此外,我们探索一个渐进的战略和基于窗口的变压器块,以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性,与不同数据集的最先进方法相比,实现了卓越的性能。
translated by 谷歌翻译
磁共振成像是临床诊断的重要工具。但是,它遭受了漫长的收购时间。深度学习的利用,尤其是深层生成模型,在磁共振成像中提供了积极的加速和更好的重建。然而,学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中,我们提出了一种新颖的Hankel-K空间生成模型(HKGM),该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段,我们首先从k空间数据构建一个大的Hankel矩阵,然后从大型Hankel矩阵中提取多个结构化的K空间贴片,以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段,可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后,通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实,单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。
translated by 谷歌翻译
最近,与传统方法相比,基于网络的图像压缩传感方法可实现高重建质量和降低的计算开销。但是,现有方法仅从网络中的部分特征中获得测量结果,并仅将它们用于图像重建。他们忽略了网络\ cite {zeiler2014Visalization}中的低,中和高级特征,所有这些特征对于高质量重建至关重要。此外,仅使用一次测量可能不足以从测量中提取更丰富的信息。为了解决这些问题,我们提出了一个新颖的测量值重复使用卷积压缩感应网络(MR-CCSNET),该网络(MR-CCSNET)采用全球传感模块(GSM)收集所有级别的功能,以实现有效的感应和测量重复使用块(MRB)多次重复使用测量值在多尺度上。最后,三个基准数据集的实验结果表明,我们的模型可以显着胜过最先进的方法。
translated by 谷歌翻译
高光谱成像是各种应用的基本成像模型,尤其是遥感,农业和医学。灵感来自现有的高光谱相机,可以慢,昂贵或笨重,从低预算快照测量中重建高光谱图像(HSIS)已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中,近期深度展开网络(DUNS)用于光谱快照压缩感应(SCI)已经取得了显着的成功。然而,DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中,我们提出了一种新的高光谱可分解的重建和最佳采样深度网络,用于SCI,被称为HeroSnet,其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵,并在梯度下降步骤中进行上下文调整步骤,以及分层熔断器,并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时,终端实现硬件友好的最佳二进制掩模,以进一步提高重建性能。最后,我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
红外成像系统的非均匀光电响应导致固定图案条纹噪声叠加在红外图像上,从而严重降低了图像质量。由于降级红外图像的应用有限,因此有效保留原始细节至关重要。现有的图像破坏方法难以同时消除所有条纹噪声伪影,保留图像细节和结构,并平衡实时性能。在本文中,我们提出了一种用于破坏退化图像的新型算法,该算法利用相邻的列信号相关性去除独立的列条纹噪声。这是通过一种迭代深度展开算法来实现的,其中一种网络迭代的估计噪声被用作下一个迭代的输入。该进展大大减少了可能的功能近似的搜索空间,从而可以在较大的数据集上进行有效的培训。提出的方法允许对条纹噪声进行更精确的估计,以更准确地保留场景细节。广泛的实验结果表明,所提出的模型在定量和定性评估上都超过了人为损坏的图像上的现有破坏方法。
translated by 谷歌翻译
为了更有效地解决图像压缩传感(CS)问题,我们提出了一种新颖的内容可扩展的网络,该网络称为CASNET,该网络共同实现了自适应采样率分配,精细的粒状可伸缩性和高质量的重建。我们首先采用数据驱动的显着性检测器来评估不同图像区域的重要性,并提出基于显着性的块比率汇总(BRA)策略来分配采样率。然后开发一个统一的可学习生成矩阵,以产生具有有序结构的任何CS比的采样矩阵。 CASNET配备了由显着性信息和防止伪影的多块训练方案引导的优化启发的恢复子网,CASNET与一个单个模型共同重建以各种采样率采样的图像阻止。为了加速训练收敛并改善网络鲁棒性,我们提出了一种基于SVD的初始化方案和随机转换增强(RTE)策略,在没有引入额外参数的情况下是可扩展的。所有CASNET组件都可以组合和端到端学习。我们进一步提供了四个阶段的实施,用于评估和实际部署。实验表明,CASNET大量优于其他CS网络,从而验证了其组件和策略之间的协作和相互支持。代码可在https://github.com/guaishou74851/casnet上找到。
translated by 谷歌翻译
Most Deep Learning (DL) based Compressed Sensing (DCS) algorithms adopt a single neural network for signal reconstruction, and fail to jointly consider the influences of the sampling operation for reconstruction. In this paper, we propose unified framework, which jointly considers the sampling and reconstruction process for image compressive sensing based on well-designed cascade neural networks. Two sub-networks, which are the sampling sub-network and the reconstruction sub-network, are included in the proposed framework. In the sampling sub-network, an adaptive full connected layer instead of the traditional random matrix is used to mimic the sampling operator. In the reconstruction sub-network, a cascade network combining stacked denoising autoencoder (SDA) and convolutional neural network (CNN) is designed to reconstruct signals. The SDA is used to solve the signal mapping problem and the signals are initially reconstructed. Furthermore, CNN is used to fully recover the structure and texture features of the image to obtain better reconstruction performance. Extensive experiments show that this framework outperforms many other state-of-the-art methods, especially at low sampling rates.
translated by 谷歌翻译
This paper proposes a non-data-driven deep neural network for spectral image recovery problems such as denoising, single hyperspectral image super-resolution, and compressive spectral imaging reconstruction. Unlike previous methods, the proposed approach, dubbed Mixture-Net, implicitly learns the prior information through the network. Mixture-Net consists of a deep generative model whose layers are inspired by the linear and non-linear low-rank mixture models, where the recovered image is composed of a weighted sum between the linear and non-linear decomposition. Mixture-Net also provides a low-rank decomposition interpreted as the spectral image abundances and endmembers, helpful in achieving remote sensing tasks without running additional routines. The experiments show the MixtureNet effectiveness outperforming state-of-the-art methods in recovery quality with the advantage of architecture interpretability.
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
通过将某些优化求解器与深神经网络相结合,深层展开网络(DUN)近年来引起了图像压缩感(CS)的广泛关注。但是,现有DUN中仍然存在几个问题:1)对于每次迭代,通常采用一个简单的堆叠卷积网络,这显然限制了这些模型的表现力。 2)培训完成后,对于任何输入内容,大多数现有DUNS的超参数均已固定,这大大削弱了其适应性。在本文中,通过展开快速迭代的收缩阈值算法(FISTA),提出了一种新颖的快速分层dun,被称为Fhdun,用于图像压缩传感,开发出了精心设计的层次结构,以合作探索富人的上下文,以探索富人的上下文。多尺度空间中的信息。为了进一步增强适应性,在我们的框架中开发了一系列的超参数生成网络,以根据输入内容动态生产相应的最佳超参数。此外,由于Fista的加速政策,新嵌入的加速模块使拟议的Fhdun节省了超过50%的迭代循环,以抵抗最近的Duns。广泛的CS实验表明,所提出的FHDUN优于现有的最新CS方法,同时保持较少的迭代。
translated by 谷歌翻译
Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.
translated by 谷歌翻译