高光谱成像是各种应用的基本成像模型,尤其是遥感,农业和医学。灵感来自现有的高光谱相机,可以慢,昂贵或笨重,从低预算快照测量中重建高光谱图像(HSIS)已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中,近期深度展开网络(DUNS)用于光谱快照压缩感应(SCI)已经取得了显着的成功。然而,DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中,我们提出了一种新的高光谱可分解的重建和最佳采样深度网络,用于SCI,被称为HeroSnet,其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵,并在梯度下降步骤中进行上下文调整步骤,以及分层熔断器,并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时,终端实现硬件友好的最佳二进制掩模,以进一步提高重建性能。最后,我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。
translated by 谷歌翻译
光谱压缩成像(SCI)能够将高维高光谱图像编码为2D测量,然后使用算法来重建时空光谱数据处。目前,SCI的主要瓶颈是重建算法,最新的(SOTA)重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中,我们提出了一个新型的混合网络模块,即CCOT(卷积和上下文变压器)块,该模块可以同时获得卷积的感应偏见和强大的变压器建模能力,并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中,并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验,我们提出的模型可实现更高的重建质量($> $> $> $> $ 2db的PSNR在模拟基准数据集中)和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。
translated by 谷歌翻译
通过将某些优化求解器与深神经网络相结合,深层展开网络(DUN)近年来引起了图像压缩感(CS)的广泛关注。但是,现有DUN中仍然存在几个问题:1)对于每次迭代,通常采用一个简单的堆叠卷积网络,这显然限制了这些模型的表现力。 2)培训完成后,对于任何输入内容,大多数现有DUNS的超参数均已固定,这大大削弱了其适应性。在本文中,通过展开快速迭代的收缩阈值算法(FISTA),提出了一种新颖的快速分层dun,被称为Fhdun,用于图像压缩传感,开发出了精心设计的层次结构,以合作探索富人的上下文,以探索富人的上下文。多尺度空间中的信息。为了进一步增强适应性,在我们的框架中开发了一系列的超参数生成网络,以根据输入内容动态生产相应的最佳超参数。此外,由于Fista的加速政策,新嵌入的加速模块使拟议的Fhdun节省了超过50%的迭代循环,以抵抗最近的Duns。广泛的CS实验表明,所提出的FHDUN优于现有的最新CS方法,同时保持较少的迭代。
translated by 谷歌翻译
将优化算法映射到神经网络中,深度展开的网络(DUNS)在压缩传感(CS)方面取得了令人印象深刻的成功。从优化的角度来看,Duns从迭代步骤中继承了一个明确且可解释的结构。但是,从神经网络设计的角度来看,大多数现有的Dun是基于传统图像域展开而固有地建立的,该图像域的展开将一通道图像作为相邻阶段之间的输入和输出,从而导致信息传输能力不足,并且不可避免地会损失图像。细节。在本文中,为了打破上述瓶颈,我们首先提出了一个广义的双域优化框架,该框架是逆成像的一般性,并将(1)图像域和(2)卷积编码域先验的优点整合到限制解决方案空间中的可行区域。通过将所提出的框架展开到深神经网络中,我们进一步设计了一种新型的双域深卷积编码网络(D3C2-NET),用于CS成像,具有通过所有展开的阶段传输高通量特征级图像表示的能力。关于自然图像和MR图像的实验表明,与其他最先进的艺术相比,我们的D3C2-NET实现更高的性能和更好的准确性权衡权衡。
translated by 谷歌翻译
深度学习模型是压缩光谱成像(CSI)恢复的最新模型。这些方法使用深神网络(DNN)作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如,深频谱先验方法在优化算法中使用卷积自动编码器网络(CAE)通过使用非线性表示来恢复光谱图像。但是,CAE训练与恢复问题分离,这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络(JR2NET),将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成,该网络学习了非线性低维表示,并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明,该方法的优势在PSNR中的改进高达2.57 dB,并且性能比最新方法快2000倍。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.
translated by 谷歌翻译
深度学习的快速发展为高光谱图像(HSI)的端到端重建提供了更好的解决方案。但是,现有的基于学习的方法有两个主要缺陷。首先,具有自我注意力的网络通常会牺牲内部分辨率,以平衡模型性能与复杂性,失去细粒度的高分辨率(HR)功能。其次,即使专注于空间光谱域学习(SDL)的优化也会收敛到理想解决方案,但重建的HSI与真相之间仍然存在显着的视觉差异。因此,我们为HSI重建提出了一个高分辨率双域学习网络(HDNET)。一方面,提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面,引入了频域学习(FDL),以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率,并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明,我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
在计算断层摄影(CT)成像过程中,患者内的金属植入物总是造成有害伪影,这对重建的CT图像的视觉质量产生了负面影响,并且对随后的临床诊断产生负面影响。对于金属伪影减少(MAR)任务,基于深度学习的方法取得了有希望的表现。然而,大多数主要共享两个主要常见限制:1)CT物理成像几何约束是完全融入深网络结构中的; 2)整个框架对特定MAR任务具有薄弱的可解释性;因此,难以评估每个网络模块的作用。为了减轻这些问题,在本文中,我们构建了一种新的可解释的双域网络,称为Indudonet +,CT成像过程被精细地嵌入到其中。具体地说,我们推出了一个联合空间和氡域重建模型,并提出了一种仅具有简单操作员的优化算法来解决它。通过将所提出的算法中涉及的迭代步骤展开到相应的网络模块中,我们可以轻松地构建Indudonet +,以明确的解释性。此外,我们分析了不同组织之间的CT值,并将现有的观察合并到Endudonet +的现有网络中,这显着提高了其泛化性能。综合数据和临床数据的综合实验证实了所提出的方法的优越性以及超出当前最先进(SOTA)MAR方法的卓越概括性性能。代码可用于\ url {https://github.com/hongwang01/indududonet_plus}。
translated by 谷歌翻译
在编码的光圈快照光谱压缩成像(CASSI)系统中,采用高光谱图像(HSI)重建方法从压缩测量中恢复了空间光谱信号。在这些算法中,深层展开的方法表现出令人鼓舞的表现,但遭受了两个问题的困扰。首先,他们没有从高度相关的CASSI估计降解模式和不适当的程度来指导迭代学习。其次,它们主要基于CNN,显示出捕获长期依赖性的局限性。在本文中,我们提出了一个原则性的降级感知框架(DAUF),该框架(DAUF)从压缩图像和物理掩码中估算参数,然后使用这些参数来控制每个迭代。此外,我们自定义了一种新颖的半剃须变压器(HST),该变压器(HST)同时捕获本地内容和非本地依赖性。通过将HST插入DAUF,我们为HSI重建建立了第一个基于变压器的深层展开方法,即降解感知的降解 - 降解的半个剃须刀变压器(DAUHST)。实验表明,Dauhst显着超过了最先进的方法,同时需要更便宜的计算和存储成本。代码和模型将在https://github.com/caiyuanhao1998/mst上发布
translated by 谷歌翻译
高光谱图像(HSI)重建旨在从编码光圈快照频谱成像(CASSI)系统中的2D测量中恢复3D空间光谱信号。 HSI表示在光谱维度上具有高度相似和相关性。建模频谱间相互作用对HSI重建有益。然而,现有的基于CNN的方法显示了捕获光谱和远程依赖性的限制。此外,HSI信息由CASSI中的编码孔径(物理掩码)调制。尽管如此,目前的算法尚未完全探索掩模的掩模恢复的引导效果。在本文中,我们提出了一种新颖的框架,掩模引导的光谱 - 明智变压器(MST),用于HSI重建。具体地,我们介绍了一种频谱,用于将每个光谱特征视为令牌的频谱 - 明智的多头自我注意(S-MSA)并计算沿光谱尺寸的自我关注。此外,我们自定义一个掩模导向机构(mm),指示S-MSA,以注意具有高保真谱表示的空间区域。广泛的实验表明,我们的MST在模拟和真实HSI数据集上显着优于最先进的(SOTA)方法,同时需要大幅更便宜的计算和内存成本。
translated by 谷歌翻译
与传统CS方法相比,基于深度学习(DL)的压缩传感(CS)已被应用于图像重建的更好性能。但是,大多数现有的DL方法都利用逐个块测量,每个测量块分别恢复,这引入了重建的有害阻塞效应。此外,这些方法的神经元接受场被设计为每一层的大小相同,这只能收集单尺度的空间信息,并对重建过程产生负面影响。本文提出了一个新的框架,称为CS测量和重建的多尺度扩张卷积神经网络(MSDCNN)。在测量期间,我们直接从训练有素的测量网络中获得所有测量,该测量网络采用了完全卷积结构,并通过输入图像与重建网络共同训练。它不必将其切成块,从而有效地避免了块效应。在重建期间,我们提出了多尺度特征提取(MFE)体系结构,以模仿人类视觉系统以捕获同一功能映射的多尺度特征,从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中,有多个并行卷积通道以获取多尺度特征信息。然后,将多尺度功能信息融合在一起,并以高质量重建原始图像。我们的实验结果表明,根据PSNR和SSIM,该提出的方法对最新方法的性能有利。
translated by 谷歌翻译
With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.
translated by 谷歌翻译
基于深度网络的图像压缩感(CS)近年来引起了很多关注。然而,现有的基于深网络的CS方案以逐个块的方式重建目标图像,其导致严重的块伪像或将深网络训练为黑盒,其带来了对图像先验知识的有限识别。本文提出了一种使用非局部神经网络(NL-CSNet)的新型图像CS框架,其利用具有深度网络的非本地自相似子,提高重建质量。在所提出的NL-CSNET中,构造了两个非本地子网,用于分别利用测量域中的非本地自相似子系统和多尺度特征域。具体地,在测量域的子网中,建立用于更好的初始重建的不同图像块的测量之间的长距离依赖性。类似地,在多尺度特征域的子网中,在深度重建的多尺度空间中探讨了密集特征表示之间的亲和力。此外,开发了一种新的损失函数以增强非本地表示之间的耦合,这也能够实现NL-CSNet的端到端训练。广泛的实验表明,NL-CSNet优于现有的最先进的CS方法,同时保持快速的计算速度。
translated by 谷歌翻译
为了更有效地解决图像压缩传感(CS)问题,我们提出了一种新颖的内容可扩展的网络,该网络称为CASNET,该网络共同实现了自适应采样率分配,精细的粒状可伸缩性和高质量的重建。我们首先采用数据驱动的显着性检测器来评估不同图像区域的重要性,并提出基于显着性的块比率汇总(BRA)策略来分配采样率。然后开发一个统一的可学习生成矩阵,以产生具有有序结构的任何CS比的采样矩阵。 CASNET配备了由显着性信息和防止伪影的多块训练方案引导的优化启发的恢复子网,CASNET与一个单个模型共同重建以各种采样率采样的图像阻止。为了加速训练收敛并改善网络鲁棒性,我们提出了一种基于SVD的初始化方案和随机转换增强(RTE)策略,在没有引入额外参数的情况下是可扩展的。所有CASNET组件都可以组合和端到端学习。我们进一步提供了四个阶段的实施,用于评估和实际部署。实验表明,CASNET大量优于其他CS网络,从而验证了其组件和策略之间的协作和相互支持。代码可在https://github.com/guaishou74851/casnet上找到。
translated by 谷歌翻译
The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .
translated by 谷歌翻译
光谱超分辨率(SSR)是指从RGB对应物中恢复的高光谱图像(HSI)。由于SSR问题的一对多性,可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息,如自然RGB空间上下文的上下文,深度特征或固有的HSI统计事先等,以提高重建的置信度和保真度光谱。然而,大多数目前的方法只考虑设计定制的卷积神经网络(CNN)的一般和有限的前瞻,这导致无法有效地减轻不良程度。为解决有问题的问题,我们为SSR提出了一个新颖的全面的先前嵌入关系网络(HPRN)。基本上,核心框架由几个多剩余关系块(MRB)进行多种组装,其完全便于RGB信号之前的低频内容的传输和利用。创新性地,引入了RGB输入的语义之前,以识别类别属性,并且向前提出了语义驱动的空间关系模块(SSRM)以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外,我们开发了一种基于变换器的通道关系模块(TCRM),其习惯使用标量作为先前深度特征中的频道方面关系的描述符,并用某些向量替换为变换器特征交互,支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性,将二阶的先前约束(SOPC)结合到丢失功能中以引导HSI重建过程。
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
卷积神经网络(CNNS)成功地进行了压缩图像感测。然而,由于局部性和重量共享的归纳偏差,卷积操作证明了建模远程依赖性的内在限制。变压器,最初作为序列到序列模型设计,在捕获由于基于自我关注的架构而捕获的全局背景中,即使它可以配备有限的本地化能力。本文提出了一种混合框架,一个混合框架,其集成了从CNN提供的借用的优点以及变压器提供的全局上下文,以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中,通过学习的采样矩阵测量图像逐块。在重建阶段,将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆,另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发,并且本地特征和全局表示在不同的分辨率下融合,以最大化功能的互补性。此外,我们探索一个渐进的战略和基于窗口的变压器块,以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性,与不同数据集的最先进方法相比,实现了卓越的性能。
translated by 谷歌翻译
最近,一些研究在图像压缩感测(CS)任务中应用了深层卷积神经网络(CNN),以提高重建质量。但是,卷积层通常具有一个小的接受场。因此,使用CNN捕获远程像素相关性是具有挑战性的,这限制了其在Image CS任务中的重建性能。考虑到这一限制,我们为图像CS任务(称为uformer-ics)提出了一个U形变压器。我们通过将CS的先验投影知识集成到原始变压器块中,然后使用基于投影基于投影的变压器块和残留卷积块构建对称重建模型来开发一个基于投影的变压器块。与以前的基于CNN的CS方法相比,只能利用本地图像特征,建议的重建模型可以同时利用图像的局部特征和远程依赖性,以及CS理论的先前投影知识。此外,我们设计了一个自适应采样模型,该模型可以基于块稀疏性自适应采样图像块,这可以确保压缩结果保留在固定采样比下原始图像的最大可能信息。提出的UFORFORFOR-ICS是一个端到端框架,同时学习采样和重建过程。实验结果表明,与现有的基于深度学习的CS方法相比,它的重建性能明显优于重建性能。
translated by 谷歌翻译