Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
最近,从图像中提取的不同组件的低秩属性已经考虑在MAN Hypspectral图像去噪方法中。然而,这些方法通常将3D矩阵或1D向量展开,以利用现有信息,例如非识别空间自相似性(NSS)和全局光谱相关(GSC),其破坏了高光谱图像的内在结构相关性(HSI) )因此导致恢复质量差。此外,由于在HSI的原始高维空间中的矩阵和张量的矩阵和张量的参与,其中大多数受到重大计算负担问题。我们使用子空间表示和加权低级张量正则化(SWLRTR)进入模型中以消除高光谱图像中的混合噪声。具体地,为了在光谱频带中使用GSC,将噪声HSI投影到简化计算的低维子空间中。之后,引入加权的低级张量正则化术语以表征缩减图像子空间中的前导。此外,我们设计了一种基于交替最小化的算法来解决非耦合问题。模拟和实时数据集的实验表明,SWLRTR方法比定量和视觉上的其他高光谱去噪方法更好。
translated by 谷歌翻译
在这项工作中,我们研究了非盲目图像解卷积的问题,并提出了一种新的经常性网络架构,其导致高图像质量的竞争性恢复结果。通过现有大规模线性求解器的计算效率和稳健性的推动,我们设法将该问题的解决方案表达为一系列自适应非负数最小二乘问题的解决方案。这引发了我们提出的复发性最小二乘因解网络(RLSDN)架构,其包括在其输入和输出之间施加线性约束的隐式层。通过设计,我们的网络管理以同时服务两个重要的目的。首先,它隐含地模拟了可以充分表征这组自然图像的有效图像,而第二种是它恢复相应的最大后验(MAP)估计。近期最先进的方法的公开数据集的实验表明,我们提出的RLSDN方法可以实现所有测试方案的灰度和彩色图像的最佳报告性能。此外,我们介绍了一种新颖的培训策略,可以通过任何网络架构采用,这些架构涉及线性系统作为其管道的一部分的解决方案。我们的策略完全消除了线性求解器所需迭代的需要,因此,它在训练期间显着降低了内存占用。因此,这使得能够培训更深的网络架构,这可以进一步提高重建结果。
translated by 谷歌翻译
Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.
translated by 谷歌翻译
插件播放(PNP)框架使得将高级图像deno的先验集成到优化算法中成为可能,以有效地解决通常以最大后验(MAP)估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法(ADMM)和通过denoing(红色)算法的正则化是这类方法的两个示例,这些示例在图像恢复方面取得了突破。但是,尽管前一种方法仅适用于近端算法,但最近已经证明,当DeOisers缺乏Jacobian对称性时,没有任何正规化解释红色算法,这恰恰是最实际的DINOISERS的情况。据我们所知,没有任何方法来训练直接代表正规器梯度的网络,该网络可以直接用于基于插入梯度的算法中。我们表明,可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络,并获得与其他通用插件方法相比,获得更好的结果。我们还表明,正规器可以用作展开梯度下降的预训练网络。最后,我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。
translated by 谷歌翻译
基于深度学习(DL)的高光谱图像(HSIS)去噪方法直接学习观察到的嘈杂图像和底层清洁图像之间的非线性映射。他们通常不考虑HSIS的物理特征,因此使他们缺乏了解他们的去噪机制的关键。为了解决这个问题,我们为HSI去噪提出了一种新颖的模型指导可解释网络。具体而言,完全考虑HSI的空间冗余,光谱低秩和光谱空间特性,我们首先建立基于子空间的多维稀疏模型。该模型首先将观察到的HSIS投入到低维正交子空间,然后表示具有多维字典的投影图像。之后,该模型展开到名为SMDS-Net的端到端网络中,其基本模块与模型的去噪程序无缝连接。这使得SMDS-Net传达清晰的物理意义,即学习HSIS的低级别和稀疏性。最后,通过端到端培训获得包括词典和阈值处理的所有关键变量。广泛的实验和综合分析证实了我们对最先进的HSI去噪方法的方法的去噪能力和可解释性。
translated by 谷歌翻译
在本文中,我们提出了一种用于HSI去噪的强大主成分分析的新型非耦合方法,其侧重于分别同时为低级和稀疏组分的等级和列方向稀疏性产生更准确的近似。特别是,新方法采用日志确定级别近似和新颖的$ \ ell_ {2,\ log} $常规,以便分别限制组件矩阵的本地低级或列明智地稀疏属性。对于$ \ ell_ {2,\ log} $ - 正常化的收缩问题,我们开发了一个高效的封闭式解决方案,该解决方案名为$ \ ell_ {2,\ log} $ - 收缩运算符。新的正则化和相应的操作员通常可以用于需要列明显稀疏性的其他问题。此外,我们在基于日志的非凸rpca模型中强加了空间光谱总变化正则化,这增强了从恢复的HSI中的空间和光谱视图中的全局转换平滑度和光谱一致性。关于模拟和实际HSIS的广泛实验证明了所提出的方法在去噪HSIS中的有效性。
translated by 谷歌翻译
This paper proposes a non-data-driven deep neural network for spectral image recovery problems such as denoising, single hyperspectral image super-resolution, and compressive spectral imaging reconstruction. Unlike previous methods, the proposed approach, dubbed Mixture-Net, implicitly learns the prior information through the network. Mixture-Net consists of a deep generative model whose layers are inspired by the linear and non-linear low-rank mixture models, where the recovered image is composed of a weighted sum between the linear and non-linear decomposition. Mixture-Net also provides a low-rank decomposition interpreted as the spectral image abundances and endmembers, helpful in achieving remote sensing tasks without running additional routines. The experiments show the MixtureNet effectiveness outperforming state-of-the-art methods in recovery quality with the advantage of architecture interpretability.
translated by 谷歌翻译
盲图修复(IR)是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习(DL)方法代表了有关此问题的两种不同方法,每种方法都有自己的优点和缺点。在本文中,我们提出了一种新颖的盲图恢复方法,旨在整合它们的两种优势。具体而言,我们为盲IR构建了一个普通的贝叶斯生成模型,该模型明确描绘了降解过程。在此提出的模型中,PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布,以处理图像降解中包含的更复杂的噪声类型。为了解决该模型,我们设计了一个变异推理算法,其中所有预期的后验分布都被参数化为深神经网络,以提高其模型能力。值得注意的是,这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外,利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验,即图像降解和超分辨率,表明所提出的方法比当前最新的方法实现了卓越的性能。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
本文解决了高光谱(HS)图像denoising的具有挑战性的问题。与现有的基于深度学习的方法不同,通常采用复杂的网络体系结构或经验堆叠现成的模块以提高性能,我们专注于捕获HS图像的高维特性的高效提取方式。具体来说,基于理论分析,提高由展开的卷积内核形成的矩阵的排名可以促进特征多样性,我们建议分别执行1卷卷积的降级低维卷积集(Re-Convset)沿着HS图像并排的三个维度,然后通过可学习的压缩层汇总所得的空间光谱嵌入。重新汇率不仅了解HS图像的不同空间光谱特征,而且还降低了网络的参数和复杂性。然后,我们将重新汇合纳入广泛使用的U-NET体系结构中,以构建HS图像Denoisising方法。令人惊讶的是,在定量指标,视觉结果和效率方面,我们观察到这样的简洁框架在很大程度上优于最新方法。我们相信我们的工作可能会阐明基于深度学习的HS图像处理和分析。
translated by 谷歌翻译
本文提出了图像恢复的新变异推理框架和一个卷积神经网络(CNN)结构,该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上,具有非盲方案,其中已知或假定降解模型。为了更接近现实世界的应用程序,CNN还接受了整个数据集的盲目培训,包括各种降解。然而,给定有多样化的图像的高质量图像的条件分布太复杂了,无法通过单个CNN学习。因此,也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同,我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言,我们的方法放松了原始的后推理问题,以更好地管理子问题,因此表现得像分裂和互动方案。结果,与以前的框架相比,提出的框架提高了几个恢复问题的性能。具体而言,我们的方法在高斯denoising,现实世界中的降噪,盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
深度图像先验表明,通过简单地优化它的参数来重建单个降级图像,可以训练具有合适架构的随机初始化网络以解决反向成像问题。但是,它受到了两个实际限制。首先,它仍然不清楚如何在网络架构选择之前控制。其次,培训需要Oracle停止标准,因为在优化期间,在达到最佳值后性能降低。为了解决这些挑战,我们引入频带对应度量以表征在之前的深图像的光谱偏压,其中低频图像信号比高频对应物更快且更好地学习。根据我们的观察,我们提出了防止最终性能下降和加速收敛的技术。我们介绍了Lipschitz受控的卷积层和高斯控制的上采样层,作为深度架构中使用的层的插件替代品。实验表明,随着这些变化,在优化期间,性能不会降低,从需要对Oracle停止标准的需求中脱离我们。我们进一步勾勒出停止标准以避免多余的计算。最后,我们表明我们的方法与各种去噪,去块,染色,超级分辨率和细节增强任务的当前方法相比获得了有利的结果。代码可用于\ url {https:/github.com/shizenglin/measure-and-control-spectraL-bias}。
translated by 谷歌翻译
深度学习模型是压缩光谱成像(CSI)恢复的最新模型。这些方法使用深神网络(DNN)作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如,深频谱先验方法在优化算法中使用卷积自动编码器网络(CAE)通过使用非线性表示来恢复光谱图像。但是,CAE训练与恢复问题分离,这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络(JR2NET),将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成,该网络学习了非线性低维表示,并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明,该方法的优势在PSNR中的改进高达2.57 dB,并且性能比最新方法快2000倍。
translated by 谷歌翻译
Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.
translated by 谷歌翻译
经典图像恢复算法使用各种前瞻性,无论是明确的还是明确的。他们的前沿是手工设计的,它们的相应权重是启发式分配的。因此,深度学习方法通​​常会产生优异的图像恢复质量。然而,深度网络是能够诱导强烈且难以预测的幻觉。在学习图像时,网络隐含地学会联合忠于观察到的数据;然后是不可能的原始数据和下游的幻觉数据的分离。这限制了它们在图像恢复中的广泛采用。此外,通常是降解模型过度装备的受害者的幻觉部分。我们提出了一种具有解耦的网络先前的幻觉和数据保真度的方法。我们将我们的框架称为贝叶斯队的生成先前(BigPrior)的集成。我们的方法植根于贝叶斯框架中,并将其紧密连接到经典恢复方法。实际上,它可以被视为大型经典恢复算法的概括。我们使用网络反转来从生成网络中提取图像先前信息。我们表明,在图像着色,染色和去噪,我们的框架始终如一地提高了反演结果。我们的方法虽然部分依赖于生成网络反演的质量,具有竞争性的监督和任务特定的恢复方法。它还提供了一种额外的公制,其阐述了每像素的先前依赖程度相对于数据保真度。
translated by 谷歌翻译
为了解决高光谱图像超分辨率(HSISR)的不良问题,通常方法是使用高光谱图像(HSIS)的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络(CNN)来学习HSI的隐式前导者。然而,CNN的学习能力是有限的,它仅考虑HSI的空间特性并忽略光谱特性,并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中,我们提出了一种新颖的HSISR方法,该方法使用变压器而不是CNN来学习HSI之前。具体地,我们首先使用近端梯度算法来解决HSISR模型,然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外,我们在变压器层后面添加3D-CNN,以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明,与所有主流算法相比,所提出的方法实现了相当大的增益,包括最竞争力的传统方法和最近提出的基于深度学习的方法。
translated by 谷歌翻译
As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.
translated by 谷歌翻译