图像增强方法通常假定噪声是无关的,并且将降解模型近似为零均值的加性高斯。但是,这种假设不适合生物医学成像系统,在生物医学成像系统中,基于传感器的噪声源与信号强度成正比,并且噪声更好地表示为泊松过程。在这项工作中,我们探讨了一种基于词典学习的方法,并提出了一种新颖的自我监督学习方法,用于单像denoising,其中噪声近似为泊松过程,不需要干净的地面真实数据。具体而言,我们近似于通过反复的神经网络进行图像降级的传统迭代优化算法,该神经网络可实现相对于网络的权重的稀疏性。由于稀疏表示形式基于基础图像,因此它能够抑制图像贴片中的虚假组件(噪声),从而引入隐式正则化,以通过网络结构来降级任务。在两个生物成像数据集上的实验表明,我们的方法在PSNR和SSIM方面优于最先进的方法。我们的定性结果表明,除了在标准定量指标上进行更高的性能外,我们还能够比其他比较方法恢复更多的细节。我们的代码可在https://github.com/tacalvin/poisson2sparse上公开提供。
translated by 谷歌翻译
荧光显微镜是促进生物医学研究发现的关键驱动力。但是,随着显微镜硬件的局限性和观察到的样品的特征,荧光显微镜图像易受噪声。最近,已经提出了一些自我监督的深度学习(DL)denoising方法。但是,现有方法的训练效率和降解性能在实际场景噪声中相对较低。为了解决这个问题,本文提出了自我监督的图像denoising方法噪声2SR(N2SR),以训练基于单个嘈杂观察的简单有效的图像Denoising模型。我们的noings2SR Denoising模型设计用于使用不同维度的配对嘈杂图像进行训练。从这种训练策略中受益,Noige2SR更有效地自我监督,能够从单个嘈杂的观察结果中恢复更多图像细节。模拟噪声和真实显微镜噪声的实验结果表明,噪声2SR优于两个基于盲点的自我监督深度学习图像Denoising方法。我们设想噪声2SR有可能提高更多其他类型的科学成像质量。
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
受监管的基于学习的方法屈服于强大的去噪结果,但它们本质上受到大规模清洁/嘈杂配对数据集的需要。另一方面,使用无监督的脱言机需要更详细地了解潜在的图像统计数据。特别是,众所周知,在高频频带上,清洁和嘈杂的图像之间的表观差异是最突出的,证明使用低通滤波器作为传统图像预处理步骤的一部分。然而,基于大多数基于学习的去噪方法在不考虑频域信息的情况下仅利用来自空间域的片面信息。为了解决这一限制,在本研究中,我们提出了一种频率敏感的无监督去噪方法。为此,使用生成的对抗性网络(GaN)作为基础结构。随后,我们包括光谱鉴别器和频率重建损失,以将频率知识传输到发电机中。使用自然和合成数据集的结果表明,我们无监督的学习方法增强了频率信息,实现了最先进的去噪能力,表明频域信息可能是提高无监督基于学习的方法的整体性能的可行因素。
translated by 谷歌翻译
高光谱成像为各种应用提供了新的视角,包括使用空降或卫星遥感,精密养殖,食品安全,行星勘探或天体物理学的环境监测。遗憾的是,信息的频谱分集以各种劣化来源的牺牲品,并且目前获取的缺乏准确的地面“清洁”高光谱信号使得恢复任务具有挑战性。特别是,与传统的RGB成像问题相比,培训深度神经网络用于恢复难以深入展现的传统RGB成像问题。在本文中,我们提倡基于稀疏编码原理的混合方法,其保留与手工图像前导者编码域知识的经典技术的可解释性,同时允许在没有大量数据的情况下训练模型参数。我们在各种去噪基准上展示了我们的方法是计算上高效并且显着优于现有技术。
translated by 谷歌翻译
基于深度学习的方法保持最先进的导致低级图像处理任务,但由于其黑匣子结构而难以解释。展开的优化网络通过从经典迭代优化方法导出它们的架构而不使用来自标准深度学习工具盒的技巧来构建深神经网络的可解释的替代方案。到目前为止,这种方法在使用可解释结构的同时,在使用其可解释的结构的同时证明了接近最先进的模型的性能,以实现相对的低学习参数计数。在这项工作中,我们提出了一个展开的卷积字典学习网络(CDLNET),并在低和高参数计数方面展示其竞争的去噪和联合去噪和去除脱落(JDD)性能。具体而言,我们表明,当缩放到类似的参数计数时,所提出的模型优于最先进的完全卷积的去噪和JDD模型。此外,我们利用模型的可解释结构提出了网络中阈值的噪声适应性参数化,该阈值能够实现最先进的盲目的表现,以及在训练期间看不见的噪声水平的完美概括。此外,我们表明这种性能延伸到JDD任务和无监督的学习。
translated by 谷歌翻译
将优化算法映射到神经网络中,深度展开的网络(DUNS)在压缩传感(CS)方面取得了令人印象深刻的成功。从优化的角度来看,Duns从迭代步骤中继承了一个明确且可解释的结构。但是,从神经网络设计的角度来看,大多数现有的Dun是基于传统图像域展开而固有地建立的,该图像域的展开将一通道图像作为相邻阶段之间的输入和输出,从而导致信息传输能力不足,并且不可避免地会损失图像。细节。在本文中,为了打破上述瓶颈,我们首先提出了一个广义的双域优化框架,该框架是逆成像的一般性,并将(1)图像域和(2)卷积编码域先验的优点整合到限制解决方案空间中的可行区域。通过将所提出的框架展开到深神经网络中,我们进一步设计了一种新型的双域深卷积编码网络(D3C2-NET),用于CS成像,具有通过所有展开的阶段传输高通量特征级图像表示的能力。关于自然图像和MR图像的实验表明,与其他最先进的艺术相比,我们的D3C2-NET实现更高的性能和更好的准确性权衡权衡。
translated by 谷歌翻译
最近,卷积神经网络(CNN)已被广泛用于图像DeNoising。现有方法受益于剩余学习并获得高性能。许多研究都注意到优化CNN的网络体系结构,但忽略了残留学习的局限性。本文提出了两个局限性。一个是残留学习的重点是估计噪声,从而忽略图像信息。另一个是图像自相似性没有被有效考虑。本文提出了一个组成剥落网络(CDN),其图像信息路径(IIP)和噪声估计路径(NEP)将分别解决这两个问题。 IIP通过图像到图像的方法来培训图像信息。对于NEP,它从训练的角度利用了图像自相似性。这种基于相似性的训练方法将NEP限制为输出具有特定类型噪声的不同图像贴片的相似估计噪声分布。最后,将全面考虑图像信息和噪声分布信息,以进行图像denoising。实验表明,CDN达到最新的结果会导致合成和现实世界图像降解。我们的代码将在https://github.com/jiahongz/cdn上发布。
translated by 谷歌翻译
红外成像系统的非均匀光电响应导致固定图案条纹噪声叠加在红外图像上,从而严重降低了图像质量。由于降级红外图像的应用有限,因此有效保留原始细节至关重要。现有的图像破坏方法难以同时消除所有条纹噪声伪影,保留图像细节和结构,并平衡实时性能。在本文中,我们提出了一种用于破坏退化图像的新型算法,该算法利用相邻的列信号相关性去除独立的列条纹噪声。这是通过一种迭代深度展开算法来实现的,其中一种网络迭代的估计噪声被用作下一个迭代的输入。该进展大大减少了可能的功能近似的搜索空间,从而可以在较大的数据集上进行有效的培训。提出的方法允许对条纹噪声进行更精确的估计,以更准确地保留场景细节。广泛的实验结果表明,所提出的模型在定量和定性评估上都超过了人为损坏的图像上的现有破坏方法。
translated by 谷歌翻译
通过最近基于深度学习的方法显示出令人鼓舞的结果,可以消除图像中的噪音,在有监督的学习设置中报道了最佳的降级性能,该设置需要大量的配对嘈杂图像和训练的基础真相。强大的数据需求可以通过无监督的学习技术来减轻,但是,对于高质量的解决方案,图像或噪声方差的准确建模仍然至关重要。对于未知的噪声分布而言,学习问题不足。本文研究了单个联合学习框架中图像降解和噪声方差估计的任务。为了解决问题的不良性,我们提出了深度差异先验(DVP),该差异指出,适当学到的DeNoiser在噪声变化方面的变化满足了一些平滑度的特性,这是良好DeNoiser的关键标准。建立在DVP的基础上,这是一个无监督的深度学习框架,同时学习了Denoiser并估算了噪声差异。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤,而是仅使用一组嘈杂的图像近似于最小平方误差Denoisiser。在一个框架中考虑了两个基本任务,我们允许它们相互优化。实验结果表明,具有与监督的学习和准确的噪声方差估计值相当的质量。
translated by 谷歌翻译
在过去的几年中,未配对的图像DeNoising取得了有希望的发展。无论表现如何,方法都倾向于严重依赖潜在的噪声属性或任何并不总是实用的假设。另外,如果我们可以从结构的角度而不是噪声统计数据解决问题,那么我们可以实现更强大的解决方案。通过这种动机,我们提出了一个自制的剥夺计划,该计划是不成功的,依赖于空间降解,然后进行正规化的精炼。我们的方法比以前的方法显示出显着改善,并且在不同的数据域上表现出一致的性能。
translated by 谷歌翻译
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描(CT)去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的,但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制,电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里,我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法,称为Coxing2Sim,以非局部和非线性方式起作用,不仅抑制独立而且还具有相关的噪音。从理论上讲,噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验,Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征,从视觉上,定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法,在不同的应用中具有很大的潜力。
translated by 谷歌翻译
作为混合成像技术,光声显微镜(PAM)成像由于激光强度的最大允许暴露,组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法,并且可以恢复PAM图像质量。然而,之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数,导致对不同噪声图像的不令人满意和慢的去噪能,这极大地阻碍了实用和临床应用。在这项工作中,我们提出了一种基于深度学习的方法,可以从PAM图像中除去复杂的噪声,没有数学前导者,并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法,包括幻影(叶静脉)和体内(小鼠耳血管和斑马鱼颜料)实验。结果表明,与先前的PAM去噪方法相比,我们的方法在定性和定量上恢复图像时表现出良好的性能。此外,为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。
translated by 谷歌翻译
Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example images. In this paper, we show that, on the contrary, the structure of a generator network is sufficient to capture a great deal of low-level image statistics prior to any learning. In order to do so, we show that a randomly-initialized neural network can be used as a handcrafted prior with excellent results in standard inverse problems such as denoising, superresolution, and inpainting. Furthermore, the same prior can be used to invert deep neural representations to diagnose them, and to restore images based on flash-no flash input pairs.
translated by 谷歌翻译
缺乏大规模嘈杂的图像对限制了监督的去噪方法在实际应用中部署。虽然现有无监督的方法能够在没有地面真理清洁图像的情况下学习图像去噪,但它们要么在不切实际的设置下表现出差或工作不佳(例如,配对嘈杂的图像)。在本文中,我们提出了一种实用的无监督图像去噪方法,以实现最先进的去噪性能。我们的方法只需要单一嘈杂的图像和噪声模型,可以在实际的原始图像去噪中轻松访问。它迭代地执行两个步骤:(1)构造具有来自噪声模型的随机噪声的噪声噪声数据集; (2)在噪声 - 嘈杂数据集上培训模型,并使用经过培训的模型来优化嘈杂的图像以获得下一轮中使用的目标。我们进一步近似我们的全迭代方法,具有快速算法,以实现更高效的培训,同时保持其原始高性能。实验对现实世界,合成和相关噪声的实验表明,我们提出的无监督的去噪方法具有卓越的现有无监督方法和具有监督方法的竞争性能。此外,我们认为现有的去噪数据集质量低,只包含少数场景。为了评估现实世界应用中的原始图像去噪表现,我们建立了一个高质量的原始图像数据集Sensenoise-500,包含500个现实生活场景。数据集可以作为更好地评估原始图像去噪的强基准。代码和数据集将在https://github.com/zhangyi-3/idr发布
translated by 谷歌翻译
Tweedie分布是指数色散模型的特殊情况,它通常用于古典统计作为广义线性模型的分布。在这里,我们揭示了Tweedie发行版也在现代深度学习时代发挥关键作用,导致分布独立的自我监督图像去噪公式,没有清洁参考图像。具体地,通过与最近的噪声2Score自我监督的图像去噪方法和旋转点分布的鞍点近似来组合,我们可以提供一种可以用于大类噪声分布的一般封闭式去噪公式,而不知道底层噪声分布。与原始噪声2Score类似,新方法由两个连续的步骤组成:使用扰动噪声图像的分数匹配,然后是通过分布无关的Tweedie公式的闭合形式图像去噪公式。这还提出了一种系统算法来估计给定嘈杂的图像数据集的噪声模型和噪声参数。通过广泛的实验,我们证明了所提出的方法可以准确地估计噪声模型和参数,并在基准数据集和现实世界数据集中提供最先进的自我监督图像去噪表现。
translated by 谷歌翻译
我们提出了一种监督学习稀疏促进正规化器的方法,以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是,这些正规化器的基础操作员通常是通过手动设计的,要么以无监督的方式从数据中学到。监督学习(主要是卷积神经网络)在解决图像重建问题方面的最新成功表明,这可能是设计正规化器的富有成果的方法。为此,我们建议使用带有参数,稀疏的正规器的变异公式来贬低信号,其中学会了正常器的参数,以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题;我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达,并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明,所提出的方法可以学习一个超过众所周知的正规化器(总变化,DCT-SPARSITY和无监督的字典学习)的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的,但我们认为它可以适应线性测量模型的较大类反问题,使其在广泛的信号重建设置中适用。
translated by 谷歌翻译
Seismic data often undergoes severe noise due to environmental factors, which seriously affects subsequent applications. Traditional hand-crafted denoisers such as filters and regularizations utilize interpretable domain knowledge to design generalizable denoising techniques, while their representation capacities may be inferior to deep learning denoisers, which can learn complex and representative denoising mappings from abundant training pairs. However, due to the scarcity of high-quality training pairs, deep learning denoisers may sustain some generalization issues over various scenarios. In this work, we propose a self-supervised method that combines the capacities of deep denoiser and the generalization abilities of hand-crafted regularization for seismic data random noise attenuation. Specifically, we leverage the Self2Self (S2S) learning framework with a trace-wise masking strategy for seismic data denoising by solely using the observed noisy data. Parallelly, we suggest the weighted total variation (WTV) to further capture the horizontal local smooth structure of seismic data. Our method, dubbed as S2S-WTV, enjoys both high representation abilities brought from the self-supervised deep network and good generalization abilities of the hand-crafted WTV regularizer and the self-supervised nature. Therefore, our method can more effectively and stably remove the random noise and preserve the details and edges of the clean signal. To tackle the S2S-WTV optimization model, we introduce an alternating direction multiplier method (ADMM)-based algorithm. Extensive experiments on synthetic and field noisy seismic data demonstrate the effectiveness of our method as compared with state-of-the-art traditional and deep learning-based seismic data denoising methods.
translated by 谷歌翻译
非盲折叠是一个不良问题。大多数现有方法通常将该问题与最大-A-Bouthiori框架制定,并通过设计潜在清晰图像的类型的正则化术语和数据项来解决它。在本文中,我们通过学习鉴别性收缩函数来提出有效的非盲折叠方法来隐含地模拟这些术语。与使用深度卷积神经网络(CNNS)或径向基函数的大多数现有方法来说,我们简单地学习正则化术语,我们制定数据项和正则化术语,并将解构模型分成与数据相关和正则化相关的子 - 根据乘法器的交替方向方法问题。我们探讨了Maxout函数的属性,并使用颤扬层开发一个深入的CNN模型,以学习直接近似对这两个子问题的解决方案的判别缩小功能。此外,考虑到基于快速的傅里叶变换的图像恢复通常导致振铃伪像,而基于共轭梯度的图像恢复是耗时的,我们开发共轭梯度网络以有效且有效地恢复潜在的清晰图像。实验结果表明,该方法在效率和准确性方面对最先进的方法有利地执行。
translated by 谷歌翻译