灯场荧光显微镜(LSFM)是一种尖端的体积成像技术,可允许对具有脱钩照明和检测路径的介观样品进行三维成像。尽管这种显微镜的选择性激发方案提供了固有的光学截面,可最大程度地减少荧光外荧光背景和样品光损伤,但它容易吸收光吸收和散射效果,从而导致图像中的照明和剥离伪像不利。为了解决这个问题,在本文中,我们在LSFM中提出了一种称为Destripe的盲条形伪像去除算法,该算法将自我观察的时尚图形神经网络与展开的Hessian Prior结合在一起。具体而言,受到傅立叶变换在频域中将条带信息凝结成孤立值的理想特性的启发,Destripe首先通过利用单向条纹伪像和更多的异位前景图像之间的结构差异来定位潜在损坏的傅里叶系数。然后可以将受影响的傅立叶系数送入图形神经网络中以恢复,并在海上正规化露下,以进一步确保标准图像空间中的结构得到很好的保存。由于在现实,无条纹的LSFM几乎没有标准图像采集协议中,因此Destripe配备了一个自我2的自我剥夺损失术语,可以消除伪像,而无需访问无条纹的地面真相图像。竞争性的实验结果表明,毁灭性的有效性在通过合成和真实条纹伪像的LSFM中恢复了损坏的生物标志物。
translated by 谷歌翻译
近年来,基于神经网络的深度恢复方法已实现了最先进的方法,从而导致了各种图像过度的任务。但是,基于深度学习的Deblurring网络的一个主要缺点是,训练需要大量模糊清洁图像对才能实现良好的性能。此外,当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时,深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中,我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此,我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此,造成造成的问题被转化为一个降解问题。然后,我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验,以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。
translated by 谷歌翻译
Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
最近,由于高性能,深度学习方法已成为生物学图像重建和增强问题的主要研究前沿,以及其超快速推理时间。但是,由于获得监督学习的匹配参考数据的难度,对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是,已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中,我们概述了在古典逆问题的背景下的连贯性观点,并讨论其对生物成像的应用,包括电子,荧光和去卷积显微镜,光学衍射断层扫描和功能性神经影像。
translated by 谷歌翻译
用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作(N2N)已经示出了使用与具有地面真理的多个噪声测量的潜力。然而,现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习(DecoLearn)方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块,它与深度重建网络共同培训,没有任何地理监督。我们在模拟和实验收集的磁共振成像(MRI)数据上验证了甲板,并表明它显着提高了成像质量。
translated by 谷歌翻译
荧光显微镜是促进生物医学研究发现的关键驱动力。但是,随着显微镜硬件的局限性和观察到的样品的特征,荧光显微镜图像易受噪声。最近,已经提出了一些自我监督的深度学习(DL)denoising方法。但是,现有方法的训练效率和降解性能在实际场景噪声中相对较低。为了解决这个问题,本文提出了自我监督的图像denoising方法噪声2SR(N2SR),以训练基于单个嘈杂观察的简单有效的图像Denoising模型。我们的noings2SR Denoising模型设计用于使用不同维度的配对嘈杂图像进行训练。从这种训练策略中受益,Noige2SR更有效地自我监督,能够从单个嘈杂的观察结果中恢复更多图像细节。模拟噪声和真实显微镜噪声的实验结果表明,噪声2SR优于两个基于盲点的自我监督深度学习图像Denoising方法。我们设想噪声2SR有可能提高更多其他类型的科学成像质量。
translated by 谷歌翻译
斑点波动严重限制了合成孔径雷达(SAR)图像的可解释性。因此,散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能,培训集的构建是最重要的。到目前为止,大多数方法都考虑了监督培训策略:培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用,这需要采用自然或光学图像或在长时间序列中选择稳定区域,以规避缺乏地面真理。另一方面,自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略,基于单眼复杂的SAR图像的真实和虚构部分的分离,称为Merlin(复杂的自我监督的机除),并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能,使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像,并且可能利用大型档案,Merlin将门打开了无忧无虑的机器,以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
受监管的基于学习的方法屈服于强大的去噪结果,但它们本质上受到大规模清洁/嘈杂配对数据集的需要。另一方面,使用无监督的脱言机需要更详细地了解潜在的图像统计数据。特别是,众所周知,在高频频带上,清洁和嘈杂的图像之间的表观差异是最突出的,证明使用低通滤波器作为传统图像预处理步骤的一部分。然而,基于大多数基于学习的去噪方法在不考虑频域信息的情况下仅利用来自空间域的片面信息。为了解决这一限制,在本研究中,我们提出了一种频率敏感的无监督去噪方法。为此,使用生成的对抗性网络(GaN)作为基础结构。随后,我们包括光谱鉴别器和频率重建损失,以将频率知识传输到发电机中。使用自然和合成数据集的结果表明,我们无监督的学习方法增强了频率信息,实现了最先进的去噪能力,表明频域信息可能是提高无监督基于学习的方法的整体性能的可行因素。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
随着从现实世界所收集的图形数据仅仅是无噪声,图形的实际表示应该是强大的噪声。现有的研究通常侧重于特征平滑,但留下几何结构不受影响。此外,大多数工作需要L2-Norm,追求全局平滑度,这限制了图形神经网络的表现。本文根据特征和结构噪声裁定图表数据的常规程序,其中目标函数用乘法器(ADMM)的交替方向方法有效地解决。该方案允许采用多个层,而无需过平滑的关注,并且保证对最佳解决方案的收敛性。实证研究证明,即使在重大污染的情况下,我们的模型也与流行的图表卷积相比具有明显更好的性能。
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描(CT)去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的,但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制,电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里,我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法,称为Coxing2Sim,以非局部和非线性方式起作用,不仅抑制独立而且还具有相关的噪音。从理论上讲,噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验,Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征,从视觉上,定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法,在不同的应用中具有很大的潜力。
translated by 谷歌翻译
红外成像系统的非均匀光电响应导致固定图案条纹噪声叠加在红外图像上,从而严重降低了图像质量。由于降级红外图像的应用有限,因此有效保留原始细节至关重要。现有的图像破坏方法难以同时消除所有条纹噪声伪影,保留图像细节和结构,并平衡实时性能。在本文中,我们提出了一种用于破坏退化图像的新型算法,该算法利用相邻的列信号相关性去除独立的列条纹噪声。这是通过一种迭代深度展开算法来实现的,其中一种网络迭代的估计噪声被用作下一个迭代的输入。该进展大大减少了可能的功能近似的搜索空间,从而可以在较大的数据集上进行有效的培训。提出的方法允许对条纹噪声进行更精确的估计,以更准确地保留场景细节。广泛的实验结果表明,所提出的模型在定量和定性评估上都超过了人为损坏的图像上的现有破坏方法。
translated by 谷歌翻译
盲图修复(IR)是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习(DL)方法代表了有关此问题的两种不同方法,每种方法都有自己的优点和缺点。在本文中,我们提出了一种新颖的盲图恢复方法,旨在整合它们的两种优势。具体而言,我们为盲IR构建了一个普通的贝叶斯生成模型,该模型明确描绘了降解过程。在此提出的模型中,PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布,以处理图像降解中包含的更复杂的噪声类型。为了解决该模型,我们设计了一个变异推理算法,其中所有预期的后验分布都被参数化为深神经网络,以提高其模型能力。值得注意的是,这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外,利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验,即图像降解和超分辨率,表明所提出的方法比当前最新的方法实现了卓越的性能。
translated by 谷歌翻译
图像恢复中的一个根本挑战是去噪,目标是从其嘈杂的测量中估计清洁图像。为了解决这种不良反对问题,现有的去噪方法通常专注于利用有效的自然图像前提。噪声模型的利用和分析通常被忽略,尽管噪声模型可以向去噪算法提供互补信息。在本文中,我们提出了一种新的流基的联合图像和噪声模型(Fino),其明显地与潜在空间中的图像和噪声分离,并且无损地通过一系列可逆的转换来重建它们。我们进一步提出了一种可变交换策略,以对准图像的结构信息和噪声相关矩阵,以基于空间最小化相关信息来限制噪声。实验结果表明,Fino去除合成添加剂白高斯噪声(AWGN)和真实噪音的能力。此外,铜的概括到除去空间变体噪声和具有不准确估计的噪声的噪声超越了大幅边缘的流行和最先进的方法。
translated by 谷歌翻译
强度衍射断层扫描(IDT)是指用于从一组仅2D强度测量的样品成像样品的3D折射率(RI)分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题,无伪影RI地图的重建是IDT的一个基本挑战。神经领域(NF)最近成为一种新的深度学习方法(DL),用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场,通过将空间坐标映射到相应的物理量,在我们的情况下,复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法,可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的,而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明,DECAF可以生成高对比度和无伪影RI图,并导致MSE超过现有方法的2.1倍。
translated by 谷歌翻译
我们提出了明确结合频率和图像特征表示的神经网络层,并表明它们可以用作频率空间数据重建的多功能构建块。我们的工作是由MRI习得引起的挑战所激发的,该挑战是信号是所需图像的傅立叶变换。提出的联合学习方案既可以校正频率空间的天然伪像,又可以操纵图像空间表示,以重建网络各层的相干图像结构。这与图像重建的大多数当前深度学习方法形成鲜明对比,该方法分别处理频率和图像空间特征,并且通常在两个空间之一中仅运行。我们证明了联合卷积学习在各种任务中的优势,包括运动校正,denosing,从不足采样的采集中重建,以及对模拟和现实世界多层MRI数据的混合采样和运动校正。联合模型在所有任务和数据集中都始终如一地产生高质量的输出图像。当整合到具有物理启发的数据一致性约束的最终采样重建的情况下,将其集成到艺术风化的优化网络中时,提议的体系结构显着改善了优化景观,从而产生了减少训练时间的数量级。该结果表明,联合表示特别适合深度学习网络中的MRI信号。我们的代码和预算模型可在https://github.com/nalinimsingh/interlacer上公开获得。
translated by 谷歌翻译