本文解决了利益区域(ROI)计算机断层扫描(CT)的图像重建问题。尽管基于模型的迭代方法可用于此问题,但由于乏味的参数化和缓慢的收敛性,它们的实用性通常受到限制。另外,当保留的先验不完全适合溶液空间时,可以获得不足的溶液。深度学习方法提供了一种快速的替代方法,从大型数据集中利用信息,因此可以达到高重建质量。但是,这些方法通常依赖于不考虑成像系统物理学的黑匣子,而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口,最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中,从而在各种应用中均具有出色的性能。本文介绍了一种新颖的,展开的深度学习方法,称为U-RDBFB,为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合,因此有效地处理了很少的截断数据。然后,嵌入在迭代重新加权方案中的块双重前向(DBFB)算法的迭代将在神经网络体系结构上展开,从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进,包括基于模型的迭代方案,深度学习体系结构和深度展开的方法。
translated by 谷歌翻译
光子计数CT(PCCT)通过更好的空间和能量分辨率提供了改进的诊断性能,但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型,以重建更准确的图像,但取决于准确的前向操作员,并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建,这在CT中表现出了巨大的希望。但是,完全数据驱动的解决方案通常需要大量的培训数据,并且缺乏解释性。为了结合两种方法的好处,同时最大程度地降低了各自的缺点,希望开发重建算法,以结合基于模型和数据驱动的方法。在这项工作中,我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案,用于PCCT中的材料分解。我们评估了两种情况:一种学识渊博的后处理,隐含地利用了模型知识,以及一种学到的梯度,该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术,我们解决了一个具有挑战性的PCCT模拟情况:低剂量,碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下,我们的方法的表现优于最大似然估计,一种变异方法以及一个完整的网络。
translated by 谷歌翻译
基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是,临床用例已增加了兴趣,并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用,其中测量数据的量很少,以使获取时间短而且辐射剂量较低,降低了串联的伪像,促使数据驱动的DeNoINEDENO算法的开发,其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET,这是一个数据驱动的双域denoising模型,其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno,而实现过滤后的反向投影算法的第三层则夹在前两种之间,并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能,并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络,并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。
translated by 谷歌翻译
In this paper, we propose a novel deep convolutional neural network (CNN)-based algorithm for solving ill-posed inverse problems. Regularized iterative algorithms have emerged as the standard approach to ill-posed inverse problems in the past few decades. These methods produce excellent results, but can be challenging to deploy in practice due to factors including the high computational cost of the forward and adjoint operators and the difficulty of hyper parameter selection. The starting point of our work is the observation that unrolled iterative methods have the form of a CNN (filtering followed by point-wise non-linearity) when the normal operator (H * H, the adjoint of H times H) of the forward model is a convolution. Based on this observation, we propose using direct inversion followed by a CNN to solve normal-convolutional inverse problems. The direct inversion encapsulates the physical model of the system, but leads to artifacts when the problem is ill-posed; the CNN combines multiresolution decomposition and residual learning in order to learn to remove these artifacts while preserving image structure. We demonstrate the performance of the proposed network in sparse-view reconstruction (down to 50 views) on parallel beam X-ray computed tomography in synthetic phantoms as well as in real experimental sinograms. The proposed network outperforms total variation-regularized iterative reconstruction for the more realistic phantoms and requires less than a second to reconstruct a 512 × 512 image on the GPU. K.H. Jin acknowledges the support from the "EPFL Fellows" fellowship program co-funded by Marie Curie from the European Unions Horizon 2020 Framework Programme for Research and Innovation under grant agreement 665667.
translated by 谷歌翻译
在计算机断层扫描成像的实际应用中,投影数据可以在有限角度范围内获取,并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中,我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中,提出了一个新型的低分辨率图像先验的CT重建模型,以利用低分辨率图像来提高重建质量。更具体地说,我们在下采样的投影数据上建立了低分辨率重建问题,并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明,我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。
translated by 谷歌翻译
我们提出了一个基于一般学习的框架,用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成,并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题,并学习网络参数,以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛,因为人们可以将各种现代网络结构用于正规化,而所得网络继承了算法的保证收敛性。我们还表明,所提出的网络是参数有效的,其性能与实践中各种图像重建问题中的最新方法相比有利。
translated by 谷歌翻译
多光谱探测器的进步导致X射线计算机断层扫描(CT)的范式偏移。从这些检测器获取的光谱信息可用于提取感兴趣对象的体积材料成分图。如果已知材料及其光谱响应是先验的,则图像重建步骤相当简单。但是,如果他们不知道,则需要共同估计地图以及响应。频谱CT中的传统工作流程涉及执行卷重建,然后进行材料分解,反之亦然。然而,这些方法本身遭受了联合重建问题的缺陷。为了解决这个问题,我们提出了一种基于词典的联合重建和解密方法的光谱断层扫描(调整)。我们的配方依赖于形成CT中常见的材料的光谱签名词典以及对象中存在的材料数的先验知识。特别地,我们在空间材料映射,光谱词典和字典元素的材料的指示符方面对光谱体积线性分解。我们提出了一种记忆有效的加速交替的近端梯度方法,以找到所得到的Bi-convex问题的近似解。根据几种合成幻影的数值示范,我们观察到与其他最先进的方法相比,调整非常好。此外,我们解决了针对有限测量模式调整的鲁棒性。
translated by 谷歌翻译
磁共振成像可以产生人体解剖和生理学的详细图像,可以帮助医生诊断和治疗肿瘤等病理。然而,MRI遭受了非常长的收购时间,使其易于患者运动伪影并限制其潜力以提供动态治疗。诸如并行成像和压缩感测的常规方法允许通过使用多个接收器线圈获取更少的MRI数据来改变MR图像来增加MRI采集速度。深度学习的最新进步与平行成像和压缩传感技术相结合,具有从高度加速的MRI数据产生高保真重建。在这项工作中,我们通过利用卷积复发网络的特性和展开算法来解决复发变分网络(RevurrentVarnet)的加速改变网络(RevurrentVarnet)的任务,提出了一种基于深入的深度学习的反问题解决者。 RevurrentVarnet由多个块组成,每个块都负责梯度下降优化算法的一个展开迭代,以解决逆问题。与传统方法相反,优化步骤在观察域($ k $ -space)而不是图像域中进行。每次反复出的Varnet块都会通过观察到的$ k $ -space,并由数据一致性术语和复制单元组成,它将作为输入的隐藏状态和前一个块的预测。我们所提出的方法实现了新的最新状态,定性和定量重建导致来自公共多通道脑数据集的5倍和10倍加速数据,优于以前的传统和基于深度学习的方法。我们将在公共存储库上释放所有型号代码和基线。
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
在这项工作中,我们提出了一个新的范式,用于使用降低性降低方案(包括Minibatch梯度近似和操作员草图)设计有效的深层展开网络。深度展开的网络目前是成像逆问题的最新解决方案。然而,对于高维成像任务,尤其是X射线CT和MRI成像,由于需要多次计算高维向前和邻接运算符,因此深层展开方案通常在记忆和计算方面效率低下。最近,研究人员发现,可以通过展开随机梯度下降(SGD)来部分解决此类局限性,这受到随机一阶优化的成功的启发。在这项工作中,我们基于最先进的原始偶(LPD)网络,进一步探讨了这一方向,并首先提出了更具表现力和实用的随机原始偶发性展开,也是随机原始的进一步加速 - 双曲线,使用素描技术在高维图像空间中近似产品。操作员素描可以与随机展开共同应用,以获得最佳的加速度和压缩性能。我们对X射线CT图像重建的数值实验证明了我们加速展开方案的显着有效性。
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
双能计算机断层扫描(DECT)已广泛用于需要材料分解的许多应用中。图像域方法直接分解来自高能和低能量衰减图像的材料图像,因此,衰减图像上的噪声和伪影易感。本研究的目的是开发一种改进的迭代神经网络(INN),用于DECT中的高质量图像域材料分解,并研究其性质。我们为DECT材料分解提出了一个新的Inn架构。该建议的Inn Architection在图像精炼模块中使用不同的跨材料卷积神经网络(CNN),并在图像重建模块中使用图像分解物理。独特的交叉材料CNN炼油厂包括不同的编码解码滤波器和跨材料模型,其捕获不同材料之间的相关性。我们研究了具有贴片式重构和紧密框架条件的不同跨材料CNN炼油厂。扩展Cardiacorso(XCAT)幻像和临床数据的数值实验表明,所提出的INN显着提高了几种图像域材料分解方法的图像质量,包括使用边缘保留规范器的传统模型的图像分解(MBID)方法,最近使用预先学习的材料缺口变换的MBID方法,以及非特性深层CNN方法。我们的研究基于补丁的重新制作表明,不同的跨材料CNN炼油厂的学习过滤器可以大致满足紧密框架状态。
translated by 谷歌翻译
我们在凸优化和深度学习的界面上引入了一类新的迭代图像重建算法,以启发凸出和深度学习。该方法包括通过训练深神网络(DNN)作为Denoiser学习先前的图像模型,并将其替换为优化算法的手工近端正则操作员。拟议的airi(``````````````''''')框架,用于成像复杂的强度结构,并从可见性数据中扩散和微弱的发射,继承了优化的鲁棒性和解释性,以及网络的学习能力和速度。我们的方法取决于三个步骤。首先,我们从光强度图像设计了一个低动态范围训练数据库。其次,我们以从数据的信噪比推断出的噪声水平来训练DNN Denoiser。我们使用训练损失提高了术语,可确保算法收敛,并通过指示进行即时数据库动态范围增强。第三,我们将学习的DeNoiser插入前向后的优化算法中,从而产生了一个简单的迭代结构,该结构与梯度下降的数据输入步骤交替出现Denoising步骤。我们已经验证了SARA家族的清洁,优化算法的AIRI,并经过DNN训练,可以直接从可见性数据中重建图像。仿真结果表明,AIRI与SARA及其基于前卫的版本USARA具有竞争力,同时提供了显着的加速。干净保持更快,但质量较低。端到端DNN提供了进一步的加速,但质量远低于AIRI。
translated by 谷歌翻译
近年来,深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求,例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效,但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来,已经取得了重大进展,以揭示数据驱动的图像恢复方法的内部运作,从而挑战了其广泛认为的黑盒本质。在本文中,我们将为数据驱动的图像重建指定相关的融合概念,该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用,提供了将深度学习的力量与经典凸正则化理论相结合的可能性,用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解,旨在通过提供可访问的融合概念的描述,并通过将一些现有的经验实践放在可靠的数学上,来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。
translated by 谷歌翻译
在本文中,我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建,这是相对于当前最新ART的显着增强的参数级别集(PALS)模型。本文的主要贡献是一种新的PALS公式,它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性,多对象问题提供了明显的优势,所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限,我们的方法能够以任何对比度分布恢复对象,并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程,以找到这些空间变化的对比度限制。相对于使用径向基函数(RBF)的大多数PAL方法,我们的模型利用了非异型基函数,从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后,Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件,因此通过控制PALS扩展系数的幅度来加速优化方法,固定基本函数的中心,以及参数映射到图像映射的唯一性,由新参数化提供。我们使用X射线计算机断层扫描,弥漫性光学断层扫描(DOT),Denoising,DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据,以进一步验证所提出的方法。
translated by 谷歌翻译
通过获取有限的测量,近来有很多关于加速MRI中的数据采集过程的兴趣。部署经常复杂的重建算法以在这种设置中保持高图像质量。在这项工作中,我们提出了一种使用卷积神经网络,MNET的数据驱动采样器,为每个扫描对象提供自适应的特定于对象的采样模式。该网络针对每个物体观察非常有限的低频k空间数据,并且在一个达到高图像重建质量的情况下快速预测所需的下采样模式。我们提出了一个伴随的交流型训练框架,其掩模后向过程可以有效地生成用于采样器网络的训练标签并共同列举图像重建网络。 FastMri膝关节数据集上的实验结果证明了提出的学习欠采样网络在四倍和八倍加速下产生对象特定的掩模的能力,该八倍的加速度实现了优于几种现有方案的卓越图像重建性能。拟议的联合采样和重建学习框架的源代码可在https://github.com/zhishenhuang/mri获得。
translated by 谷歌翻译
图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题,通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释,但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力,这类方法提供了一个严重的替代方案来执行图像恢复,但要挑战解决逆问题。在这项工作中,我们设计了一个名为Deeppdnet的深网络,从原始双近迭代构建,与之前的分析有关的标准惩罚可能性,允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度(PDHG)算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符(包括正则化参数)。允许这些参数从层变为另一个参数。提出了两种不同的学习策略:提出了“全学习”和“部分学习”,第一个是数值最有效的,而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外,研究了全局和局部稀疏分析,以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明,建议的DeepPDNET在MNIST和更复杂的BSD68,BSD100和SET14数据集中展示了卓越的性能,用于图像恢复和单图像超分辨率任务。
translated by 谷歌翻译
最近在图像重建之前被引入了深度图像。它表示要作为深度卷积神经网络的输出恢复的图像,并学习网络的参数,使得输出适合损坏的观察。尽管它令人印象深刻的重建属性,但与学到的学习或传统的重建技术相比,该方法缓慢。我们的工作开发了一个两阶段学习范式来解决计算挑战:(i)我们在合成数据集上执行网络的监督预测;(ii)我们微调网络的参数,以适应目标重建。我们展示了预先预测的预测,从实际测量的生物样本的实际微型计算机断层扫描数据中提高了随后的重建。代码和附加实验材料可在https://educateddip.github.io/docs.educated_deep_image_prior/处获得。
translated by 谷歌翻译
Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.
translated by 谷歌翻译
Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.
translated by 谷歌翻译