在计算机断层扫描成像的实际应用中,投影数据可以在有限角度范围内获取,并由于扫描条件的限制而被噪声损坏。嘈杂的不完全投影数据导致反问题的不良性。在这项工作中,我们从理论上验证了低分辨率重建问题的数值稳定性比高分辨率问题更好。在接下来的内容中,提出了一个新型的低分辨率图像先验的CT重建模型,以利用低分辨率图像来提高重建质量。更具体地说,我们在下采样的投影数据上建立了低分辨率重建问题,并将重建的低分辨率图像作为原始限量角CT问题的先验知识。我们通过交替的方向方法与卷积神经网络近似的所有子问题解决了约束最小化问题。数值实验表明,我们的双分辨率网络在嘈杂的有限角度重建问题上的变异方法和流行的基于学习的重建方法都优于变异方法。
translated by 谷歌翻译
Low-dose computed tomography (CT) plays a significant role in reducing the radiation risk in clinical applications. However, lowering the radiation dose will significantly degrade the image quality. With the rapid development and wide application of deep learning, it has brought new directions for the development of low-dose CT imaging algorithms. Therefore, we propose a fully unsupervised one sample diffusion model (OSDM)in projection domain for low-dose CT reconstruction. To extract sufficient prior information from single sample, the Hankel matrix formulation is employed. Besides, the penalized weighted least-squares and total variation are introduced to achieve superior image quality. Specifically, we first train a score-based generative model on one sinogram by extracting a great number of tensors from the structural-Hankel matrix as the network input to capture prior distribution. Then, at the inference stage, the stochastic differential equation solver and data consistency step are performed iteratively to obtain the sinogram data. Finally, the final image is obtained through the filtered back-projection algorithm. The reconstructed results are approaching to the normal-dose counterparts. The results prove that OSDM is practical and effective model for reducing the artifacts and preserving the image quality.
translated by 谷歌翻译
基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一,如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战,在本文中,我们提出了一个多域一体化的Swin变压器网络(MIST-NET)。首先,使用灵活的网络架构,所提出的雾网掺入了来自数据,残差数据,图像和剩余图像的豪华域特征。这里,残差数据和残差 - 图像域网组件可以被认为是数据一致性模块,以消除残差数据和图像域中的插值误差,然后进一步保持图像细节。其次,为了检测图像特征和进一步保护图像边缘,将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三,随着经典的Swin变压器,我们进一步设计了高质量的重建变压器(即,REFFORMER)来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量,具有小的特征恢复和边缘保护,而不是其他竞争对手,包括高级展开网络。定量结果表明,我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集,48次视图,重建结果进一步验证了我们的雾网的优势,进一步证明了临床应用中雾的良好稳健性。
translated by 谷歌翻译
本文解决了利益区域(ROI)计算机断层扫描(CT)的图像重建问题。尽管基于模型的迭代方法可用于此问题,但由于乏味的参数化和缓慢的收敛性,它们的实用性通常受到限制。另外,当保留的先验不完全适合溶液空间时,可以获得不足的溶液。深度学习方法提供了一种快速的替代方法,从大型数据集中利用信息,因此可以达到高重建质量。但是,这些方法通常依赖于不考虑成像系统物理学的黑匣子,而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口,最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中,从而在各种应用中均具有出色的性能。本文介绍了一种新颖的,展开的深度学习方法,称为U-RDBFB,为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合,因此有效地处理了很少的截断数据。然后,嵌入在迭代重新加权方案中的块双重前向(DBFB)算法的迭代将在神经网络体系结构上展开,从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进,包括基于模型的迭代方案,深度学习体系结构和深度展开的方法。
translated by 谷歌翻译
Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is of high possibility to be degraded due to noises and distortions. In this paper, we propose two novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (i.e., signal and object)-domain curvature regularization model. Fast numerical optimization algorithms are developed relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, which are further accelerated by GPU implementation. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.
translated by 谷歌翻译
光子计数CT(PCCT)通过更好的空间和能量分辨率提供了改进的诊断性能,但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型,以重建更准确的图像,但取决于准确的前向操作员,并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建,这在CT中表现出了巨大的希望。但是,完全数据驱动的解决方案通常需要大量的培训数据,并且缺乏解释性。为了结合两种方法的好处,同时最大程度地降低了各自的缺点,希望开发重建算法,以结合基于模型和数据驱动的方法。在这项工作中,我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案,用于PCCT中的材料分解。我们评估了两种情况:一种学识渊博的后处理,隐含地利用了模型知识,以及一种学到的梯度,该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术,我们解决了一个具有挑战性的PCCT模拟情况:低剂量,碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下,我们的方法的表现优于最大似然估计,一种变异方法以及一个完整的网络。
translated by 谷歌翻译
在计算断层摄影(CT)成像过程中,患者内的金属植入物总是造成有害伪影,这对重建的CT图像的视觉质量产生了负面影响,并且对随后的临床诊断产生负面影响。对于金属伪影减少(MAR)任务,基于深度学习的方法取得了有希望的表现。然而,大多数主要共享两个主要常见限制:1)CT物理成像几何约束是完全融入深网络结构中的; 2)整个框架对特定MAR任务具有薄弱的可解释性;因此,难以评估每个网络模块的作用。为了减轻这些问题,在本文中,我们构建了一种新的可解释的双域网络,称为Indudonet +,CT成像过程被精细地嵌入到其中。具体地说,我们推出了一个联合空间和氡域重建模型,并提出了一种仅具有简单操作员的优化算法来解决它。通过将所提出的算法中涉及的迭代步骤展开到相应的网络模块中,我们可以轻松地构建Indudonet +,以明确的解释性。此外,我们分析了不同组织之间的CT值,并将现有的观察合并到Endudonet +的现有网络中,这显着提高了其泛化性能。综合数据和临床数据的综合实验证实了所提出的方法的优越性以及超出当前最先进(SOTA)MAR方法的卓越概括性性能。代码可用于\ url {https://github.com/hongwang01/indududonet_plus}。
translated by 谷歌翻译
图像恢复仍然是图像处理中有挑战性的任务。许多方法解决这个问题,通常通过最小化非平滑惩罚的共轨似然函数来解决。虽然解决方案很容易以理论保证来解释,但其估计依赖于可能需要时间的优化过程。考虑到图像分类和分割深度学习的研究努力,这类方法提供了一个严重的替代方案来执行图像恢复,但要挑战解决逆问题。在这项工作中,我们设计了一个名为Deeppdnet的深网络,从原始双近迭代构建,与之前的分析有关的标准惩罚可能性,允许我们利用两个世界。我们用固定图层为深度网络进行重构Condat-Vu原始 - 双混梯度(PDHG)算法的特定实例。学习的参数均为PDHG算法阶梯大小和惩罚中涉及的分析线性运算符(包括正则化参数)。允许这些参数从层变为另一个参数。提出了两种不同的学习策略:提出了“全学习”和“部分学习”,第一个是数值最有效的,而第二个是依赖于标准约束确保标准PDHG迭代中的收敛。此外,研究了全局和局部稀疏分析,以寻求更好的特征表示。我们将所提出的方法应用于MNIST和BSD68数据集上的图像恢复以及BSD100和SET14数据集的单个图像超分辨率。广泛的结果表明,建议的DeepPDNET在MNIST和更复杂的BSD68,BSD100和SET14数据集中展示了卓越的性能,用于图像恢复和单图像超分辨率任务。
translated by 谷歌翻译
在现代诊所中,医学成像至关重要,可以指导疾病的诊断和治疗。医学图像重建是医学成像的最基本和重要组成部分之一,其主要目的是以最低的成本和对患者的风险获取高质量的医学图像来临床使用。医学图像重建中的数学模型或更普遍的计算机视觉中的图像恢复一直在发挥重要作用。较早的数学模型主要是由人类知识或对要重建图像的假设设计的,我们将这些模型称为手工制作的模型。后来,手工制作的以及数据驱动的建模开始出现,这主要基于人类的设计,而从观察到的数据中学到了部分模型。最近,随着更多的数据和计算资源可用,基于深度学习的模型(或深度模型)将数据驱动的建模推向了极端,该模型主要基于以最小的人类设计为基础的学习。手工制作和数据驱动的建模都有自己的优势和缺点。医学成像的主要研究趋势之一是将手工制作的建模与深层建模相结合,以便我们可以从两种方法中享受好处。本文的主要部分是从展开的动态观点对一些有关深层建模的最新作品进行概念回顾。该观点通过优化算法和数值微分方程的灵感来刺激神经网络体系结构的新设计。鉴于深层建模的普及,该领域仍然存在巨大的挑战,以及我们将在本文结尾处讨论的机会。
translated by 谷歌翻译
基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是,临床用例已增加了兴趣,并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用,其中测量数据的量很少,以使获取时间短而且辐射剂量较低,降低了串联的伪像,促使数据驱动的DeNoINEDENO算法的开发,其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET,这是一个数据驱动的双域denoising模型,其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno,而实现过滤后的反向投影算法的第三层则夹在前两种之间,并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能,并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络,并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。
translated by 谷歌翻译
从有限角度范围内获取的X射线投影的计算机断层扫描(CT)重建是具有挑战性的,特别是当角度范围非常小时。分析和迭代模型都需要更多的投影来有效建模。由于其出色的重建性能,深度学习方法已经取得了普遍存在,但此类成功主要限制在同一数据集中,并且在具有不同分布的数据集中不概括。在此,我们通过引入铭顶推销模块来提出用于有限角度CT重建的外推网,这是理论上的合理的。该模块补充了额外的铭顶信息和靴子型号概括性。广泛的实验结果表明,我们的重建模型在NIH-AAPM数据集上实现了最先进的性能,类似于现有方法。更重要的是,我们表明,与现有方法相比,使用这种Sinogram推断模块显着提高了在未经持续数据集(例如,Covid-19和LIDC数据集)上的模型的泛化能力。
translated by 谷歌翻译
编码的光圈快照光谱成像(CASSI)是一种用于从一个或几个二维投影测量值重建三维高光谱图像(HSI)的技术。但是,较少的投影测量或更多的光谱通道导致了严重的问题,在这种情况下,必须应用正则化方法。为了显着提高重建的准确性,本文提出了一种基于自然图像的稀疏性和深层图像先验(FAMA-SDIP)的快速交流最小化算法。通过将深层图像(DIP)集成到压缩感应(CS)重建原理中,提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明,FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。
translated by 谷歌翻译
我们提出了一个基于一般学习的框架,用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成,并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题,并学习网络参数,以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛,因为人们可以将各种现代网络结构用于正规化,而所得网络继承了算法的保证收敛性。我们还表明,所提出的网络是参数有效的,其性能与实践中各种图像重建问题中的最新方法相比有利。
translated by 谷歌翻译
计算机断层扫描(CT)使用从身体周围的传感器取出的X射线测量以产生人体的断层图像。如果X射线数据充分采样和高质量,则可以使用传统的重建算法;然而,诸如将剂量减少给患者的问题,或数据采集的几何限制可能导致低质量或不完整的数据。由于噪声和其他伪像,使用传统方法从这些数据重建的图像具有差的质量。本研究的目的是训练单个神经网络,从嘈杂或不完全CT扫描数据重建高质量CT图像,包括低剂量,稀疏视图和有限的角度场景。为了完成这项任务,我们将生成的对冲网络(GaN)作为信号训练,以与CT数据的迭代同步代数重建技术(SART)结合使用。网络包括自我关注块,以模拟数据中的远程依赖性。我们将我们的自我关注GaN进行CT图像重建,包括几种最先进的方法,包括去噪循环GaN,Circle GaN和总变化的校长算法。我们的方法被证明是可以相当的整体性能来圈出GaN,同时优于其他两种方法。
translated by 谷歌翻译
Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.
translated by 谷歌翻译
仅使用少量数据学习神经网络是一个重要的研究主题,具有巨大的应用潜力。在本文中,我们介绍了基于归一化流量的成像中反问题的变异建模的常规化器。我们的常规器称为PatchNR,涉及在很少的图像的贴片上学习的正常流。特别是,培训独立于考虑的逆问题,因此可以将相同的正规化程序用于在同一类图像上作用的不同前向操作员。通过研究斑块的分布与整个图像类别的分布,我们证明我们的变分模型确实是一种地图方法。如果有其他监督信息,我们的模型可以推广到有条件的补丁。材料图像和低剂量或限量角度计算机断层扫描(CT)的层分辨率的数值示例表明,我们的方法在具有相似假设的方法之间提供了高质量的结果,但仅需要很少的数据。
translated by 谷歌翻译
插件播放(PNP)框架使得将高级图像deno的先验集成到优化算法中成为可能,以有效地解决通常以最大后验(MAP)估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法(ADMM)和通过denoing(红色)算法的正则化是这类方法的两个示例,这些示例在图像恢复方面取得了突破。但是,尽管前一种方法仅适用于近端算法,但最近已经证明,当DeOisers缺乏Jacobian对称性时,没有任何正规化解释红色算法,这恰恰是最实际的DINOISERS的情况。据我们所知,没有任何方法来训练直接代表正规器梯度的网络,该网络可以直接用于基于插入梯度的算法中。我们表明,可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络,并获得与其他通用插件方法相比,获得更好的结果。我们还表明,正规器可以用作展开梯度下降的预训练网络。最后,我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。
translated by 谷歌翻译
磁共振(MR)图像重建来自高度缺点$ K $ -space数据在加速MR成像(MRI)技术中至关重要。近年来,基于深度学习的方法在这项任务中表现出很大的潜力。本文提出了一种学习的MR图像重建半二次分割算法,并在展开的深度学习网络架构中实现算法。我们比较我们提出的方法对针对DC-CNN和LPDNET的公共心先生数据集的性能,我们的方法在定量结果和定性结果中表现出其他方法,具有更少的模型参数和更快的重建速度。最后,我们扩大了我们的模型,实现了卓越的重建质量,并且改善为1.76美元$ 276 $ 274美元的LPDNET以5美元\倍率为5美元的峰值信噪比。我们的方法的代码在https://github.com/hellopipu/hqs-net上公开使用。
translated by 谷歌翻译
本文介绍了在混合高斯 - 突破噪声条件下重建高分辨率(HR)LF图像的GPU加速计算框架。主要重点是考虑处理速度和重建质量的高性能方法。从统计的角度来看,我们得出了一个联合$ \ ell^1 $ - $ \ ell^2 $数据保真度,用于惩罚人力资源重建错误,考虑到混合噪声情况。对于正则化,我们采用了加权非本地总变异方法,这使我们能够通过适当的加权方案有效地实现LF图像。我们表明,乘数算法(ADMM)的交替方向方法可用于简化计算复杂性,并在GPU平台上导致高性能并行计算。对合成4D LF数据集和自然图像数据集进行了广泛的实验,以验证提出的SR模型的鲁棒性并评估加速优化器的性能。实验结果表明,与最先进的方法相比,我们的方法在严重的混合噪声条件下实现了更好的重建质量。此外,提议的方法克服了处理大规模SR任务的先前工作的局限性。虽然适合单个现成的GPU,但建议的加速器提供的平均加速度为2.46 $ \ times $和1.57 $ \ times $,分别为$ \ times 2 $和$ \ times 3 $ SR任务。此外,与CPU执行相比,达到$ 77 \ times $的加速。
translated by 谷歌翻译
受深神经网络的巨大成功的启发,基于学习的方法在计算机断层扫描(CT)图像中获得了有希望的金属伪像(MAR)的表现。但是,大多数现有方法更加强调建模并嵌入本特定MAR任务的内在先验知识中,将其纳入其网络设计中。在这个问题上,我们提出了一个自适应卷积词典网络(ACDNET),该网络利用基于模型的方法和基于学习的方法。具体而言,我们探讨了金属伪像的先前结构,例如非本地重复条纹模式,并将其编码为显式加权卷积词典模型。然后,仔细设计了一种简单的算法来解决模型。通过将所提出算法的每个迭代取代展开到网络模块中,我们将先前的结构明确嵌入到深网中,\ emph {i.e。,}对MAR任务的明确解释性。此外,我们的ACDNET可以通过训练数据自动学习无伪影CT图像的先验,并根据其内容自适应地调整每个输入CT图像的表示内核。因此,我们的方法继承了基于模型的方法的明确解释性,并保持了基于学习的方法的强大表示能力。在合成和临床数据集上执行的综合实验表明,在有效性和模型概括方面,我们的ACDNET的优越性。 {\ color {blue} {{\ textIt {代码可在{\ url {https://github.com/hongwang01/acdnet}}}}}}}}}}}}}}}}
translated by 谷歌翻译