低剂量计算机断层扫描(CT)降级算法旨在使常规CT采集中的患者剂量减少,同时保持高图像质量。最近,引入了深度学习〜(DL)的方法,由于其高模型容量,因此在此任务上的常规降级算法优于常规deno。但是,为了过渡基于DL的denoing到临床实践,这些数据驱动的方法必须超越可见的训练数据来概括地概括。因此,我们提出了一种由一组可训练的联合双边滤波器(JBF)组成的混合脱糖性方法,并结合了基于卷积DL的deNoising网络,以预测指导图像。我们提出的denoising管道结合了通过基于DL的功能提取和常规JBF的可靠性启用的高模型容量。通过在没有金属植入物的腹部CT扫描上进行训练以及对金属植入物以及头部CT数据进行腹部扫描测试,可以证明该管道的概括能力。当我们的管道中嵌入两个基于DL的DENOISER(RED-CNN/QAE)时,Denoisis的性能提高了$ 10 \,\%$/$ 82 \,\%$(RMSE)和$ 3 \,\%$ /$ 81 \,\%$(psnr)在包含金属的区域和$ 6 \,\%$/$ 78 \,\%$(rmse)和$ 2 \,\%$/$ 4 \,\%$(psnr)上与各自的香草模型相比,头部CT数据。最后,提出的可训练的JBFS限制了深神经网络的误差结合,以促进基于DL的DeOisers在低剂量CT管道中的适用性。
translated by 谷歌翻译
Self-supervised image denoising techniques emerged as convenient methods that allow training denoising models without requiring ground-truth noise-free data. Existing methods usually optimize loss metrics that are calculated from multiple noisy realizations of similar images, e.g., from neighboring tomographic slices. However, those approaches fail to utilize the multiple contrasts that are routinely acquired in medical imaging modalities like MRI or dual-energy CT. In this work, we propose the new self-supervised training scheme Noise2Contrast that combines information from multiple measured image contrasts to train a denoising model. We stack denoising with domain-transfer operators to utilize the independent noise realizations of different image contrasts to derive a self-supervised loss. The trained denoising operator achieves convincing quantitative and qualitative results, outperforming state-of-the-art self-supervised methods by 4.7-11.0%/4.8-7.3% (PSNR/SSIM) on brain MRI data and by 43.6-50.5%/57.1-77.1% (PSNR/SSIM) on dual-energy CT X-ray microscopy data with respect to the noisy baseline. Our experiments on different real measured data sets indicate that Noise2Contrast training generalizes to other multi-contrast imaging modalities.
translated by 谷歌翻译
基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是,临床用例已增加了兴趣,并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用,其中测量数据的量很少,以使获取时间短而且辐射剂量较低,降低了串联的伪像,促使数据驱动的DeNoINEDENO算法的开发,其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET,这是一个数据驱动的双域denoising模型,其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno,而实现过滤后的反向投影算法的第三层则夹在前两种之间,并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能,并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络,并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描(CT)去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的,但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制,电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里,我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法,称为Coxing2Sim,以非局部和非线性方式起作用,不仅抑制独立而且还具有相关的噪音。从理论上讲,噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验,Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征,从视觉上,定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法,在不同的应用中具有很大的潜力。
translated by 谷歌翻译
基于深度神经网络(DNN)的大多数CT图像去噪文献表明,DNN在诸如RMSE,PSNR和SSSIM之类的度量方面优于传统的迭代方法。在许多情况下,使用相同的度量,低剂量输入的DNN结果也显示为与它们的高剂量对应物相当。然而,这些指标不透露如果DNN结果保留细微病变的可见性,或者如果它们改变CT图像属性,例如噪声纹理。因此,在这项工作中,我们寻求研究DNN的图像质量来自整体观点的低剂量CT图像去噪。首先,我们构建一个高级DNN去噪架构的库。该库由DNCNN,U-Net,Red-Net,GaN等的去噪架构组成。接下来,每个网络都被建模,以及培训,使其在PSNR和SSIM方面产生最佳性能。因此,相应地调整了数据输入(例如,培训补丁大小,重建内核)和数字优化输入(例如,小型匹配大小,学习率,丢失功能)。最后,由此培训的网络的输出进一步受到一系列CT台式测试度量,例如对比度的MTF,NPS和HU精度。这些指标用于对DNN输出的低对比度特征,噪声纹理及其CT号精度的分辨率进行更细微的研究,以更好地理解每个DNN算法对图像质量的这些基础属性的影响。
translated by 谷歌翻译
减少全身CT扫描中患者的辐射暴露引起了医学成像界的广泛关注。鉴于低辐射剂量可能导致噪声和伪像增加,这极大地影响了临床诊断。为了获得高质量的全身低剂量CT(LDCT)图像,以前的基于深度学习的研究工作引入了各种网络架构。然而,大多数这些方法只采用正常剂量CT(NDCT)图像作为地面真理来指导去噪网络的训练。这种简单的限制导致模型效率更低,并使重建的图像遭受过平滑的效果。在本文中,我们提出了一种新的任务内知识转移方法,利用来自NDCT图像的蒸馏知识来帮助LDCT图像上的培训过程。派生架构被称为师生一致性网络(TSC-Net),由教师网络和具有相同架构的学生网络组成。通过中间功能之间的监督,鼓励学生网络模仿教师网络并获得丰富的纹理细节。此外,为了进一步利用CT扫描中包含的信息,介绍了在对比学习时建立的对比正规化机制(CRM).CRM执行将恢复的CT图像拉到NDCT样本,并将远离LDCT样本的遥控器中的遥远空间。此外,基于注意力和可变形卷积机制,我们设计了一种动态增强模块(DEM)以提高网络变换能力。
translated by 谷歌翻译
本文解决了利益区域(ROI)计算机断层扫描(CT)的图像重建问题。尽管基于模型的迭代方法可用于此问题,但由于乏味的参数化和缓慢的收敛性,它们的实用性通常受到限制。另外,当保留的先验不完全适合溶液空间时,可以获得不足的溶液。深度学习方法提供了一种快速的替代方法,从大型数据集中利用信息,因此可以达到高重建质量。但是,这些方法通常依赖于不考虑成像系统物理学的黑匣子,而且它们缺乏可解释性通常会感到沮丧。在两种方法的十字路口,最近都提出了展开的深度学习技术。它们将模型的物理和迭代优化算法纳入神经网络设计中,从而在各种应用中均具有出色的性能。本文介绍了一种新颖的,展开的深度学习方法,称为U-RDBFB,为ROI CT重建而设计为有限的数据。由于强大的非凸数据保真功能与稀疏性诱导正则化功能相结合,因此有效地处理了很少的截断数据。然后,嵌入在迭代重新加权方案中的块双重前向(DBFB)算法的迭代将在神经网络体系结构上展开,从而以监督的方式学习各种参数。我们的实验显示了对各种最新方法的改进,包括基于模型的迭代方案,深度学习体系结构和深度展开的方法。
translated by 谷歌翻译
在核成像中,有限的分辨率会导致影响图像清晰度和定量准确性的部分体积效应(PVE)。已证明来自CT或MRI的高分辨率解剖信息的部分体积校正(PVC)已被证明是有效的。但是,这种解剖学引导的方法通常需要乏味的图像注册和分割步骤。由于缺乏具有高端CT和相关运动伪像的混合体SPECT/CT扫描仪,因此很难获得准确的分段器官模板,尤其是在心脏SPECT成像中。轻微的错误注册/错误分段将导致PVC后的图像质量严重降解。在这项工作中,我们开发了一种基于深度学习的方法,用于快速心脏SPECT PVC,而无需解剖信息和相关的器官分割。所提出的网络涉及密集连接的多维动态机制,即使网络经过充分训练,也可以根据输入图像对卷积内核进行调整。引入了心脏内血容量(IMBV)作为网络优化的附加临床损失函数。提出的网络表明,使用Technetium-99M标记的红细胞在GE发现NM/CT 570C专用心脏SPECT扫描仪上获得的28个犬类研究表现有希望的表现。这项工作表明,与没有这种机制的同一网络相比,具有密集连接的动态机制的提议网络产生了较高的结果。结果还表明,没有解剖信息的提出的网络可以与解剖学引导的PVC方法产生的图像产生具有统计上可比的IMBV测量的图像,这可能有助于临床翻译。
translated by 谷歌翻译
在计算断层摄影(CT)成像过程中,患者内的金属植入物总是造成有害伪影,这对重建的CT图像的视觉质量产生了负面影响,并且对随后的临床诊断产生负面影响。对于金属伪影减少(MAR)任务,基于深度学习的方法取得了有希望的表现。然而,大多数主要共享两个主要常见限制:1)CT物理成像几何约束是完全融入深网络结构中的; 2)整个框架对特定MAR任务具有薄弱的可解释性;因此,难以评估每个网络模块的作用。为了减轻这些问题,在本文中,我们构建了一种新的可解释的双域网络,称为Indudonet +,CT成像过程被精细地嵌入到其中。具体地说,我们推出了一个联合空间和氡域重建模型,并提出了一种仅具有简单操作员的优化算法来解决它。通过将所提出的算法中涉及的迭代步骤展开到相应的网络模块中,我们可以轻松地构建Indudonet +,以明确的解释性。此外,我们分析了不同组织之间的CT值,并将现有的观察合并到Endudonet +的现有网络中,这显着提高了其泛化性能。综合数据和临床数据的综合实验证实了所提出的方法的优越性以及超出当前最先进(SOTA)MAR方法的卓越概括性性能。代码可用于\ url {https://github.com/hongwang01/indududonet_plus}。
translated by 谷歌翻译
基于深入的学习的断层摄影图像重建一直在这些年来引起了很多关注。稀疏视图数据重建是典型的未确定逆问题之一,如何从数十个投影重建高质量CT图像仍然是实践中的挑战。为了解决这一挑战,在本文中,我们提出了一个多域一体化的Swin变压器网络(MIST-NET)。首先,使用灵活的网络架构,所提出的雾网掺入了来自数据,残差数据,图像和剩余图像的豪华域特征。这里,残差数据和残差 - 图像域网组件可以被认为是数据一致性模块,以消除残差数据和图像域中的插值误差,然后进一步保持图像细节。其次,为了检测图像特征和进一步保护图像边缘,将培训的Sobel滤波器结合到网络中以提高编码解码能力。第三,随着经典的Swin变压器,我们进一步设计了高质量的重建变压器(即,REFFORMER)来提高重建性能。 REFFORMER继承了SWIN变压器的功率以捕获重建图像的全局和本地特征。具有48种视图的数值数据集的实验证明了我们所提出的雾网提供更高的重建图像质量,具有小的特征恢复和边缘保护,而不是其他竞争对手,包括高级展开网络。定量结果表明,我们的雾网也获得了最佳性能。训练有素的网络被转移到真实的心脏CT数据集,48次视图,重建结果进一步验证了我们的雾网的优势,进一步证明了临床应用中雾的良好稳健性。
translated by 谷歌翻译
我们为Covid-19的快速准确CT(DL-FACT)测试提供了一系列深度学习的计算框架。我们开发了基于CT的DL框架,通过基于DL的CT图像增强和分类来提高Covid-19(加上其变体)的测试速度和准确性。图像增强网络适用于DDNet,短暂的Dennet和基于Deconvolulate的网络。为了展示其速度和准确性,我们在Covid-19 CT图像的几个来源中评估了DL-FARE。我们的结果表明,DL-FACT可以显着缩短几天到几天的周转时间,并提高Covid-19测试精度高达91%。DL-FACT可以用作诊断和监测Covid-19的医学专业人员的软件工具。
translated by 谷歌翻译
Incorporating computed tomography (CT) reconstruction operators into differentiable pipelines has proven beneficial in many applications. Such approaches usually focus on the projection data and keep the acquisition geometry fixed. However, precise knowledge of the acquisition geometry is essential for high quality reconstruction results. In this paper, the differentiable formulation of fan-beam CT reconstruction is extended to the acquisition geometry. This allows to propagate gradient information from a loss function on the reconstructed image into the geometry parameters. As a proof-of-concept experiment, this idea is applied to rigid motion compensation. The cost function is parameterized by a trained neural network which regresses an image quality metric from the motion affected reconstruction alone. Using the proposed method, we are the first to optimize such an autofocus-inspired algorithm based on analytical gradients. The algorithm achieves a reduction in MSE by 35.5 % and an improvement in SSIM by 12.6 % over the motion affected reconstruction. Next to motion compensation, we see further use cases of our differentiable method for scanner calibration or hybrid techniques employing deep models.
translated by 谷歌翻译
计算机断层扫描(CT)使用从身体周围的传感器取出的X射线测量以产生人体的断层图像。如果X射线数据充分采样和高质量,则可以使用传统的重建算法;然而,诸如将剂量减少给患者的问题,或数据采集的几何限制可能导致低质量或不完整的数据。由于噪声和其他伪像,使用传统方法从这些数据重建的图像具有差的质量。本研究的目的是训练单个神经网络,从嘈杂或不完全CT扫描数据重建高质量CT图像,包括低剂量,稀疏视图和有限的角度场景。为了完成这项任务,我们将生成的对冲网络(GaN)作为信号训练,以与CT数据的迭代同步代数重建技术(SART)结合使用。网络包括自我关注块,以模拟数据中的远程依赖性。我们将我们的自我关注GaN进行CT图像重建,包括几种最先进的方法,包括去噪循环GaN,Circle GaN和总变化的校长算法。我们的方法被证明是可以相当的整体性能来圈出GaN,同时优于其他两种方法。
translated by 谷歌翻译
在这项工作中,我们呈现了基于Eformer-Edge增强的变压器,这是一种新颖的架构,用于使用变压器块为医学图像去噪构建编码器解码器网络。在变压器块中使用非重叠窗口的自我关注,从而降低计算要求。这项工作进一步包含了学习Sobel-Feldman运算符,以增强图像中的边缘,并提出一种有效的方法来在我们架构的中间层中连接它们。通过比较医学图像去噪任务的确定性学习和剩余学习来进行实验分析。为了捍卫我们的方法的效力,我们的模型是在AAPM-Mayo诊所低剂量CT大挑战数据集上进行评估,实现最先进的性能,即,$,43.487 PSNR,0.0067 RMSE和0.9861 SSIM。我们认为,我们的工作将鼓励使用剩余学习的医学图像去噪的基于变压器的架构研究。
translated by 谷歌翻译
双能计算机断层扫描(DECT)已广泛用于需要材料分解的许多应用中。图像域方法直接分解来自高能和低能量衰减图像的材料图像,因此,衰减图像上的噪声和伪影易感。本研究的目的是开发一种改进的迭代神经网络(INN),用于DECT中的高质量图像域材料分解,并研究其性质。我们为DECT材料分解提出了一个新的Inn架构。该建议的Inn Architection在图像精炼模块中使用不同的跨材料卷积神经网络(CNN),并在图像重建模块中使用图像分解物理。独特的交叉材料CNN炼油厂包括不同的编码解码滤波器和跨材料模型,其捕获不同材料之间的相关性。我们研究了具有贴片式重构和紧密框架条件的不同跨材料CNN炼油厂。扩展Cardiacorso(XCAT)幻像和临床数据的数值实验表明,所提出的INN显着提高了几种图像域材料分解方法的图像质量,包括使用边缘保留规范器的传统模型的图像分解(MBID)方法,最近使用预先学习的材料缺口变换的MBID方法,以及非特性深层CNN方法。我们的研究基于补丁的重新制作表明,不同的跨材料CNN炼油厂的学习过滤器可以大致满足紧密框架状态。
translated by 谷歌翻译
由于CT相关的X射线辐射对患者的潜在健康风险,LDCT在医学成像领域引起了重大关注。然而,减少辐射剂量会降低重建图像的质量,从而损害了诊断性能。已经引入了各种深度学习技术来通过去噪提高LDCT图像的图像质量。基于GANS的去噪方法通常利用额外的分类网络,即鉴别者,学习被去噪和正常剂量图像之间最辨别的差异,因此相应地规范脱景模型;它通常侧重于全球结构或本地细节。为了更好地规范LDCT去噪模式,本文提出了一种新的方法,被称为Du-GaN,该方法利用GANS框架中的U-Net基于鉴别者来学习两种图像中的去噪和正常剂量图像之间的全局和局部差异渐变域。这种基于U-Net的鉴别器的优点是它不仅可以通过U-Net的输出向去噪网络提供每个像素反馈,而且还通过中间层专注于语义层中的全局结构U-net。除了图像域中的对抗性训练之外,我们还应用于图像梯度域中的另一个基于U-Net的鉴别器,以减轻由光子饥饿引起的伪像并增强去噪CT图像的边缘。此外,Cutmix技术使基于U-Net的鉴别器的每个像素输出能够提供具有置信度图的放射科学家以可视化去噪结果的不确定性,促进基于LDCT的筛选和诊断。关于模拟和现实世界数据集的广泛实验在定性和定量上展示了最近发表的方法的优越性。
translated by 谷歌翻译
在许多重要的科学和工程应用中发现了卷数据。渲染此数据以高质量和交互速率为苛刻的应用程序(例如虚拟现实)的可视化化,即使使用专业级硬件也无法实现。我们介绍了Fovolnet - 一种可显着提高数量数据可视化的性能的方法。我们开发了一种具有成本效益的渲染管道,该管道稀疏地对焦点进行了量度,并使用深层神经网络重建了全帧。 FOVEATED渲染是一种优先考虑用户焦点渲染计算的技术。这种方法利用人类视觉系统的属性,从而在用户视野的外围呈现数据时节省了计算资源。我们的重建网络结合了直接和内核预测方法,以产生快速,稳定和感知令人信服的输出。凭借纤细的设计和量化的使用,我们的方法在端到端框架时间和视觉质量中都优于最先进的神经重建技术。我们对系统的渲染性能,推理速度和感知属性进行了广泛的评估,并提供了与竞争神经图像重建技术的比较。我们的测试结果表明,Fovolnet始终在保持感知质量的同时,在传统渲染上节省了大量时间。
translated by 谷歌翻译
由于组织和骨骼之间的相似性,在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数,这些相关性反映在磁共振成像(MRI)扫描中。此外,为了实现加速的MRI,k空间数据的采样不足,从而导致全球混叠伪像。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但是由于卷积操作的固有位置,这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性,但是,变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案,并且很少利用MRI的物理学。在本文中,我们提出了一种基于物理的独立(无卷积)变压器模型,标题为“多头级联SWIN变压器(MCSTRA),用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合:它通过移动的窗口自我发场机制利用了全局MR特征;它使用多头设置分别提取属于不同光谱组件的MR特征;它通过级联的网络在中间脱氧和K空间校正之间进行迭代,该网络具有K空间和中间损耗计算中的数据一致性;此外,我们提出了一种新型的位置嵌入生成机制,以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法,同时描述了改善的分辨率和去除词法。
translated by 谷歌翻译
在过去的十年中,卷积神经网络(Convnets)主导了医学图像分析领域。然而,发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点,在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者,因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中,我们呈现透射帧,一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形,具有两个散晶变体,确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型:患者间脑MRI注册和幻影到CT注册。定性和定量结果表明,传输和其变体导致基线方法的实质性改进,展示了用于医学图像配准的变压器的有效性。
translated by 谷歌翻译