在这项工作中,我们评估了如何利用具有周期性激活功能的神经网络可靠地压缩大型多维医学图像数据集,并将概念验证应用应用于4D扩散加权MRI(DMRI)。在医学成像景观中,多维MRI是开发对基础组织微观结构既敏感又具有特异性的生物标志物的关键研究领域。但是,这些数据的高维质在存储和共享功能和相关成本方面构成了挑战,需要适当的算法能够在低维空间中表示信息。深度学习中的最新理论发展表明了周期性激活函数如何成为隐式神经表示图像的强大工具,并且可以用于压缩2D图像。在这里,我们将此方法扩展到4D图像,并展示如何通过正弦激活网络的参数准确地表示任何给定的4D DMRI数据集,从而达到数据压缩率是标准放气算法的10倍。我们的结果表明,所提出的方法优于基准relu和tanh激活感知到均方根误差,峰值信噪比和结构相似性指数。随后使用张量和球形谐波表示的随后分析表明,所提出的损耗压缩可准确再现原始数据的特征,从而导致相对误差约5至10倍,比基准JPEG2000有损耗压缩低约5至10倍,与标准预处理步骤相似,例如MP-PCA表示,表明在当前接受的临床应用水平内丧失信息。
translated by 谷歌翻译
扩散加权图像(DWIS)中的噪声降低了扩散张量磁共振成像(DTI)导出的微结构参数的准确性和精度,并导致延长的采集时间来实现改进的信噪比(SNR)。基于深度学习的图像去噪使用卷积神经网络(CNNS)具有卓越的性能,但通常需要额外的高SNR数据来监督CNN的培训,这降低了实际可行性。我们开发了一个自我监督的深度学习的方法,标题为“SDNDTI”,用于去噪DTI数据,这不需要额外的高SNR数据进行培训。具体地,SDNDTI将多向DTI数据划分为许多子集,每个子​​集中沿着沿着最佳选择的扩散编码方向组成的六个DWI卷,该编码方向是对张力配件的稳健,然后沿着拟合的扩散张量沿所有获取的方向合成DWI体积使用数据的每个子集作为CNN的输入数据。另一方面,SDNDTI沿着使用所有获取的数据作为训练目标的扩散张量,沿着获取的扩散编码方向合成DWI卷。 SDNDTI使用深3维CNN从合成的DWI卷中的每个子集中消除噪声,以匹配清洁器目标DWI卷的质量,通过平均所有去噪数据的所有子集实现更高的SNR。 SDNDTI的去噪功效在于人类连接项目(HCP)提供的两种数据集和衰老中的寿命HCP。 SDNDTI结果保留了图像清晰度和纹理细节,并大大改善了原始数据的影响。 SDNDTI的结果与来自最先进的传统去噪算法包括BM4D,AONLM和MPPCA的常规去噪算法的结果相当。
translated by 谷歌翻译
基于深度学习的脑磁共振成像(MRI)重建方法有可能加速MRI采集过程。尽管如此,科学界缺乏适当的基准,以评估高分辨率大脑图像的MRI重建质量,并评估这些所提出的算法在存在小而且预期的数据分布班次存在下的表现。多线圈磁共振图像(MC-MRI)重建挑战提供了一种基准,其目的在于使用高分辨率,三维,T1加权MRI扫描的大型数据集。挑战有两个主要目标:1)比较该数据集和2)上的不同的MRI重建模型,并评估这些模型的概括性,以通过不同数量的接收器线圈获取的数据。在本文中,我们描述了挑战实验设计,并总结了一系列基线和艺术脑MRI重建模型的结果。我们提供有关目前MRI重建最先进的相关比较信息,并突出挑战在更广泛的临床采用之前获得所需的普遍模型。 MC-MRI基准数据,评估代码和当前挑战排行榜可公开可用。它们为脑MRI重建领域的未来发展提供了客观性能评估。
translated by 谷歌翻译
In this work, we propose a novel image reconstruction framework that directly learns a neural implicit representation in k-space for ECG-triggered non-Cartesian Cardiac Magnetic Resonance Imaging (CMR). While existing methods bin acquired data from neighboring time points to reconstruct one phase of the cardiac motion, our framework allows for a continuous, binning-free, and subject-specific k-space representation.We assign a unique coordinate that consists of time, coil index, and frequency domain location to each sampled k-space point. We then learn the subject-specific mapping from these unique coordinates to k-space intensities using a multi-layer perceptron with frequency domain regularization. During inference, we obtain a complete k-space for Cartesian coordinates and an arbitrary temporal resolution. A simple inverse Fourier transform recovers the image, eliminating the need for density compensation and costly non-uniform Fourier transforms for non-Cartesian data. This novel imaging framework was tested on 42 radially sampled datasets from 6 subjects. The proposed method outperforms other techniques qualitatively and quantitatively using data from four and one heartbeat(s) and 30 cardiac phases. Our results for one heartbeat reconstruction of 50 cardiac phases show improved artifact removal and spatio-temporal resolution, leveraging the potential for real-time CMR.
translated by 谷歌翻译
扩散张量心脏磁共振(DT-CMR)使我们能够探测体内心肌内心肌细胞的微观结构排列,这是不可侵袭性的,这是其他成像方式不允许的。这种创新的技术可以彻底改变执行心脏临床诊断,风险分层,预后和治疗随访的能力。但是,DT-CMR目前效率低下,获得单个2D静态图像所需的六分钟以上。因此,DT-CMR目前仅限于研究,但在临床上不使用。我们建议减少生产DT-CMR数据集并随后将其降低所需的重复次数,从而减少通过线性因子的采集时间,同时保持可接受的图像质量。我们提出的基于生成的对抗网络,视觉变压器和合奏学习的方法比以前提出的方法表现出色,而且要好得多,从而使单一的呼吸息dt-CMR更接近现实。
translated by 谷歌翻译
Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or SIRENs, are ideally suited for representing complex natural signals and their derivatives. We analyze SIREN activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how SIRENs can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine SIRENs with hypernetworks to learn priors over the space of SIREN functions. Please see the project website for a video overview of the proposed method and all applications.
translated by 谷歌翻译
由于扩散张量成像(DTI)由于其独特的非侵入性评估心脏微观结构的能力而获得了心脏成像的流行,因此基于深度学习的人工智能正在成为减轻其一些缺点的重要工具,例如长期扫描时间。由于经常在快节奏的研究环境中发生,因此许多重点是展示深度学习的能力,而通常没有足够的时间来研究什么投入和建筑属性将使心脏DTI加速最大。在这项工作中,我们比较了几种输入类型(幅度图像与复杂图像),多个维度(2D vs 3D操作)以及多个输入类型(单片与多板)对训练训练的模型的性能的效果由同时的多层(SMS)采集引起的人工制品。尽管我们最初的直觉,但我们的实验表明,对于固定数量的参数,更简单的2D实价模型的表现优于其更高级的3D或复杂的对应物。最好的性能是,尽管使用获得的数据的幅度和相位组件训练了实现的模型。我们认为,这种行为是由于实现的模型可以更好地利用较低的参数,并且由于我们实验中使用的低SMS加速度因子,因此无法利用空间信息的3D模型无法利用空间信息。
translated by 谷歌翻译
This paper presents a subsampling-task paradigm for data-driven task-specific experiment design (ED) and a novel method in populationwide supervised feature selection (FS). Optimal ED, the choice of sampling points under constraints of limited acquisition-time, arises in a wide variety of scientific and engineering contexts. However the continuous optimization used in classical approaches depend on a-priori parameter choices and challenging non-convex optimization landscapes. This paper proposes to replace this strategy with a subsampling-task paradigm, analogous to populationwide supervised FS. In particular, we introduce JOFSTO, which performs JOint Feature Selection and Task Optimization. JOFSTO jointly optimizes two coupled networks: one for feature scoring, which provides the ED, the other for execution of a downstream task or process. Unlike most FS problems, e.g. selecting protein expressions for classification, ED problems typically select from highly correlated globally informative candidates rather than seeking a small number of highly informative features among many uninformative features. JOFSTO's construction efficiently identifies potentially correlated, but effective subsets and returns a trained task network. We demonstrate the approach using parameter estimation and mapping problems in clinically-relevant applications in quantitative MRI and in hyperspectral imaging. Results from simulations and empirical data show the subsampling-task paradigm strongly outperforms classical ED, and within our paradigm, JOFSTO outperforms state-of-the-art supervised FS techniques. JOFSTO extends immediately to wider image-based ED problems and other scenarios where the design must be specified globally across large numbers of acquisitions. Code will be released.
translated by 谷歌翻译
从磁共振成像(MRI)数据(称为颅骨条状)中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富,但通常是针对具有特定采集特性的图像量身定制的,即近乎各向异性的分辨率和T1加权(T1W)MRI对比度,这些分辨率在研究环境中很普遍。结果,现有的工具倾向于适应其他图像类型,例如在诊所常见的快速旋转回声(FSE)MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力,但这些方法面临着类似的负担,因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身,我们引入了Synthstrip,这是一种快速,基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学,强度分布和远远超过现实医学图像范围的完全合成训练数据集,Synthstrip学会了成功推广到各种真实获得的大脑图像,从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效,从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。
translated by 谷歌翻译
目的:开发一种适用于具有非平滑相位变化的扩散加权(DW)图像的鲁棒部分傅里叶(PF)重建算法。方法:基于展开的近端分裂算法,导出了一种神经网络架构,其在经常复卷卷积实现的数据一致性操作和正则化之间交替。为了利用相关性,在考虑到置换方面,共同重建相同切片的多重重复。该算法在60名志愿者的DW肝脏数据上培训,并回顾性和预期的不同解剖和分辨率的次样本数据评估。结果:该方法能够在定量措施以及感知图像质量方面具有显着优异地优于追溯子采样数据的传统PF技术。在这种情况下,发现重复的联合重建以及特定类型的经常性网络展开展开是有益的重建质量。在预期的PF采样数据上,所提出的方法使得DW成像能够在不牺牲图像分辨率或引入额外的伪影的情况下进行DW成像。或者,它可以用来对抗具有更高分辨率的获取的TE增加。此外,可以向展示训练集中的解剖学和对比度显示普遍性的脑数据。结论:这项工作表明,即使在易于相位变化的解剖中的强力PF因子中,DW数据的强大PF重建也是可行的。由于所提出的方法不依赖于阶段的平滑度前沿,而是使用学习的经常性卷积,因此可以避免传统PF方法的伪像。
translated by 谷歌翻译
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描(CT)去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的,但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制,电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里,我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法,称为Coxing2Sim,以非局部和非线性方式起作用,不仅抑制独立而且还具有相关的噪音。从理论上讲,噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验,Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征,从视觉上,定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法,在不同的应用中具有很大的潜力。
translated by 谷歌翻译
High Resolution (HR) medical images provide rich anatomical structure details to facilitate early and accurate diagnosis. In MRI, restricted by hardware capacity, scan time, and patient cooperation ability, isotropic 3D HR image acquisition typically requests long scan time and, results in small spatial coverage and low SNR. Recent studies showed that, with deep convolutional neural networks, isotropic HR MR images could be recovered from low-resolution (LR) input via single image super-resolution (SISR) algorithms. However, most existing SISR methods tend to approach a scale-specific projection between LR and HR images, thus these methods can only deal with a fixed up-sampling rate. For achieving different up-sampling rates, multiple SR networks have to be built up respectively, which is very time-consuming and resource-intensive. In this paper, we propose ArSSR, an Arbitrary Scale Super-Resolution approach for recovering 3D HR MR images. In the ArSSR model, the reconstruction of HR images with different up-scaling rates is defined as learning a continuous implicit voxel function from the observed LR images. Then the SR task is converted to represent the implicit voxel function via deep neural networks from a set of paired HR-LR training examples. The ArSSR model consists of an encoder network and a decoder network. Specifically, the convolutional encoder network is to extract feature maps from the LR input images and the fully-connected decoder network is to approximate the implicit voxel function. Due to the continuity of the learned function, a single ArSSR model can achieve arbitrary up-sampling rate reconstruction of HR images from any input LR image after training. Experimental results on three datasets show that the ArSSR model can achieve state-of-the-art SR performance for 3D HR MR image reconstruction while using a single trained model to achieve arbitrary up-sampling scales.
translated by 谷歌翻译
压缩传感(CS)一直在加速磁共振成像(MRI)采集过程中的关键作用。随着人工智能的复苏,深神经网络和CS算法正在集成以重新定义快速MRI的领域。过去几年目睹了基于深度学习的CS技术的复杂性,多样性和表现的大量增长,这些技术致力于快速MRI。在该荟萃分析中,我们系统地审查了快速MRI的深度学习的CS技术,描述了关键模型设计,突出突破,并讨论了有希望的方向。我们还介绍了一个综合分析框架和分类系统,以评估深度学习在基于CS的加速度的MRI的关键作用。
translated by 谷歌翻译
磁共振成像(MRI)图像中的小病变对于多种疾病的临床诊断至关重要。但是,MRI质量很容易被各种噪声降解,这可以极大地影响小病变的诊断准确性。尽管已经提出了一些用于降级MR图像的方法,但缺乏提高特定于任务的降级方法来提高小病变的诊断信心。在这项工作中,我们建议通过体素杂种残留MLP-CNN模型来降低具有小病变的三维(3D)MR图像。我们结合了基本的深度学习体系结构MLP和CNN,以获得适当的固有偏差,以通过添加残差连接来利用远距离信息,以使图像降低并整合MLP和CNN中的每个输出层。我们在720 T2-Flair脑图像上评估了所提出的方法,其在不同的噪声水平下具有较小的病变。结果表明,与最先进的方法相比,在定量和视觉评估中,我们的方法在测试数据集上具有优势。此外,两名经验丰富的放射科医生同意,在中等和高噪声水平下,我们的方法在恢复小病变和整体图像质量方面优于其他方法。我们的方法的实现可在https://github.com/laowangbobo/Residual_MLP_CNN_MIXER上获得。
translated by 谷歌翻译
敏感性张量成像(STI)是一种新兴的磁共振成像技术,它以二阶张量模型来表征各向异性组织磁敏感性。 STI有可能为白质纤维途径的重建以及在MM分辨率下的大脑中的髓磷脂变化的检测提供信息,这对于理解健康和患病大脑的大脑结构和功能具有很大的价值。但是,STI在体内的应用受到了繁琐且耗时的采集要求,以测量易感性引起的MR相变为多个(通常超过六个)的头部方向。由于头圈的物理限制,头部旋转角的限制增强了这种复杂性。结果,STI尚未广泛应用于体内研究。在这项工作中,我们通过为STI的图像重建算法提出利用数据驱动的先验来解决这些问题。我们的方法称为DEEPSTI,通过深层神经网络隐式地了解了数据,该网络近似于STI的正常器函数的近端操作员。然后,使用学习的近端网络对偶极反转问题进行迭代解决。使用模拟和体内人类数据的实验结果表明,根据重建张量图,主要特征向量图和拖拉术结果,对最先进的算法的改进很大六个不同的方向。值得注意的是,我们的方法仅在人体内的一个方向上实现了有希望的重建结果,我们证明了该技术在估计多发性硬化症患者中估计病变易感性各向异性的潜在应用。
translated by 谷歌翻译
Self-supervised image denoising techniques emerged as convenient methods that allow training denoising models without requiring ground-truth noise-free data. Existing methods usually optimize loss metrics that are calculated from multiple noisy realizations of similar images, e.g., from neighboring tomographic slices. However, those approaches fail to utilize the multiple contrasts that are routinely acquired in medical imaging modalities like MRI or dual-energy CT. In this work, we propose the new self-supervised training scheme Noise2Contrast that combines information from multiple measured image contrasts to train a denoising model. We stack denoising with domain-transfer operators to utilize the independent noise realizations of different image contrasts to derive a self-supervised loss. The trained denoising operator achieves convincing quantitative and qualitative results, outperforming state-of-the-art self-supervised methods by 4.7-11.0%/4.8-7.3% (PSNR/SSIM) on brain MRI data and by 43.6-50.5%/57.1-77.1% (PSNR/SSIM) on dual-energy CT X-ray microscopy data with respect to the noisy baseline. Our experiments on different real measured data sets indicate that Noise2Contrast training generalizes to other multi-contrast imaging modalities.
translated by 谷歌翻译
目的:动脉自旋标记(ASL)灌注成像表示脑血流(CBF)的直接和绝对测量。动脉转运时间(ATT)是一个相关的生理参数,反映了标记的旋转到达感兴趣的大脑区域的持续时间。多个标签后延迟(PLD)可以提供CBF和ATT的强大度量,从而可以根据ATT优化区域CBF建模。延长的获取时间可以潜在地降低CBF和ATT估计的质量和准确性。我们提出了一个新型网络,以显着减少具有较高信噪比(SNR)的PLD数量。方法:对一个PLD和两个PLD SEPA-列表进行了CBF和ATT估计。对每个模型进行独立训练,以学习从灌注加权图像(PWI)到CBF和ATT图像的非线性转换。结果:One-PLD和两个PLD模型在CBF上的视觉上优于常规方法,而两PLD模型在ATT估计上显示出更准确的结构。所提出的方法将PLD的数量从ATT上的6个降低到2,甚至在CBF上的单个PLD中,而无需牺牲SNR。结论:使用高质量的深度学习生成CBF和ATT地图可行。
translated by 谷歌翻译
在人类神经科学中,机器学习可以帮助揭示与受试者行为相关的较低维度的神经表现。但是,最新的模型通常需要大型数据集进行训练,因此容易过度拟合人类神经影像学数据,这些数据通常只有很少的样本但很多输入尺寸。在这里,我们利用了这样一个事实,即我们在人类神经科学中寻求的特征恰恰是与受试者行为相关的事实。因此,我们通过分类器增强(Trace)开发了与任务相关的自动编码器,并测试了其与两个严重截断的机器学习数据集的标准自动编码器相比,它提取与行为相关的可分离表示的能力。然后,我们在fMRI数据上评估了两个模型,受试者观察到动物和物体。 Trace几乎单方面优于自动编码器和原始输入,在发现“清洁剂”,与任务相关的表示方面最多提高了分类准确性,并提高了三倍。这些结果展示了Trace获得与人类行为有关的各种数据的潜力。
translated by 谷歌翻译
磁共振图像的降解有益于提高低信噪比图像的质量。最近,使用深层神经网络进行DENOSING表现出了令人鼓舞的结果。但是,这些网络大多数都利用监督学习,这需要大量的噪声和清洁图像对的培训图像。获得训练图像,尤其是干净的图像,既昂贵又耗时。因此,已经开发了仅需要成对噪声浪费图像的噪声2Noise(N2N)之类的方法来减轻获得训练数据集的负担。在这项研究中,我们提出了一种新的自我监督的denoising方法Coil2Coil(C2C),该方法不需要获取干净的图像或配对的噪声浪费图像进行训练。取而代之的是,该方法利用了从分阶段阵列线圈中的多通道数据来生成训练图像。首先,它将多通道线圈图像分为两个图像,一个用于输入,另一个用于标签。然后,它们被处理以施加噪声独立性和敏感性归一化,以便它们可用于N2N的训练图像。为了推断,该方法输入了一个线圈组合的图像(例如DICOM图像),从而允许该方法的广泛应用。当使用合成噪声添加的图像进行评估时,C2C对几种自我监督方法显示了最佳性能,从而报告了与监督方法的可比结果。在测试DICOM图像时,C2C成功地将真实噪声降低,而没有显示误差图中的结构依赖性残差。由于不需要对清洁或配对图像进行额外扫描的显着优势,因此可以轻松地用于各种临床应用。
translated by 谷歌翻译
在本文中,我们开发了一种高效的回顾性深度学习方法,称为堆叠U-网,具有自助前沿,解决MRI中刚性运动伪影的问题。拟议的工作利用损坏的图像本身使用额外的知识前瞻,而无需额外的对比度数据。所提出的网络通过共享来自相同失真对象的连续片的辅助信息来学习错过的结构细节。我们进一步设计了一种堆叠的U-网的细化,便于保持图像空间细节,从而提高了像素到像素依赖性。为了执行网络培训,MRI运动伪像的模拟是不可避免的。我们使用各种类型的图像前瞻呈现了一个密集的分析:来自同一主题的其他图像对比的提出的自助前锋和前锋。实验分析证明了自助前锋的有效性和可行性,因为它不需要任何进一步的数据扫描。
translated by 谷歌翻译