定量超声(例如,组织中的回答速度(SOS))提供有关具有诊断值的组织特性的信息。最近的研究表明,使用深层神经网络从Pulse-Echo超声原始数据(又称RF数据)中提取SOS信息的可能性,这些神经网络在模拟数据上进行了充分训练。这些方法将传感器域数据(即RF数据)作为输入和以端到端方式训练网络,以了解RF数据域和SOS域之间的隐式映射。但是,此类网络容易拟合模拟数据,这在测量数据测试时会导致性能和不稳定。我们提出了一种新的方法,用于使用从两个链接的自动编码器中学习的表示形式进行SOS映射。我们测试了从模仿幻影的人乳房获取的模拟和测量数据的方法。我们证明使用链接的自动编码器可以使用SOS映射。所提出的方法在模拟数据上的平均绝对百分比误差(MAPE)为2.39%。在测得的数据上,所提出的方法的预测接近MAPE为1.1%的预期值。与端到端训练的网络相比,提出的方法显示出更高的稳定性和可重复性。
translated by 谷歌翻译
物理驱动的深度学习方法已成为计算磁共振成像(MRI)问题的强大工具,将重建性能推向新限制。本文概述了将物理信息纳入基于学习的MRI重建中的最新发展。我们考虑了用于计算MRI的线性和非线性正向模型的逆问题,并回顾了解决这些方法的经典方法。然后,我们专注于物理驱动的深度学习方法,涵盖了物理驱动的损失功能,插件方法,生成模型和展开的网络。我们重点介绍了特定于领域的挑战,例如神经网络的实现和复杂值的构建基块,以及具有线性和非线性正向模型的MRI转换应用。最后,我们讨论常见问题和开放挑战,并与物理驱动的学习与医学成像管道中的其他下游任务相结合时,与物理驱动的学习的重要性联系在一起。
translated by 谷歌翻译
电磁源成像(ESI)需要解决高度不良的反问题。为了寻求独特的解决方案,传统的ESI方法施加了各种形式的先验,这些方法可能无法准确反映实际的源属性,这可能会阻碍其广泛的应用。为了克服这一局限性,在本文中,提出了一种新的数据合成的时空卷积编码器网络方法,称为dst-cednet。 DST-CEDNET将ESI作为机器学习问题重新铸造,其中歧视性学习和潜在空间表示形式集成到卷积编码器decoder网络(CEDNET)中,以从测量的电脑摄影/磁脑摄影学(E/MEG)信号中学习强大的映射,大脑活动。特别是,通过纳入有关动态大脑活动的先验知识,设计了一种新型的数据合成策略来生成大规模样本,以有效训练Cednet。这与传统的ESI方法相反,在传统的ESI方法中,通常通过主要旨在用于数学便利的约束来实施先前的信息。广泛的数值实验以及对真实MEG和癫痫脑电图数据集的分析表明,DST-Cednet在多种源配置下稳健估计源信号的多种最新ESI方法的表现。
translated by 谷歌翻译
目的:并行成像通过用一系列接收器线圈获取其他灵敏度信息,从而加速了磁共振成像(MRI)数据,从而降低了相位编码步骤。压缩传感磁共振成像(CS-MRI)在医学成像领域中获得了普及,因为其数据要求较少,而不是平行成像。并行成像和压缩传感(CS)均通过最大程度地减少K空间中捕获的数据量来加快传统MRI获取。由于采集时间与样品的数量成反比,因此从缩短的K空间样品中的图像的反向形成会导致收购更快,但具有混乱的伪像。本文提出了一种新型的生成对抗网络(GAN),即雷德格尔(Recgan-gr)受到多模式损失的监督,以消除重建的图像。方法:与现有的GAN网络相反,我们提出的方法引入了一种新型的发电机网络,即与双域损耗函数集成的弹药网络,包括加权幅度和相位损耗函数以及基于平行成像的损失,即Grappa一致性损失。提出了K空间校正块,以使GAN网络自动化生成不必要的数据,从而使重建过程的收敛性更快。结果:全面的结果表明,拟议的Recgan-GR在基于GAN的方法中的PSNR有4 dB的改善,并且在文献中可用的传统最先进的CNN方法中有2 dB的改进。结论和意义:拟议的工作有助于显着改善低保留数据的图像质量,从而更快地获取了5倍或10倍。
translated by 谷歌翻译
基于模型的经颅超声疗法的治疗计划通常涉及从头部的X射线计算机断层扫描(CT)图像中映射头骨的声学特性。在这里,将三种用于从磁共振(MR)图像中生成伪CT图像的方法作为CT的替代方法。在配对的MR-CT图像上训练了卷积神经网络(U-NET),以从T1加权或零回波时间(ZTE)MR图像(分别表示TCT和ZCT)生成伪CT图像。还实施了从中兴通讯到伪CT的直接映射(表示为CCT)。在比较测试集的伪CT和地面真相CT图像时,整个头部的平均绝对误差为133、83和145 Hounsfield单位(HU),以及398、222和336 HU的头骨内的颅骨内部的平均误差为133、83和145个。 TCT,ZCT和CCT图像。还使用生成的伪CT图像进行了超声模拟,并将其与基于CT的模拟进行了比较。使用环形阵列传感器针对视觉或运动皮层。基于TCT图像的模拟,模拟局灶性局灶性,焦点位置和焦距的平均差异为9.9%,1.5 mm和15.1%,ZCT的平均差异为5.7%,0.6 mm和5.7%,为6.7%,和5.7% CCT为0.9毫米,为12.1%。映射的图像的改进结果突出了使用成像序列的优势,从而改善了颅骨的对比度。总体而言,这些结果表明,基于MR图像的声学仿真可以与基于CT的声学相比精度。
translated by 谷歌翻译
Atrial Fibrillation (AF) is characterized by disorganised electrical activity in the atria and is known to be sustained by the presence of regions of fibrosis (scars) or functional cellular remodeling, both of which may lead to areas of slow conduction. Estimating the effective conductivity of the myocardium and identifying regions of abnormal propagation is therefore crucial for the effective treatment of AF. We hypothesise that the spatial distribution of tissue conductivity can be directly inferred from an array of concurrently acquired contact electrograms (EGMs). We generate a dataset of simulated cardiac AP propagation using randomised scar distributions and a phenomenological cardiac model and calculate contact electrograms at various positions on the field. A deep neural network, based on a modified U-net architecture, is trained to estimate the location of the scar and quantify conductivity of the tissue with a Jaccard index of $91$%. We adapt a wavelet-based surrogate testing analysis to confirm that the inferred conductivity distribution is an accurate representation of the ground truth input to the model. We find that the root mean square error (RMSE) between the ground truth and our predictions is significantly smaller ($p_{val}=0.007$) than the RMSE between the ground truth and surrogate samples.
translated by 谷歌翻译
地震数据处理在很大程度上取决于物理驱动的反问题的解决方案。在存在不利的数据采集条件下(例如,源和/或接收器的规则或不规则的粗略采样),基本的反问题变得非常不适,需要先进的信息才能获得令人满意的解决方案。刺激性反演,再加上固定基础的稀疏转换,代表了许多处理任务的首选方法,因为其实施简单性并在各种采集方案中都成功地应用了成功应用。利用深神经网络找到复杂的多维矢量空间的紧凑表示的能力,我们建议训练自动编码器网络,以了解输入地震数据和代表性潜流歧管之间的直接映射。随后,训练有素的解码器被用作手头物理驱动的逆问题的非线性预处理。提供了各种地震处理任务的合成数据和现场数据,并且所提出的非线性,学习的转换被证明超过了固定基本的转换,并更快地收敛到所寻求的解决方案。
translated by 谷歌翻译
Convolutional Neural Networks (CNN) have shown promising results for displacement estimation in UltraSound Elastography (USE). Many modifications have been proposed to improve the displacement estimation of CNNs for USE in the axial direction. However, the lateral strain, which is essential in several downstream tasks such as the inverse problem of elasticity imaging, remains a challenge. The lateral strain estimation is complicated since the motion and the sampling frequency in this direction are substantially lower than the axial one, and a lack of carrier signal in this direction. In computer vision applications, the axial and the lateral motions are independent. In contrast, the tissue motion pattern in USE is governed by laws of physics which link the axial and lateral displacements. In this paper, inspired by Hooke's law, we first propose Physically Inspired ConsTraint for Unsupervised Regularized Elastography (PICTURE), where we impose a constraint on the Effective Poisson's ratio (EPR) to improve the lateral strain estimation. In the next step, we propose self-supervised PICTURE (sPICTURE) to further enhance the strain image estimation. Extensive experiments on simulation, experimental phantom and in vivo data demonstrate that the proposed methods estimate accurate axial and lateral strain maps.
translated by 谷歌翻译
计算光学成像(COI)系统利用其设置中的光学编码元素(CE)在单个或多个快照中编码高维场景,并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计:CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是,深神经网络(DNNS)的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线,该设计共同考虑了光学编码器和计算解码器。具体而言,通过通过完全可区分的图像形成模型对COI测量进行建模,该模型考虑了基于物理的光及其与CES的相互作用,可以在端到端优化定义CE和计算解码器的参数和计算解码器(e2e)方式。此外,通过在同一框架中仅优化CE,可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展,并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序,因此我们提出低级任务,例如光谱成像重建或高级任务,例如使用基于任务的光学光学体系结构来增强隐私的姿势估计,以维护姿势估算。最后,我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。
translated by 谷歌翻译
相位场建模是一种有效但计算昂贵的方法,用于捕获材料中的中尺度形态和微观结构演化。因此,需要快速且可推广的替代模型来减轻计算征税流程的成本,例如在材料的优化和设计中。尖锐相边界的存在所产生的物理现象的固有不连续性使替代模型的训练繁琐。我们开发了一个框架,该框架将卷积自动编码器架构与深神经操作员(DeepOnet)集成在一起,以了解两相混合物的动态演化,并加速预测微结构演变的时间。我们利用卷积自动编码器在低维的潜在空间中提供微观结构数据的紧凑表示。 DeepOnet由两个子网络组成,一个用于编码固定数量的传感器位置(分支网)的输入函数,另一个用于编码输出功能的位置(TRUNK NET),了解微观结构Evolution的中尺度动力学从自动编码器潜在空间。然后,卷积自动编码器的解码器部分从deponet预测中重建了时间进化的微结构。然后,可以使用训练有素的DeepOnet架构来替换插值任务中的高保真相位数值求解器或在外推任务中加速数值求解器。
translated by 谷歌翻译
数字全息图是一种3D成像技术,它通过向物体发射激光束并测量衍射波形的强度,称为全息图。对象的3D形状可以通过对捕获的全息图的数值分析并恢复发生的相位来获得。最近,深度学习(DL)方法已被用于更准确的全息处理。但是,大多数监督方法都需要大型数据集来训练该模型,由于样本或隐私问题的缺乏,大多数DH应用程序都很少获得。存在一些基于DL的恢复方法,不依赖配对图像的大数据集。尽管如此,这些方法中的大多数经常忽略控制波传播的基本物理法。这些方法提供了一个黑盒操作,无法解释,可以推广和转移到其他样本和应用程序。在这项工作中,我们提出了一种基于生成对抗网络的新DL体系结构,该架构使用判别网络来实现重建质量的语义度量,同时使用生成网络作为函数近似器来建模全息图的倒数。我们使用模拟退火驱动的渐进式掩蔽模块将恢复图像的背景部分强加于回收图像的背景部分,以增强重建质量。所提出的方法是一种表现出高传递性对类似样品的可传递性的方法之一,该方法促进了其在时间敏感应用程序中的快速部署,而无需重新培训网络。结果表明,重建质量(约5 dB PSNR增益)和噪声的鲁棒性(PSNR与噪声增加率降低约50%)的竞争者方法有了显着改善。
translated by 谷歌翻译
腹主动脉瘤(AAA)是一种血管疾病,其中主动脉的一部分肿大,削弱其壁并可能破裂血管。腹部超声已用于诊断,但由于其图像质量和操作员的依赖性有限,通常需要进行CT扫描进行监测和治疗计划。最近,腹部CT数据集已成功用于训练深神经网络以进行自动主动脉分割。因此,可以利用从这项解决的任务中收集的知识来改善我们的AAA诊断和监测分段。为此,我们提出了Cactuss:一种常见的解剖CT-US空间,它是CT和美国模式之间的虚拟桥梁,以实现自动AAA筛选超声检查。仙人掌利用公开可用的标记数据来学习基于从美国和CT继承属性的中介表示。我们在此新表示中训练分割网络,并采用附加的图像到图像翻译网络,使我们的模型能够在真实的B模式图像上执行。与完全监督的方法进行的定量比较证明了在骰子评分和诊断指标方面的能力,这表明我们的方法还满足了AAA扫描和诊断的临床要求。
translated by 谷歌翻译
在超声成像中,组织的均匀区域的出现受到斑点的影响,对于某些应用,这可能会使组织不规则的检测变得困难。为了应对这一点,通常将减少斑点过滤器应用于图像是很普遍的做法。大多数传统的过滤技术都是精心制作的,通常需要对当前的硬件,成像方案和应用进行精心调整。另一方面,基于学习的技术遭受了对训练的目标图像的需求(如果有完全监督的技术),或者需要狭窄,基于复杂的物理模型的斑点外观模型,这些模型在所有情况下都不适用。通过这项工作,我们提出了一种基于深度学习的方法,用于去除斑点,而无需这些限制。为此,我们利用逼真的超声仿真技术,这些技术允许对代表完全相同组织的几种独立的斑点实现进行实例化,从而允许应用图像重建技术,这些技术与成对损坏的数据成对一起使用。与其他两种最先进的方法(非本地均值和优化的贝叶斯非本地均值过滤器)相比,我们的方法在定性比较和定量评估中表现出色,尽管仅对模拟进行了培训,并且是几个顺序,并且是几个顺序幅度更快。
translated by 谷歌翻译
心肌组织中电脉冲现象的分析对于心律节律疾病和其他心脏病生理学的诊断是重要的。心脏映射技术获取本地时间测量,并将它们与心脏表面相结合以可视化电生理波现象的传播。然而,低空间分辨率,稀疏测量位置,噪音和其他工件使得能够准确地可视化时空活动来挑战。例如,电解剖导管映射受测量的稀疏性严重限制,并且光学映射容易发生噪声和运动伪影。在过去,已经提出了几种方法来获得从嘈杂或稀疏映射数据的更可靠的地图。在这里,我们证明了深度学习可用于计算阶段地图和检测心室颤动的光学映射视频中的相位奇点,以及非常嘈杂,低分辨率和极其稀疏的旋流波混沌模拟导管映射数据的模拟数据。深度学习方法学习直接将相位映射和相奇异性的位置与短时空序列的电气数据序列联系起来。我们基于具有编码和解码结构的卷积神经网络测试了几种神经网络架构,以通过预测相位映射和相位奇异性的后续经典计算来预测直接或间接地预测相位映射或转子芯位置。可以跨不同数据执行预测,其中模型在一个物种上培训,然后成功应用于另一个物种,或者仅在模拟数据上培训,然后应用于实验数据。未来的用途可包括对基本心血管研究中的光学映射研究的分析,以及临床环境中心房颤动的映射。
translated by 谷歌翻译
通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用,但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射,但也良好的是,散射的相干光的时间相关性通过组织像光强度一样扩散。然而,迄今为止,很少有作品旨在通过实验测量和处理这种时间相关数据,以证明去相关动力学的深度组织视频重建。在这项工作中,我们利用单光子雪崩二极管(SPAD)阵列摄像机同时监视单photon水平的斑点波动的时间动力学,从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后,我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态(0.1-0.4s)动态事件的图像的能力,该动态事件发生在非相关的组织幻影下,并以毫米级分辨率进行重构,并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。
translated by 谷歌翻译
侧扫声纳强度编码有关海床表面正常变化的信息。但是,其他因素(例如海底几何形状及其材料组成)也会影响回流强度。可以建模这些强度从向前方向上的变化从从测深图和物理特性到测量强度的表面正常的变化,或者可以使用逆模型,该模型从强度开始并模拟表面正常。在这里,我们使用一个逆模型,该模型利用深度学习能够从数据中学习的能力;卷积神经网络用于估计侧扫的正常表面。因此,海床的内部特性仅是隐式学习的。一旦估算了此信息,就可以通过优化框架重建测深图,该框架还包括高度计读数,以提供稀疏的深度轮廓作为约束。最近提出了隐式神经表示学习,以代表这种优化框架中的测深图。在本文中,我们使用神经网络来表示地图并在高度计点的约束和侧can的估计表面正常状态下进行优化。通过从几个侧扫线的不同角度融合多个观测值,通过优化改善了估计的结果。我们通过使用大型侧扫调查的侧扫数据重建高质量的测深,通过重建高质量的测深,证明了该方法的效率和可伸缩性。我们比较了提出的数据驱动的逆模型方法,该方法将侧扫形成前向兰伯特模型。我们通过将每个重建的质量与由多光束传感器构建的数据进行比较来评估它的质量。因此,我们能够讨论每种方法的优点和缺点。
translated by 谷歌翻译
光声(OA)成像基于对生物组织的激发,该组织具有纳米持续激光脉冲,然后随后检测通过光吸收介导的热弹性扩张产生的超声波。 OA成像具有丰富的光学对比度和深层组织高分辨率之间的强大组合。这使得在临床和实验室环境中都可以探索许多有吸引力的新应用程序。但是,没有使用不同类型的实验设置和相关处理方法生成的标准化数据集,可以促进OA在临床环境中的更广泛应用中的进步。这使新的和已建立的数据处理方法之间的客观比较变得复杂,通常会导致定性结果和对数据的任意解释。在本文中,我们提供实验性和合成OA原始信号以及带有不同实验参数和层析成像采集几何形状的重建图像结构域数据集。我们进一步提供了训练有素的神经网络,以应对与OA图像处理相关的三个重要挑战,即在有限的视图层析成像条件下准确重建,去除空间不足的采样伪像以及解剖学细分,以改善图像重建。具体而言,我们将与上述挑战相对应的18个实验定义为用于开发更先进处理方法的参考的基准。
translated by 谷歌翻译
光学系统的可区分模拟可以与基于深度学习的重建网络结合使用,以通过端到端(E2E)优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序(例如3D定位显微镜,深度估计和无透镜摄影)通过优化局部光学编码器。更具挑战性的计算成像应用,例如将3D卷压入单个2D图像的3D快照显微镜,需要高度非本地光学编码器。我们表明,现有的深网解码器具有局部性偏差,可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络(Fouriernets)基于浅神经网络体系结构的解码器来解决此问题。我们表明,在高度非本地分散镜头光学编码器捕获的照片中,傅立叶网络超过了现有的基于网络的解码器。此外,我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合,我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态,并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。
translated by 谷歌翻译
人类生理学中的各种结构遵循特异性形态,通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道,视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像(MRI),计算机断层扫描(CT),光学相干断层扫描(OCT)等医学成像模式(MRI),计算机断层扫描(CT),可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要,因为对结构的分析提供了对疾病诊断,治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果,在过去的二十年中,自动化或半自动化的计算模型已成为医学成像的流行研究领域,迄今为止,许多计算模型已经开发出来。在这项调查中,我们旨在对当前公开可用的数据集,细分算法和评估指标进行全面审查。此外,讨论了当前的挑战和未来的研究方向。
translated by 谷歌翻译
现代光学卫星传感器使高分辨率立体声重建。但是在观察地球从空间推动立体声匹配时挑战成像条件。在实践中,由此产生的数字表面模型(DSM)相当嘈杂,并且通常不会达到3D城市建模等高分辨率应用所需的准确性。可以说,基于低电平图像相似性的立体声对应不足,并且应该互补关于超出基本局部平滑度的预期表面几何的先验知识。为此,我们介绍了Resptepth,这是一个卷积神经网络,其在示例数据之前学习如此表达几何。 Restepth在调节图像上的细化时改进初始原始的立体声DSM。即,它充当了一个智能,学习的后处理过滤器,可以无缝地补充任何立体声匹配管道。在一系列实验中,我们发现所提出的方法始终如一地改善了定量和定性的立体声DSM。我们表明,网络权重中的先前编码捕获了城市设计的有意义的几何特征,这也概括了不同地区,甚至从一个城市到另一个城市。此外,我们证明,通过对各种立体对的训练,RESPTH可以在成像条件和采集几何体中获得足够的不变性。
translated by 谷歌翻译