对解剖学随时间变化的结构变化的临床研究可能会大大受益于人群水平的形状量化或时空统计形状建模(SSM)。这样的工具使患者器官周期或疾病进展相关的工具与群体有关。构造形状模型需要建立定量形状表示(例如,相应的地标)。基于粒子的形状建模(PSM)是一种数据驱动的SSM方法,可通过优化地标放置来捕获总体级别的形状变化。但是,它假设横断面研究设计,因此在代表形状随时间变化方面的统计能力有限。现有的建模时空或纵向形状变化的方法需要预定义的形状地图集和通常在横截面上构建的预先建造的形状模型。本文提出了一种受PSM方法启发的数据驱动方法,以直接从形状数据中学习人口级时空形状。我们介绍了一种新型的SSM优化方案,该方案产生了整个人群(受试者间)和跨时间序列(受试者内)的地标。我们将所提出的方法应用于心房 - 纤维化患者的4D心脏数据,并证明其在表示左心房动态变化方面的功效。此外,我们表明我们的方法在生成时间序列模型(线性动力学系统(LDS))方面优于时空SSM的基于图像的方法。 LDS使用通过我们的方法优化的时空形状模型拟合,可提供更好的概括和特异性,表明它准确地捕获了基本的时间依赖性。
translated by 谷歌翻译
统计形状建模(SSM)是一种有价值且强大的工具,可以生成复杂解剖结构的详细表示,该解剖结构可以实现定量分析和形状及其变化的比较。 SSM应用数学,统计和计算来将形状解析为定量表示(例如对应点或地标),这些表示将有助于回答有关整个人群解剖学变化的各种问题。复杂的解剖结构具有许多不同的部分,具有不同的相互作用或复杂的结构。例如,心脏是四腔解剖结构,腔室之间有几个共同的边界。对于在整个身体中充分灌注末端器官,必要的心脏腔室的协调和有效收缩是必要的。这些心脏共享边界内的细微形状变化可以表明潜在的病理变化,导致不协调的收缩和末端器官灌注不良。早期检测和稳健的量化可以洞悉理想的治疗技术和干预时机。但是,现有的SSM方法无法明确对共享边界的统计数据进行建模。本文提出了一种通用且灵活的数据驱动方法,用于构建具有共同边界的多器官解剖结构的统计形状模型,可捕获单个解剖学及其在整个人群中共享边界表面的形态和对齐变化。我们通过开发形状模型来证明使用双脑室心脏数据集的提议方法的有效性,从而在整个人群数据中始终如一地参数化心脏双脑室结构和介入的室内隔膜(共享边界表面)。
translated by 谷歌翻译
统计形状建模是解剖学群体定量分析的重要工具。点分布模型(PDMS)通过密集的相应关系,直观且易于使用的形状表示来表示解剖表面,用于后续应用。这些对应关系在两个坐标空间中展出:局部坐标,其描述每个单独解剖表面的几何特征和代表在给定队列中的样本的全局对准差异之后表示人口级统计形状信息的世界坐标。我们提出了一种基于深度学习的框架,它同时从容积图像中直接学习这两个坐标空间。建议的联合模型用于双重目的;世界界据可以直接用于形状分析应用,避免了传统PDM模型中涉及的重预处理和分段。另外,本地对应关系可用于解剖分段。我们展示了这种联合模型在推断解剖表面时形成了两个数据集的形状建模应用的效果。
translated by 谷歌翻译
统计形状建模旨在捕获给定种群中发生的解剖结构的形状变化。形状模型用于许多任务,例如形状重建和图像分割,但也可以塑造生成和分类。现有的形状先验需要训练示例之间的密集对应,或者缺乏鲁棒性和拓扑保证。我们提出了FlowSM,这是一种新型的形状建模方法,它可以学习形状变异性,而无需在训练实例之间密集的对应关系。它依赖于连续变形流的层次结构,该层次由神经网络参数化。我们的模型优于远端股骨和肝脏在提供表现力和稳健形状方面的最先进方法。我们表明,新兴的潜在表示通过将健康与病理形状分开来歧视。最终,我们从部分数据中证明了其对两个形状重建任务的有效性。我们的源代码公开可用(https://github.com/davecasp/flowssm)。
translated by 谷歌翻译
动态MRI可以捕获具有高对比度的软组织器官中的时间解剖变化,但是获得的序列通常遭受有限的体积覆盖,这使得器官形状轨迹的高分辨率重建在时间研究中的主要挑战。由于腹部器官形状的变异性跨越时间和受试者,本研究的目的是朝向3D致密速度测量来完全覆盖整个表面并提取有意义的特征,其特征在于观察到的器官变形并实现临床作用或决定。我们在深呼吸运动期间提出了一种用于表征膀胱表面动力学的管道。对于紧凑的形状表示,首先使用重建的时间体积来使用LDDMM框架建立专用的动态4D网状序列。然后,我们从诸如网格伸长和失真的机械参数执行器官动力学的统计表征。由于我们将器官引用作为非平面,因此我们还使用平均曲率变化为度量来量化表面演变。然而,曲率的数值计算强烈地取决于表面参数化。为了应对这一依赖性,我们采用了一种用于表面变形分析的新方法。独立于参数化并最小化测地曲线的长度,通过最小化Dirichlet能量,它使表面曲线平滑地朝向球体。 eulerian PDE方法用于从曲线缩短流中导出形状描述符。使用Laplace Beltrami操作员特征函数来计算各个运动模式之间的接口,用于球形映射。用于提取用于局部控制的模拟形状轨迹的表征相关曲线的应用演示了所提出的形状描述符的稳定性。
translated by 谷歌翻译
在目前的生物和医学研究中,统计形状建模(SSM)提供了解剖/形态学表征的基本框架。这种分析通常通过识别群体样本中发现的相对少量的几何一致性特征来驱动。这些特征随后可以提供有关人口形状变化的信息。密集的对应模型可以提供易于计算,并在后面减小时产生可解释的低维形状描述符。然而,用于获得这种对应关系的自动方法通常需要图像分割,然后是显着的预处理,这在计算和人力资源方面都是征税。在许多情况下,分段和后续处理需要手动指导和解剖学特定域专业知识。本文提出了一种自我监督的深度学习方法,用于发现可以直接用作形状描述符的图像中的地标进行分析。我们使用地标驱动的图像登记作为主要任务,以强制神经网络发现井注册图像的地标。我们还提出了一个正则化术语,允许对神经网络的稳健优化进行稳健优化,并确保地标均匀跨越图像域。所提出的方法避免分割和预处理,并直接使用仅2D或3D图像产生可用的形状描述符。此外,我们还提出了在训练损失函数上提出了两个变体,允许将现有的形状信息集成到模型中。我们在几个2D和3D数据集上应用此框架以获取其形状描述符,并分析其实用程序以获取各种应用程序。
translated by 谷歌翻译
运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而,通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法,易于产生令人难以置信的估计,尤其是在大运动的情况下。在这项研究中,我们提供了一种新颖的稀疏密度(DSD)的运动估计框架,其包括两个阶段。在第一阶段,我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑,并丢弃对运动估计不必要的冗余信息。为此目的,我们介绍一个无监督的3D地标检测网络,以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段,我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后,我们通过将稀疏地标位移突出回致密图像域,呈现运动重建网络来构造运动场。此外,我们从我们的两级DSD框架中使用估计的运动场作为初始化,并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法,分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比,我们的方法产生了出色的运动估计精度。此外,广泛的实验结果表明,我们的解决方案可以提取良好代表性解剖标志,而无需手动注释。我们的代码在线公开提供。
translated by 谷歌翻译
在基于模型的医学图像分析中,感兴趣的三个特征是感兴趣的结构,其相对姿势和代表一些物理性质的图像强度谱的形状。通常,这些通过统计模型分别通过统计模型来通过主要测地分析或主成分分析将对象的特征分解成一组基函数。本研究提出了一种统计建模方法,用于在医学图像中自动学习形状,姿势和强度特征,我们称之为动态多特征类高斯过程模型(DMFC-GPM)。 DMFC-GPM是基于高斯过程(GP)的模型,具有编码线性和非线性变化的共享潜在空间。我们的方法在连续域中定义,其具有基于变形字段的线性空间中的形状,姿势和强度特征类。在用于建模形状和强度特征变化的方法以及比较刚性变换(姿势)的方法中,适于变形现场度量。此外,DMFC-GPMS继承了GPS内在的属性,包括边缘化和回归。此外,它们允许在从图像采集过程获得的那些之上增加额外的姿势特征可变性;我们是什么术语作为排列建模。对于使用DMFC-GPMS的图像分析任务,我们适应了Metropolis-Hastings算法,使得具有完全概率的特征预测。我们验证了使用受控合成数据的方法,并且我们在肩部的CT图像上对骨结构进行实验,以说明模型姿势和形状特征预测的功效。模型性能结果表明,这种新的造型范例是强大,准确,可访问的,并且具有潜在的应用,包括肌肉骨骼障碍和临床决策
translated by 谷歌翻译
近年来,由于其在数字人物,角色产生和动画中的广泛应用,人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状,质地和皮肤特性建模,而忽略了内部骨骼结构和外观之间的固有相关性。在本文中,我们使用学习的参数面部发电机提出了雕塑家,具有骨骼一致性的3D面部创作,旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西(Lucy),这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名,其中包含正牙手术前后全人头的高质量计算机断层扫描(CT)扫描,这对于评估手术结果至关重要。露西(Lucy)由144次扫描,分别对72名受试者(31名男性和41名女性)组成,其中每个受试者进行了两次CT扫描,并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集,我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家,它可以创建独特而细微的面部特征,以帮助定义角色,同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状,姿势混合形状和面部表达混合形状,共同在统一数据驱动的框架下共同建模头骨,面部几何形状和面部外观。与现有方法相比,雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后,我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。
translated by 谷歌翻译
计算流体动力学(CFD)可用于模拟血管血流动力学并分析潜在的治疗方案。 CFD已显示对改善患者预后有益。但是,尚未实现CFD的实施CFD。 CFD的障碍包括高计算资源,设计模拟设置所需的专业经验以及较长的处理时间。这项研究的目的是探索使用机器学习(ML)以自动和快速回归模型复制常规主动脉CFD。用于训练/测试的数据该模型由在合成生成的3D主动脉形状上执行的3,000个CFD模拟组成。这些受试者是由基于实际患者特异性主动脉(n = 67)的统计形状模型(SSM)生成的。对200个测试形状进行的推理导致压力和速度的平均误差分别为6.01%+/- 3.12 SD和3.99%+/- 0.93 SD。我们的基于ML的模型在〜0.075秒内执行CFD(比求解器快4,000倍)。这项研究表明,可以使用ML以更快的速度,自动过程和高精度来复制常规血管CFD的结果。
translated by 谷歌翻译
对颅面畸形的评估需要稀疏可用的患者数据。统计形状模型提供了现实和合成数据,从而实现了公共数据集上现有方法的比较。我们建立了第一个公开可获得的颅骨肌肤肤化患者的统计3D头号,并将重点关注比1.5年更年轻的婴儿。对于通信建立,我们测试和评估四种模板变形方法。我们进一步提出了一种基于模型的基于模型的基于模型的分类方法,用于摄影测图表面扫描。据我们所知,我们的研究使用最大的Craniosynosisosis患者数据集,以迄今为止的粗糙化和统计形状建模的分类研究。我们展示了我们的形状模型与人头的其他统计形状模型类似。特异性抗皱性病理学在该模型的第一个特征模具中表示。关于Craniosynostis的自动分类,我们的分类方法能够提供97.3%的精度,与使用两种计算机断层扫描扫描和立体测量法进行的其他最先进的方法相当。我们公开的颅骨弯曲特异性统计形状模型能够评估粗糙化和合成数据的颅骨。我们进一步提出了一种基于最先进的形状模型的分类方法,用于无放射诊断性的颅骨。
translated by 谷歌翻译
我们提出了一个框架来学习一个结构化的潜在空间来代表4D人体运动,其中每个潜在向量都编码整个3D人类形状的全部运动。一方面,存在一些数据驱动的骨骼动画模型,提出了时间密集运动信号的运动空间,但基于几何稀疏的运动学表示。另一方面,存在许多方法来构建密集的3D几何形状的形状空间,但对于静态帧。我们将两个概念汇总在一起,提出一个运动空间,该运动空间在时间和几何上都很密集。经过训练后,我们的模型将基于低维潜在空间中的单个点生成多帧序列。该潜在空间是构建为结构化的,因此类似的运动形成簇。它还嵌入了潜在矢量中的持续时间变化,允许语义上的接近序列,这些序列仅因时间展开而不同以共享相似的潜在矢量。我们通过实验证明了潜在空间的结构特性,并表明它可用于在不同动作之间生成合理的插值。我们还将模型应用于4D人类运动的完成,显示其有希望学习人类运动时空特征的能力。
translated by 谷歌翻译
人类将他们的手和身体一起移动,沟通和解决任务。捕获和复制此类协调活动对于虚拟字符至关重要,以实际行为行为。令人惊讶的是,大多数方法分别对待身体和手的3D建模和跟踪。在这里,我们制定了一种手和身体的型号,并将其与全身4D序列合理。当扫描或捕获3D中的全身时,手很小,通常是部分闭塞,使其形状和难以恢复。为了应对低分辨率,闭塞和噪音,我们开发了一种名为Mano(具有铰接和非刚性变形的手模型)的新型号。曼诺从大约1000个高分辨率的3D扫描中学到了31个受试者的手中的大约一定的手。该模型是逼真的,低维,捕获非刚性形状的姿势变化,与标准图形封装兼容,可以适合任何人类的手。 Mano提供从手姿势的紧凑型映射,以构成混合形状校正和姿势协同效应的线性歧管。我们将Mano附加到标准参数化3D体形状模型(SMPL),导致完全铰接的身体和手部模型(SMPL + H)。我们通过用4D扫描仪捕获的综合体,自然,自然,自然的受试者的活动来说明SMPL + H.该配件完全自动,并导致全身型号,自然地移动详细的手动运动和在全身性能捕获之前未见的现实主义。模型和数据在我们的网站上自由用于研究目的(http://mano.is.tue.mpg.de)。
translated by 谷歌翻译
基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围,例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络,该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换:从2D投影图像到位移图,以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗,验证了2D / 3D可变形的登记性能,用于尚未瞄准迄今为止,即肝脏,胃,十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明,考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。
translated by 谷歌翻译
新兴的元应用需要人类手的可靠,准确和逼真的复制品,以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼,肌肉,肌腱和皮肤之间最复杂的协调之一,但最先进的技术一致专注于仅建模手的骨架。在本文中,我们提出了Nimble,这是一种新型的参数手模型,其中包括缺少的密钥组件,将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手(MRI手)数据集上注释肌肉,骨骼和皮肤,然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成,作为三角形网格,7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习,它进一步产生形状的混合形状,姿势混合形状和关节回归器。我们证明将敏捷性应用于建模,渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则,Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观,我们进一步构建了一个光度法,以获取高质量的纹理和正常地图,以模型皱纹和棕榈印刷。最后,敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。
translated by 谷歌翻译
心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术,是一个不当的反问题,通常需要先前对解决方案空间进行假设。与大多数现有的方法相反,它们强加了明确的通用正则化(例如平滑度),在这项工作中,我们提出了一种新的方法,该方法可以隐式地学习了特定于应用程序的生物力学知识,并将其嵌入了神经网络参数化转换模型中。尤其是,提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后,可以通过穿越学习的歧管来搜索最佳转换时,在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证,并具有全面的评估。结果表明,所提出的方法可以胜过其他方法,从而获得更高的运动跟踪精度,并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株,这表明该方法在表征时空特征以理解心血管疾病方面的潜力。
translated by 谷歌翻译
我们向渲染和时间(4D)重建人类的渲染和时间(4D)重建的神经辐射场,通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示,新颖的综合合成和隐式统计几何人称的人类表示相结合,耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型,而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息,并概括超出在训练中观察到的姿势或视图。此外,我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性,其概括能力显着超出了一系列的姿势和视图,以及超出所观察到的形状的统计外推。
translated by 谷歌翻译
and ACCAD [5] datasets. The input is sparse markers and the output is SMPL body models.
translated by 谷歌翻译
我们提出了一种基于体积的基于网格的算法,用于参数化胎盘到扁平模板,以实现局部解剖结构和功能的有效可视化。 MRI显示潜在作为研究工具,因为它提供与胎盘功能直接相关的信号。然而,由于胎盘体内形状的弯曲和高度变化,解释和可视化这些图像是困难的。我们通过绘制胎盘来解决解释挑战,以便它类似于熟悉的离体形状。我们将参数化作为优化问题,用于将体积网格表示的胎盘形状映射到扁平模板。我们采用对称的Dirichlet Energy来控制整个体积的局部变形。在梯度下降优化期间,映射中的局部注射是由约束的线路搜索强制执行的。我们使用从大胆的MRI图像中提取的111个胎盘形状的研究研究验证了我们的方法。我们的映射在匹配模板时实现了子体素准确性,同时保持整个音量的低失真。我们展示了胎盘的扁平化程度如何改善解剖学和功能的可视化。我们的代码在https://github.com/mabulnaga/plentaa-flatteny自由提供。
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译