对颅面畸形的评估需要稀疏可用的患者数据。统计形状模型提供了现实和合成数据，从而实现了公共数据集上现有方法的比较。我们建立了第一个公开可获得的颅骨肌肤肤化患者的统计3D头号，并将重点关注比1.5年更年轻的婴儿。对于通信建立，我们测试和评估四种模板变形方法。我们进一步提出了一种基于模型的基于模型的基于模型的分类方法，用于摄影测图表面扫描。据我们所知，我们的研究使用最大的Craniosynosisosis患者数据集，以迄今为止的粗糙化和统计形状建模的分类研究。我们展示了我们的形状模型与人头的其他统计形状模型类似。特异性抗皱性病理学在该模型的第一个特征模具中表示。关于Craniosynostis的自动分类，我们的分类方法能够提供97.3％的精度，与使用两种计算机断层扫描扫描和立体测量法进行的其他最先进的方法相当。我们公开的颅骨弯曲特异性统计形状模型能够评估粗糙化和合成数据的颅骨。我们进一步提出了一种基于最先进的形状模型的分类方法，用于无放射诊断性的颅骨。
translated by 谷歌翻译
近年来，由于其在数字人物，角色产生和动画中的广泛应用，人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状，质地和皮肤特性建模，而忽略了内部骨骼结构和外观之间的固有相关性。在本文中，我们使用学习的参数面部发电机提出了雕塑家，具有骨骼一致性的3D面部创作，旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西（Lucy），这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名，其中包含正牙手术前后全人头的高质量计算机断层扫描（CT）扫描，这对于评估手术结果至关重要。露西（Lucy）由144次扫描，分别对72名受试者（31名男性和41名女性）组成，其中每个受试者进行了两次CT扫描，并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集，我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家，它可以创建独特而细微的面部特征，以帮助定义角色，同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状，姿势混合形状和面部表达混合形状，共同在统一数据驱动的框架下共同建模头骨，面部几何形状和面部外观。与现有方法相比，雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后，我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。
translated by 谷歌翻译
在目前的生物和医学研究中，统计形状建模（SSM）提供了解剖/形态学表征的基本框架。这种分析通常通过识别群体样本中发现的相对少量的几何一致性特征来驱动。这些特征随后可以提供有关人口形状变化的信息。密集的对应模型可以提供易于计算，并在后面减小时产生可解释的低维形状描述符。然而，用于获得这种对应关系的自动方法通常需要图像分割，然后是显着的预处理，这在计算和人力资源方面都是征税。在许多情况下，分段和后续处理需要手动指导和解剖学特定域专业知识。本文提出了一种自我监督的深度学习方法，用于发现可以直接用作形状描述符的图像中的地标进行分析。我们使用地标驱动的图像登记作为主要任务，以强制神经网络发现井注册图像的地标。我们还提出了一个正则化术语，允许对神经网络的稳健优化进行稳健优化，并确保地标均匀跨越图像域。所提出的方法避免分割和预处理，并直接使用仅2D或3D图像产生可用的形状描述符。此外，我们还提出了在训练损失函数上提出了两个变体，允许将现有的形状信息集成到模型中。我们在几个2D和3D数据集上应用此框架以获取其形状描述符，并分析其实用程序以获取各种应用程序。
translated by 谷歌翻译
3D面重建结果的评估通常取决于估计的3D模型和地面真相扫描之间的刚性形状比对。我们观察到，将两个形状与不同的参考点进行排列可以在很大程度上影响评估结果。这给精确诊断和改进3D面部重建方法带来了困难。在本文中，我们提出了一种新的评估方法，并采用了新的基准测试，包括100张全球对齐的面部扫描，具有准确的面部关键点，高质量的区域口罩和拓扑符合的网格。我们的方法执行区域形状比对，并导致计算形状误差期间更准确，双向对应关系。细粒度，区域评估结果为我们提供了有关最先进的3D面部重建方法表现的详细理解。例如，我们对基于单图像的重建方法的实验表明，DECA在鼻子区域表现最好，而Ganfit在脸颊区域的表现更好。此外，使用与我们构造的相同过程以对齐和重新构造几个3D面部数据集的新型和高质量的3DMM基础HIFI3D ++。我们将在https://realy3dface.com上发布真正的HIFI3D ++以及我们的新评估管道。
translated by 谷歌翻译
培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。
translated by 谷歌翻译
计算流体动力学（CFD）可用于模拟血管血流动力学并分析潜在的治疗方案。 CFD已显示对改善患者预后有益。但是，尚未实现CFD的实施CFD。 CFD的障碍包括高计算资源，设计模拟设置所需的专业经验以及较长的处理时间。这项研究的目的是探索使用机器学习（ML）以自动和快速回归模型复制常规主动脉CFD。用于训练/测试的数据该模型由在合成生成的3D主动脉形状上执行的3,000个CFD模拟组成。这些受试者是由基于实际患者特异性主动脉（n = 67）的统计形状模型（SSM）生成的。对200个测试形状进行的推理导致压力和速度的平均误差分别为6.01％+/- 3.12 SD和3.99％+/- 0.93 SD。我们的基于ML的模型在〜0.075秒内执行CFD（比求解器快4,000倍）。这项研究表明，可以使用ML以更快的速度，自动过程和高精度来复制常规血管CFD的结果。
translated by 谷歌翻译
基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。
translated by 谷歌翻译
动态MRI可以捕获具有高对比度的软组织器官中的时间解剖变化，但是获得的序列通常遭受有限的体积覆盖，这使得器官形状轨迹的高分辨率重建在时间研究中的主要挑战。由于腹部器官形状的变异性跨越时间和受试者，本研究的目的是朝向3D致密速度测量来完全覆盖整个表面并提取有意义的特征，其特征在于观察到的器官变形并实现临床作用或决定。我们在深呼吸运动期间提出了一种用于表征膀胱表面动力学的管道。对于紧凑的形状表示，首先使用重建的时间体积来使用LDDMM框架建立专用的动态4D网状序列。然后，我们从诸如网格伸长和失真的机械参数执行器官动力学的统计表征。由于我们将器官引用作为非平面，因此我们还使用平均曲率变化为度量来量化表面演变。然而，曲率的数值计算强烈地取决于表面参数化。为了应对这一依赖性，我们采用了一种用于表面变形分析的新方法。独立于参数化并最小化测地曲线的长度，通过最小化Dirichlet能量，它使表面曲线平滑地朝向球体。 eulerian PDE方法用于从曲线缩短流中导出形状描述符。使用Laplace Beltrami操作员特征函数来计算各个运动模式之间的接口，用于球形映射。用于提取用于局部控制的模拟形状轨迹的表征相关曲线的应用演示了所提出的形状描述符的稳定性。
translated by 谷歌翻译
这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。
translated by 谷歌翻译
人类将他们的手和身体一起移动，沟通和解决任务。捕获和复制此类协调活动对于虚拟字符至关重要，以实际行为行为。令人惊讶的是，大多数方法分别对待身体和手的3D建模和跟踪。在这里，我们制定了一种手和身体的型号，并将其与全身4D序列合理。当扫描或捕获3D中的全身时，手很小，通常是部分闭塞，使其形状和难以恢复。为了应对低分辨率，闭塞和噪音，我们开发了一种名为Mano（具有铰接和非刚性变形的手模型）的新型号。曼诺从大约1000个高分辨率的3D扫描中学到了31个受试者的手中的大约一定的手。该模型是逼真的，低维，捕获非刚性形状的姿势变化，与标准图形封装兼容，可以适合任何人类的手。 Mano提供从手姿势的紧凑型映射，以构成混合形状校正和姿势协同效应的线性歧管。我们将Mano附加到标准参数化3D体形状模型（SMPL），导致完全铰接的身体和手部模型（SMPL + H）。我们通过用4D扫描仪捕获的综合体，自然，自然，自然的受试者的活动来说明SMPL + H.该配件完全自动，并导致全身型号，自然地移动详细的手动运动和在全身性能捕获之前未见的现实主义。模型和数据在我们的网站上自由用于研究目的（http://mano.is.tue.mpg.de）。
translated by 谷歌翻译
统计形状建模是解剖学群体定量分析的重要工具。点分布模型（PDMS）通过密集的相应关系，直观且易于使用的形状表示来表示解剖表面，用于后续应用。这些对应关系在两个坐标空间中展出：局部坐标，其描述每个单独解剖表面的几何特征和代表在给定队列中的样本的全局对准差异之后表示人口级统计形状信息的世界坐标。我们提出了一种基于深度学习的框架，它同时从容积图像中直接学习这两个坐标空间。建议的联合模型用于双重目的;世界界据可以直接用于形状分析应用，避免了传统PDM模型中涉及的重预处理和分段。另外，本地对应关系可用于解剖分段。我们展示了这种联合模型在推断解剖表面时形成了两个数据集的形状建模应用的效果。
translated by 谷歌翻译
在基于模型的医学图像分析中，感兴趣的三个特征是感兴趣的结构，其相对姿势和代表一些物理性质的图像强度谱的形状。通常，这些通过统计模型分别通过统计模型来通过主要测地分析或主成分分析将对象的特征分解成一组基函数。本研究提出了一种统计建模方法，用于在医学图像中自动学习形状，姿势和强度特征，我们称之为动态多特征类高斯过程模型（DMFC-GPM）。 DMFC-GPM是基于高斯过程（GP）的模型，具有编码线性和非线性变化的共享潜在空间。我们的方法在连续域中定义，其具有基于变形字段的线性空间中的形状，姿势和强度特征类。在用于建模形状和强度特征变化的方法以及比较刚性变换（姿势）的方法中，适于变形现场度量。此外，DMFC-GPMS继承了GPS内在的属性，包括边缘化和回归。此外，它们允许在从图像采集过程获得的那些之上增加额外的姿势特征可变性;我们是什么术语作为排列建模。对于使用DMFC-GPMS的图像分析任务，我们适应了Metropolis-Hastings算法，使得具有完全概率的特征预测。我们验证了使用受控合成数据的方法，并且我们在肩部的CT图像上对骨结构进行实验，以说明模型姿势和形状特征预测的功效。模型性能结果表明，这种新的造型范例是强大，准确，可访问的，并且具有潜在的应用，包括肌肉骨骼障碍和临床决策
translated by 谷歌翻译
We present PhoMoH, a neural network methodology to construct generative models of photorealistic 3D geometry and appearance of human heads including hair, beards, clothing and accessories. In contrast to prior work, PhoMoH models the human head using neural fields, thus supporting complex topology. Instead of learning a head model from scratch, we propose to augment an existing expressive head model with new features. Concretely, we learn a highly detailed geometry network layered on top of a mid-resolution head model together with a detailed, local geometry-aware, and disentangled color field. Our proposed architecture allows us to learn photorealistic human head models from relatively little data. The learned generative geometry and appearance networks can be sampled individually and allow the creation of diverse and realistic human heads. Extensive experiments validate our method qualitatively and across different metrics.
translated by 谷歌翻译
We propose a novel 3D morphable model for complete human heads based on hybrid neural fields. At the core of our model lies a neural parametric representation which disentangles identity and expressions in disjoint latent spaces. To this end, we capture a person's identity in a canonical space as a signed distance field (SDF), and model facial expressions with a neural deformation field. In addition, our representation achieves high-fidelity local detail by introducing an ensemble of local fields centered around facial anchor points. To facilitate generalization, we train our model on a newly-captured dataset of over 2200 head scans from 124 different identities using a custom high-end 3D scanning setup. Our dataset significantly exceeds comparable existing datasets, both with respect to quality and completeness of geometry, averaging around 3.5M mesh faces per scan. Finally, we demonstrate that our approach outperforms state-of-the-art methods by a significant margin in terms of fitting error and reconstruction quality.
translated by 谷歌翻译
3D漫画是对人脸的夸张的3D描述。本文的目的是对紧凑的参数空间中的3D漫画的变化进行建模，以便我们可以为处理3D漫画变形提供有用的数据驱动工具包。为了实现目标，我们提出了一个基于MLP的框架，用于构建可变形的表面模型，该模型采用潜在代码并产生3D表面。在框架中，警笛MLP模拟了在固定模板表面上采用3D位置并返回输入位置的3D位移向量的函数。我们通过学习采用潜在代码并产生MLP参数的超网络来创建3D表面的变化。一旦了解到，我们的可变形模型为3D漫画提供了一个不错的编辑空间，支持基于标签的语义编辑和基于尖的基于尖的变形，这两者都产生了高度夸张和自然的3D讽刺形状。我们还展示了可变形模型的其他应用，例如自动3D漫画创建。
translated by 谷歌翻译
面部特征跟踪是成像跳芭式（BCG）的关键组成部分，其中需要精确定量面部关键点的位移，以获得良好的心率估计。皮肤特征跟踪能够在帕金森病中基于视频的电机降解量化。传统的计算机视觉算法包括刻度不变特征变换（SIFT），加速强大的功能（冲浪）和LUCAS-KANADE方法（LK）。这些长期代表了最先进的效率和准确性，但是当存在常见的变形时，如图所示，如图所示，如此。在过去的五年中，深度卷积神经网络对大多数计算机视觉任务的传统方法表现优于传统的传统方法。我们提出了一种用于特征跟踪的管道，其应用卷积堆积的AutoEncoder，以将图像中最相似的裁剪标识到包含感兴趣的特征的参考裁剪。 AutoEncoder学会将图像作物代表到特定于对象类别的深度特征编码。我们在面部图像上培训AutoEncoder，并验证其在手动标记的脸部和手视频中通常验证其跟踪皮肤功能的能力。独特的皮肤特征（痣）的跟踪误差是如此之小，因为我们不能排除他们基于$ \ chi ^ 2 $ -test的手动标签。对于0.6-4.2像素的平均误差，我们的方法在所有情况下都表现出了其他方法。更重要的是，我们的方法是唯一一个不分歧的方法。我们得出的结论是，我们的方法为特征跟踪，特征匹配和图像配准比传统算法创建更好的特征描述符。
translated by 谷歌翻译
新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。
translated by 谷歌翻译
通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。
translated by 谷歌翻译
晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。
translated by 谷歌翻译
植物是动态生物。对于野外所有机器人来说，了解植被的时间变化是一个必不可少的问题。但是，在时间上关联重复的3D植物扫描是具有挑战性的。此过程中的关键步骤是随着时间的推移重新识别和跟踪相同的单个植物组件。以前，这是通过比较其全球空间或拓扑位置来实现的。在这项工作中，我们演示了使用形状功能如何改善颞器官匹配。我们提出了一种无里程碑的形状压缩算法，该算法允许提取叶子的3D形状特征，在少数参数中有效地表征叶片形状和曲率，并使特征空间中各个叶子的关联成为可能。该方法使用主成分分析（PCA）结合了3D轮廓提取和进一步的压缩，以产生形状空间编码，这完全是从数据中学到的，并保留有关边缘轮廓和3D曲率的信息。我们对番茄植物的时间扫描序列的评估表明，结合形状特征可改善颞叶匹配。形状，位置和旋转信息的结合证明了最有用的信息，可以随着时间的推移识别叶子，并产生75％的真正正率，对固定方法提高了15％。这对于机器人作物监测至关重要，这可以实现全面的表型。
translated by 谷歌翻译