个性化的3D血管模型对于心血管疾病患者的诊断,预后和治疗计划很有价值。传统上,这样的模型是用明确表示(例如网格和体素掩码)构建的,或隐式表示,例如径向基函数或原子(管状)形状。在这里,我们建议在可区分的隐式神经表示(INR)中以其签名距离函数(SDF)的零级集表示表面。这使我们能够用隐性,连续,轻巧且易于与深度学习算法集成的表示复杂的血管结构对复杂的血管结构进行建模。我们在这里通过三个实际示例证明了这种方法的潜力。首先,我们从CT图像中获得了腹主动脉瘤(AAA)的精确和水密表面,并显示出从表面上的200点出现的可靠拟合。其次,我们同时将嵌套的容器壁贴在一个没有交叉点的单个INR中。第三,我们展示了如何将3D模型的单个动脉模型平滑地混合到单个水密表面。我们的结果表明,INR是一种灵活的表示,具有微小互动注释和操纵复杂血管结构的潜力。
translated by 谷歌翻译
长期以来,众所周知,在从嘈杂或不完整数据中重建3D形状时,形状先验是有效的。当使用基于深度学习的形状表示时,这通常涉及学习潜在表示,可以以单个全局向量的形式或多个局部媒介。后者可以更灵活,但容易过度拟合。在本文中,我们主张一种与三个网眼相结合的混合方法,该方法在每个顶点处与单独的潜在向量。在训练过程中,潜在向量被限制为具有相同的值,从而避免过度拟合。为了推断,潜在向量是独立更新的,同时施加空间正规化约束。我们表明,这赋予了我们灵活性和概括功能,我们在几个医学图像处理任务上证明了这一点。
translated by 谷歌翻译
现有的数据驱动方法用于披上姿势的人体,尽管有效,但无法处理任意拓扑的服装,并且通常不是端到端的。为了解决这些局限性,我们提出了一条端到端可区分管道,该管道用隐式表面表示服装,并学习以铰接式身体模型的形状和姿势参数为条件的皮肤场。为了限制身体的插入和人工制品,我们提出了一种解释意识的训练数据的预处理策略和新颖的训练损失,在覆盖服装的同时惩罚了自身交流。我们证明,我们的方法可以针对最新方法产生更准确的结果和变形。此外,我们表明我们的方法凭借其端到端的可不同性,可以从图像观察中共同恢复身体和服装参数,这是以前的工作无法做到的。
translated by 谷歌翻译
Implicit shape representations, such as Level Sets, provide a very elegant formulation for performing computations involving curves and surfaces. However, including implicit representations into canonical Neural Network formulations is far from straightforward. This has consequently restricted existing approaches to shape inference, to significantly less effective representations, perhaps most commonly voxels occupancy maps or sparse point clouds.To overcome this limitation we propose a novel formulation that permits the use of implicit representations of curves and surfaces, of arbitrary topology, as individual layers in Neural Network architectures with end-to-end trainability. Specifically, we propose to represent the output as an oriented level set of a continuous and discretised embedding function. We investigate the benefits of our approach on the task of 3D shape prediction from a single image and demonstrate its ability to produce a more accurate reconstruction compared to voxel-based representations. We further show that our model is flexible and can be applied to a variety of shape inference problems.
translated by 谷歌翻译
在视觉计算中,3D几何形状以许多不同的形式表示,包括网格,点云,体素电网,水平集和深度图像。每个表示都适用于不同的任务,从而使一个表示形式转换为另一个表示(前向地图)是一个重要且常见的问题。我们提出了全向距离字段(ODF),这是一种新的3D形状表示形式,该表示通过将深度从任何观看方向从任何3D位置存储到对象的表面来编码几何形状。由于射线是ODF的基本单元,因此可以轻松地从通用的3D表示和点云等常见的3D表示。与限制代表封闭表面的水平集方法不同,ODF是未签名的,因此可以对开放表面进行建模(例如服装)。我们证明,尽管在遮挡边界处存在固有的不连续性,但可以通过神经网络(Neururodf)有效地学习ODF。我们还引入了有效的前向映射算法,以转换odf to&从常见的3D表示。具体而言,我们引入了一种有效的跳跃立方体算法,用于从ODF生成网格。实验表明,神经模型可以通过过度拟合单个对象学会学会捕获高质量的形状,并学会概括对共同的形状类别。
translated by 谷歌翻译
允许合成现实细胞形状的方法可以帮助生成训练数据集,以改善生物医学图像中的细胞跟踪和分割。细胞形状合成的深层生成模型需要对细胞形状进行轻巧和柔性表示。但是,通常使用体素的表示不适合高分辨率形状合成,而多边形网格在建模拓扑变化(例如细胞生长或有丝分裂)时具有局限性。在这项工作中,我们建议使用符号距离功能(SDF)的级别集来表示细胞形状。我们将神经网络优化为3D+时域中任何点的SDF值的隐式神经表示。该模型以潜在代码为条件,从而允许合成新的和看不见的形状序列。我们在生长和分裂的秀丽隐杆线虫细胞上进行定量和质量验证方法,并具有生长的复杂丝虫突起的肺癌细胞。我们的结果表明,合成细胞的形状描述符类似于真实细胞的形状,并且我们的模型能够在3D+时间内生成复杂细胞形状的拓扑合理序列。
translated by 谷歌翻译
从单视图重建3D形状是一个长期的研究问题。在本文中,我们展示了深度隐式地面网络,其可以通过预测底层符号距离场来从2D图像产生高质量的细节的3D网格。除了利用全局图像特征之外,禁止2D图像上的每个3D点的投影位置,并从图像特征映射中提取本地特征。结合全球和局部特征显着提高了符合距离场预测的准确性,特别是对于富含细节的区域。据我们所知,伪装是一种不断捕获从单视图图像中存在于3D形状中存在的孔和薄结构等细节的方法。 Disn在从合成和真实图像重建的各种形状类别上实现最先进的单视性重建性能。代码可在https://github.com/xharlie/disn提供补充可以在https://xharlie.github.io/images/neUrips_2019_Supp.pdf中找到补充
translated by 谷歌翻译
Figure 1: DeepSDF represents signed distance functions (SDFs) of shapes via latent code-conditioned feed-forward decoder networks. Above images are raycast renderings of DeepSDF interpolating between two shapes in the learned shape latent space. Best viewed digitally.
translated by 谷歌翻译
Implicit fields have been very effective to represent and learn 3D shapes accurately. Signed distance fields and occupancy fields are the preferred representations, both with well-studied properties, despite their restriction to closed surfaces. Several other variations and training principles have been proposed with the goal to represent all classes of shapes. In this paper, we develop a novel and yet fundamental representation by considering the unit vector field defined on 3D space: at each point in $\mathbb{R}^3$ the vector points to the closest point on the surface. We theoretically demonstrate that this vector field can be easily transformed to surface density by applying the vector field divergence. Unlike other standard representations, it directly encodes an important physical property of the surface, which is the surface normal. We further show the advantages of our vector field representation, specifically in learning general (open, closed, or multi-layered) surfaces as well as piecewise planar surfaces. We compare our method on several datasets including ShapeNet where the proposed new neural implicit field shows superior accuracy in representing any type of shape, outperforming other standard methods. The code will be released at https://github.com/edomel/ImplicitVF
translated by 谷歌翻译
近年来,通过编码签名距离的神经网络的隐式表面表示已获得流行,并获得了最先进的结果。但是,与传统的形状表示(例如多边形网格)相反,隐式表示不容易编辑,并且试图解决此问题的现有作品非常有限。在这项工作中,我们提出了第一种通过神经网络表达的签名距离函数有效互动编辑的方法,从而可以自由编辑。受到网格雕刻软件的启发,我们使用了一个基于刷子的框架,该框架是直观的,将来可以由雕塑家和数字艺术家使用。为了定位所需的表面变形,我们通过使用其副本来调节网络来采样先前表达的表面。我们引入了一个新型框架,用于模拟雕刻风格的表面编辑,并结合交互式表面采样和网络重量的有效适应。我们在各种不同的3D对象和许多不同的编辑下进行定性和定量评估我们的方法。报告的结果清楚地表明,我们的方法在实现所需的编辑方面产生了很高的精度,同时保留了交互区域之外的几何形状。
translated by 谷歌翻译
我们引入了一个神经隐式框架,该框架利用神经网络的可区分特性和点采样表面的离散几何形状,以将它们作为神经隐含函数的级别集近似。为了训练神经隐式函数,我们提出了近似签名距离函数的损失功能,并允许具有高阶导数的术语,例如曲率的主要方向之间的对齐方式,以了解更多几何细节。在训练过程中,我们考虑了基于点采样表面的曲率的不均匀采样策略,以优先考虑点更多的几何细节。与以前的方法相比,这种抽样意味着在保持几何准确性的同时更快地学习。我们还介绍了神经表面(例如正常矢量和曲率)的分析差异几何公式。
translated by 谷歌翻译
最近的工作建模3D开放表面培训深度神经网络以近似无符号距离字段(UDF)并隐含地代表形状。要将此表示转换为显式网格,它们要么使用计算上昂贵的方法来对表面的致密点云采样啮合,或者通过将其膨胀到符号距离字段(SDF)中来扭曲表面。相比之下,我们建议直接将深度UDFS直接以延伸行进立方体的开放表面,通过本地检测表面交叉。我们的方法是幅度的序列,比啮合致密点云,比膨胀开口表面更准确。此外,我们使我们的表面提取可微分,并显示它可以帮助稀疏监控信号。
translated by 谷歌翻译
我们介绍DMTET,深度3D条件生成模型,可以使用诸如粗体素的简单用户指南来合成高分辨率3D形状。它通过利用新型混合3D表示来结婚隐式和显式3D表示的优点。与当前隐含的方法相比,培训涉及符号距离值,DMTET直接针对重建的表面进行了优化,这使我们能够用更少的伪像来合成更精细的几何细节。与直接生成诸如网格之类的显式表示的深度3D生成模型不同,我们的模型可以合成具有任意拓扑的形状。 DMTET的核心包括可变形的四面体网格,其编码离散的符号距离函数和可分行的行进Tetrahedra层,其将隐式符号距离表示转换为显式谱图表示。这种组合允许使用在表面网格上明确定义的重建和对抗性损耗来联合优化表面几何形状和拓扑以及生成细分层次结构。我们的方法显着优于来自粗体素输入的条件形状合成的现有工作,培训在复杂的3D动物形状的数据集上。项目页面:https://nv-tlabs.github.io/dmtet/
translated by 谷歌翻译
深度生成模型的最新进展导致了3D形状合成的巨大进展。虽然现有模型能够合成表示为体素,点云或隐式功能的形状,但这些方法仅间接强制执行最终3D形状表面的合理性。在这里,我们提出了一种直接将对抗训练施加到物体表面的3D形状合成框架(Surfgen)。我们的方法使用可分解的球面投影层来捕获并表示隐式3D发生器的显式零IsoSurface作为在单元球上定义的功能。通过在对手设置中用球形CNN处理3D对象表面的球形表示,我们的发电机可以更好地学习自然形状表面的统计数据。我们在大规模形状数据集中评估我们的模型,并证明了端到端训练的模型能够产生具有不同拓扑的高保真3D形状。
translated by 谷歌翻译
我们基于最近普及的隐式神经形状表示,探索了从点云进行基于学习形状重建的新想法。我们将这个问题作为对特征空间中隐式神经签名距离函数的几次学习,我们使用基于梯度的元学习来处理。我们使用卷积编码器在给定输入点云的情况下构建特征空间。隐式解码器学会了预测此特征空间中表示的签名距离值。设置输入点云,即从目标形状函数的零级别设置中的样本,作为支持(即上下文)的少数学习术语的支持(即上下文),我们训练解码器,以便它可以通过使用该上下文的基础形状使其重新调整。几(5)个调整步骤。因此,我们首次同时结合了两种类型的隐式神经网络调节机制,即具有编码和元学习。我们的数值和定性评估表明,在稀疏点云中隐性重建的背景下,我们提出的策略,即在特征空间中的元学习,优于现有的替代方案,即特征空间中的标准监督学习,以及在欧几里得空间中的元学习。 ,同时仍提供快速推理。
translated by 谷歌翻译
Training parts from ShapeNet. (b) t-SNE plot of part embeddings. (c) Reconstructing entire scenes with Local Implicit Grids Figure 1:We learn an embedding of parts from objects in ShapeNet [3] using a part autoencoder with an implicit decoder. We show that this representation of parts is generalizable across object categories, and easily scalable to large scenes. By localizing implicit functions in a grid, we are able to reconstruct entire scenes from points via optimization of the latent grid.
translated by 谷歌翻译
The recent neural implicit representation-based methods have greatly advanced the state of the art for solving the long-standing and challenging problem of reconstructing a discrete surface from a sparse point cloud. These methods generally learn either a binary occupancy or signed/unsigned distance field (SDF/UDF) as surface representation. However, all the existing SDF/UDF-based methods use neural networks to implicitly regress the distance in a purely data-driven manner, thus limiting the accuracy and generalizability to some extent. In contrast, we propose the first geometry-guided method for UDF and its gradient estimation that explicitly formulates the unsigned distance of a query point as the learnable affine averaging of its distances to the tangent planes of neighbouring points. Besides, we model the local geometric structure of the input point clouds by explicitly learning a quadratic polynomial for each point. This not only facilitates upsampling the input sparse point cloud but also naturally induces unoriented normal, which further augments UDF estimation. Finally, to extract triangle meshes from the predicted UDF we propose a customized edge-based marching cube module. We conduct extensive experiments and ablation studies to demonstrate the significant advantages of our method over state-of-the-art methods in terms of reconstruction accuracy, efficiency, and generalizability. The source code is publicly available at https://github.com/rsy6318/GeoUDF.
translated by 谷歌翻译
深层隐式表面在建模通用形状方面表现出色,但并不总是捕获制造物体中存在的规律性,这是简单的几何原始词特别擅长。在本文中,我们提出了一个结合潜在和显式参数的表示,可以将其解码为一组彼此一致的深层隐式和几何形状。结果,我们可以有效地对制成物体共存的复杂形状和高度规则形状进行建模。这使我们能够以有效而精确的方式操纵3D形状的方法。
translated by 谷歌翻译
Figure 1. Given input as either a 2D image or a 3D point cloud (a), we automatically generate a corresponding 3D mesh (b) and its atlas parameterization (c). We can use the recovered mesh and atlas to apply texture to the output shape (d) as well as 3D print the results (e).
translated by 谷歌翻译