使用非均匀Rational B样条(NURBS)的边界表示(B-REP)是CAD中使用的事实标准,但它们在基于深度学习的方法中的实用性并未得到很好的研究。我们提出了一个不同的NURBS模块,将CAD模型的NURBS表示与深度学习方法集成。我们在数学上定义NURBS曲线或表面的衍生品相对于输入参数(控制点,权重和结向量)。这些衍生品用于定义用于执行“落后”评估的近似雅比尼亚,以培训深入学习模型。我们使用GPU加速算法实施了我们的NURBS模块,并与Pytorch集成了一个流行的深度学习框架。我们展示了我们的NURBS模块在执行CAD操作中的功效,例如曲线或表面拟合和表面偏移。此外,我们在深度学习中展示了无监督点云重建和强制分析约束的效用。这些例子表明,我们的模块对某些深度学习框架进行了更好的表现,并且可以与任何需要NURBS的任何深度学习框架直接集成。
translated by 谷歌翻译
近年来,由于其表达力和灵活性,神经隐式表示在3D重建中获得了普及。然而,神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中,我们重新审视经典且无处不在的点云表示,并使用泊松表面重建(PSR)的可分辨率配方引入可分化的点对网格层,其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示,从而实现诸如倒角距离的表面重建度量的端到端优化。因此,点和网格之间的这种二元性允许我们以面向点云表示形状,这是显式,轻量级和富有表现力的。与神经内隐式表示相比,我们的形状 - 点(SAP)模型更具可解释,轻量级,并通过一个级别加速推理时间。与其他显式表示相比,如点,补丁和网格,SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。
translated by 谷歌翻译
我们提出了一种新颖的隐式表示 - 神经半空间表示(NH-REP),以将歧管B-REP固体转换为隐式表示。 NH-REP是一棵布尔树木,建立在由神经网络代表的一组隐式函数上,复合布尔函数能够代表实体几何形状,同时保留锐利的特征。我们提出了一种有效的算法,以从歧管B-Rep固体中提取布尔树,并设计一种基于神经网络的优化方法来计算隐式函数。我们证明了我们的转换算法在一千个流形B-REP CAD模型上提供的高质量,这些模型包含包括NURB在内的各种弯曲斑块,以及我们学习方法优于其他代表性的隐性转换算法,在表面重建,尖锐的特征保存,尖锐的特征保存,尖锐的特征,,符号距离场的近似和对各种表面几何形状的鲁棒性以及由NH-REP支持的一组应用。
translated by 谷歌翻译
我们引入了一个神经隐式框架,该框架利用神经网络的可区分特性和点采样表面的离散几何形状,以将它们作为神经隐含函数的级别集近似。为了训练神经隐式函数,我们提出了近似签名距离函数的损失功能,并允许具有高阶导数的术语,例如曲率的主要方向之间的对齐方式,以了解更多几何细节。在训练过程中,我们考虑了基于点采样表面的曲率的不均匀采样策略,以优先考虑点更多的几何细节。与以前的方法相比,这种抽样意味着在保持几何准确性的同时更快地学习。我们还介绍了神经表面(例如正常矢量和曲率)的分析差异几何公式。
translated by 谷歌翻译
综合照片 - 现实图像和视频是计算机图形的核心,并且是几十年的研究焦点。传统上,使用渲染算法(如光栅化或射线跟踪)生成场景的合成图像,其将几何形状和材料属性的表示为输入。统称,这些输入定义了实际场景和呈现的内容,并且被称为场景表示(其中场景由一个或多个对象组成)。示例场景表示是具有附带纹理的三角形网格(例如,由艺术家创建),点云(例如,来自深度传感器),体积网格(例如,来自CT扫描)或隐式曲面函数(例如,截短的符号距离)字段)。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关,并将思想与经典计算机图形和机器学习中的思想相结合,以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来,我们通过数百个出版物显示了这一领域的巨大进展,这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法,通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致,使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外,我们还涵盖了用于建模非刚性变形对象的神经场景表示...
translated by 谷歌翻译
可微分的渲染是现代视觉中的重要操作,允许在现代机器学习框架中使用逆图形方法3D理解。显式形状表示(体素,点云或网格),而相对容易呈现,通常遭受有限的几何保真度或拓扑限制。另一方面,隐式表示(占用,距离或辐射字段)保持更大的保真度,但遭受复杂或低效的渲染过程,限制可扩展性。在这项工作中,我们努力解决具有新颖形状表示的缺点,允许在隐式架构内快速可分辨地渲染。构建隐式距离表示,我们定义了指向距离字段(DDF),将定向点(位置和方向)映射到表面可见性和深度。这种场可以通过网络衍生物能够使差分表面几何提取(例如,表面法线和曲率)能够容易地构成,并且允许提取经典无符号距离场。使用概率DDFS(PDDFS),我们展示了如何模拟底层字段中固有的不连续性。最后,我们将方法应用于拟合单一形状,未配对的3D感知生成图像建模和单像3D重建任务,通过我们表示的多功能性展示具有简单架构组件的强大性能。
translated by 谷歌翻译
我们呈现FURTIT,这是一种简单的3D形状分割网络的高效学习方法。FURTIT基于自我监督的任务,可以将3D形状的表面分解成几何基元。可以很容易地应用于用于3D形状分割的现有网络架构,并提高了几张拍摄设置中的性能,因为我们在广泛使用的ShapEnet和Partnet基准中展示。FISHIT在这种环境中优于现有的现有技术,表明对基元的分解是在学习对语义部分预测的陈述之前的有用。我们提出了许多实验,改变了几何基元和下游任务的选择,以证明该方法的有效性。
translated by 谷歌翻译
在视觉计算中,3D几何形状以许多不同的形式表示,包括网格,点云,体素电网,水平集和深度图像。每个表示都适用于不同的任务,从而使一个表示形式转换为另一个表示(前向地图)是一个重要且常见的问题。我们提出了全向距离字段(ODF),这是一种新的3D形状表示形式,该表示通过将深度从任何观看方向从任何3D位置存储到对象的表面来编码几何形状。由于射线是ODF的基本单元,因此可以轻松地从通用的3D表示和点云等常见的3D表示。与限制代表封闭表面的水平集方法不同,ODF是未签名的,因此可以对开放表面进行建模(例如服装)。我们证明,尽管在遮挡边界处存在固有的不连续性,但可以通过神经网络(Neururodf)有效地学习ODF。我们还引入了有效的前向映射算法,以转换odf to&从常见的3D表示。具体而言,我们引入了一种有效的跳跃立方体算法,用于从ODF生成网格。实验表明,神经模型可以通过过度拟合单个对象学会学会捕获高质量的形状,并学会概括对共同的形状类别。
translated by 谷歌翻译
Neural network-based approaches for solving partial differential equations (PDEs) have recently received special attention. However, the large majority of neural PDE solvers only apply to rectilinear domains, and do not systematically address the imposition of Dirichlet/Neumann boundary conditions over irregular domain boundaries. In this paper, we present a framework to neurally solve partial differential equations over domains with irregularly shaped (non-rectilinear) geometric boundaries. Our network takes in the shape of the domain as an input (represented using an unstructured point cloud, or any other parametric representation such as Non-Uniform Rational B-Splines) and is able to generalize to novel (unseen) irregular domains; the key technical ingredient to realizing this model is a novel approach for identifying the interior and exterior of the computational grid in a differentiable manner. We also perform a careful error analysis which reveals theoretical insights into several sources of error incurred in the model-building process. Finally, we showcase a wide variety of applications, along with favorable comparisons with ground truth solutions.
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
我们提出了一个Point2cyl,一个监督网络将原始3D点云变换到一组挤出缸。从原始几何到CAD模型的逆向工程是能够在形状编辑软件中操纵3D数据的重要任务,从而在许多下游应用中扩展其使用。特别地,具有挤出圆柱序列的CAD模型的形式 - 2D草图加上挤出轴和范围 - 以及它们的布尔组合不仅广泛应用于CAD社区/软件,而且相比具有很大的形状表现性具有有限类型的基元(例如,平面,球形和汽缸)。在这项工作中,我们介绍了一种神经网络,通过首先学习底层几何代理来解决挤出汽缸分解问题的挤出圆柱分解问题。精确地,我们的方法首先预测每点分割,基础/桶标签和法线,然后估计可分离和闭合形式配方中的底层挤出参数。我们的实验表明,我们的方法展示了两个最近CAD数据集,融合画廊和Deepcad上的最佳性能,我们进一步展示了逆向工程和编辑的方法。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.
translated by 谷歌翻译
Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.
translated by 谷歌翻译
我们介绍了Netket的版本3,机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建,并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部,一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性,这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持,对离散对称组的高级支持,块以缩放多程度的自由度,Quantum动态应用程序的驱动程序,以及改进的模块化,允许用户仅使用部分工具箱是他们自己代码的基础。
translated by 谷歌翻译
各系列扩张是几个世纪以来的应用数学和工程的基石。在本文中,我们从现代机器学习角度重新审视了泰勒系列扩张。具体地,我们介绍了快速连续的卷积泰勒变换(FC2T2),这是快速多极法(FMM)的变型,其允许在连续空间中有效地逼近低维卷积操作者。我们建立在FMM上,这是一种近似算法,其降低了从O(nm)到o(n + m)的n身体问题的计算复杂度,并在例如,在例如,在例如,在例如,在ev中找到应用。粒子模拟。作为中间步骤,FMM为网格上的每个单元产生串联扩展,我们引入直接作用于该表示的算法。这些算法分析但大致计算了反向衰减算法的前向和后向通过所需的数量,因此可以在神经网络中用作(隐式)层。具体地,我们引入了一种根隐性层,其输出表面法线和对象距离以及输出给定3D姿势的辐射场的渲染的积分隐式层。在机器学习的背景下,可以理解为N $和M $的$和M $分别被理解为型号参数和模型评估的数量,这对于需要在计算机视觉和图形中普遍存在的重复函数评估的应用程序,与常规神经网络不同网络,该技术以参数优雅地介绍了本文。对于某些应用,这导致拖鞋的200倍减少,与最先进的方法以合理的或不存在的准确性损失相比。
translated by 谷歌翻译
最近的工作建模3D开放表面培训深度神经网络以近似无符号距离字段(UDF)并隐含地代表形状。要将此表示转换为显式网格,它们要么使用计算上昂贵的方法来对表面的致密点云采样啮合,或者通过将其膨胀到符号距离字段(SDF)中来扭曲表面。相比之下,我们建议直接将深度UDFS直接以延伸行进立方体的开放表面,通过本地检测表面交叉。我们的方法是幅度的序列,比啮合致密点云,比膨胀开口表面更准确。此外,我们使我们的表面提取可微分,并显示它可以帮助稀疏监控信号。
translated by 谷歌翻译
机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣,该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用,人体的动画,3D重建和姿势估计。然而,由于在短时间内的快速进展,许多论文存在,但尚未出现全面的审查和制定问题。在本报告中,我们通过提供上下文,数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中,我们通过识别神经字段方法的公共组件,包括不同的表示,架构,前向映射和泛化方法来专注于神经字段的技术。在第二部分中,我们专注于神经领域的应用在视觉计算中的不同问题,超越(例如,机器人,音频)。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度,展示了神经字段方法所带来的提高的质量,灵活性和能力。最后,我们展示了一个伴随着贡献本综述的生活版本,可以由社区不断更新。
translated by 谷歌翻译
本文介绍了学习3D表面类似地图集的表示的新技术,即从2D域到表面的同质形态转换。与先前的工作相比,我们提出了两项​​主要贡献。首先,我们没有通过优化作为高斯人的混合物来了解具有任意拓扑的连续2D域,而不是将固定的2D域(例如一组平方斑)映射到表面上。其次,我们在两个方向上学习一致的映射:图表,从3D表面到2D域,以及参数化,它们的倒数。我们证明,这可以提高学到的表面表示的质量,并在相关形状集合中的一致性。因此,它导致了应用程序的改进,例如对应估计,纹理传输和一致的UV映射。作为额外的技术贡献,我们概述了,尽管合并正常的一致性具有明显的好处,但它会导致优化问题,并且可以使用简单的排斥正则化来缓解这些问题。我们证明我们的贡献比现有基线提供了更好的表面表示。
translated by 谷歌翻译
Representing shapes as level sets of neural networks has been recently proved to be useful for different shape analysis and reconstruction tasks. So far, such representations were computed using either: (i) pre-computed implicit shape representations; or (ii) loss functions explicitly defined over the neural level sets.In this paper we offer a new paradigm for computing high fidelity implicit neural representations directly from raw data (i.e., point clouds, with or without normal information). We observe that a rather simple loss function, encouraging the neural network to vanish on the input point cloud and to have a unit norm gradient, possesses an implicit geometric regularization property that favors smooth and natural zero level set surfaces, avoiding bad zero-loss solutions.We provide a theoretical analysis of this property for the linear case, and show that, in practice, our method leads to state of the art implicit neural representations with higher level-of-details and fidelity compared to previous methods.
translated by 谷歌翻译