在医学图像分析中,皮质区域的自动分割一直是长期以来的挑战。皮质的复杂几何形状通常表示为多边形网格,其分割可以通过基于图的学​​习方法来解决。当对受试者之间的皮质网格对齐时,当前方法会产生明显较差的分割结果,从而限制了它们处理多域数据的能力。在本文中,我们研究了E(n) - 等级图神经网络(EGNN)的实用性,将其性能与普通图神经网络(GNNS)进行了比较。我们的评估表明,由于GNN的能力利用全球坐标系的存在,GNNS在对齐网格上的表现要优于对齐网格。在未对准的网格上,普通GNN的性能大大下降,而e(n) - 等级消息传递通过相同的分割结果。也可以通过在重新调整数据(全球坐标系中的共注册网格)上使用普通GNN来获得最佳结果。
translated by 谷歌翻译
事实证明,与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上,包括翻译,旋转,缩放,节点排列和仪表变换。迄今为止,没有现有的体系结构与所有这些转换都不相同。在本文中,我们提出了一个基于注意力的网格数据的架构,该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用:一种简单,有效,等效性的替代品,可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实,我们提出的架构在这些基准测试中的性能提高了,并且确实是对各种本地/全球转换的均等,因此具有强大的功能。
translated by 谷歌翻译
Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.
translated by 谷歌翻译
我们开发了一种从2D RGB图像生成3D手网格的旋转等级模型。这保证了当手的输入图像旋转时,所生成的网格经历相应的旋转。此外,这消除了经常通过无旋转标准天例的方法产生的网格中的不希望的变形。通过构建旋转等级模型,通过考虑问题的对称性,我们减少了对非常大的数据集训练的需求,以实现良好的网格重建。编码器在$ \ mathbb {z} ^ {2} $上定义的图像,并将这些映射到组$ c_ {8} $上定义的潜在函数。我们介绍了一种新颖的向量映射函数来将以$ c_ {8} $定义的函数映射到组$ \ mathrm {so}(2)$上定义的潜在点云空间。此外,我们介绍了一种3D投影函数,它从$ \ mathrm {so}(2)$潜空间中学习3D功能。最后,我们使用$ \ mathrm {so}(3)$ arifariant解码器,以确保旋转标准。我们的旋转设备模型优于现实世界数据集的最先进方法,我们证明它可以准确地捕获在输入手的旋转下产生的网格中的形状和姿势。
translated by 谷歌翻译
基于合并和处理对称信息的神经网络架构的几何深度学习(GDL)已经成为人工智能最近的范式。GDL在分子建模应用中具有特定的承诺,其中存在具有不同对称性和抽象水平的各种分子表示。本综述提供了分子GDL的结构化和协调概述,突出了其在药物发现,化学合成预测和量子化学中的应用。重点是学习的分子特征的相关性及其对成熟的分子描述符的互补性。本综述概述了当前的挑战和机会,并提出了用于分子科学GDL的未来的预测。
translated by 谷歌翻译
几何深度学习,即设计神经网络以处理诸如点云和图形的无处不在的几何数据,在过去十年中取得了巨大的成功。一个关键的归纳偏差是该模型可以维持朝向各种变换的不变性,例如翻译,旋转和缩放。现有的图形神经网络(GNN)方法只能维持置换不变性,不能保证与其他转换的不变性。除了GNN,其他作品设计复杂的变换不变层,这些层是计算昂贵且难以扩展的。为了解决这个问题,我们重新审视为什么在处理几何数据时,现有的神经网络无法维持转换不变性。我们的研究结果表明,变换不变和距离保持距离初始表示足以实现变换不变性,而不是需要复杂的神经层设计。通过这些发现,我们提出了转型不变神经网络(TINVNN),是几何数据的直接和一般框架。具体地,我们通过在将表示形式馈送到神经网络之前来实现通过修改多维缩放来实现转换不变和距离保留初始点表示。我们证明Tinvnn可以严格保证转型不变性,一般而灵活,足以与现有的神经网络相结合。广泛的实验结果对点云分析和组合优化展示了我们提出的方法的有效性和一般适用性。基于实验结果,我们倡导Tinvnn应该被视为新的起点和基本基准,以进一步研究转型不变几何深度学习。
translated by 谷歌翻译
形状空间学习的任务涉及使用良好的概括性属性映射到从潜在表示空间的列车组。通常,真实世界的形状系列具有对称性,可以定义为不改变形状本质的转换。在形状空间学习中纳入对称性的自然方式是要求将其映射到形状空间(编码器)和从形状空间(解码器)映射到相关的对称。在本文中,我们通过引入两个贡献,提出了一种在编码器和解码器中融入设备和解码器的框架:(i)适应建设通用,高效和最大富有表现力的Autorencoders的最近帧平均(FA)框架; (ii)构建自动化器等于分段欧几里德运动的分段应用于形状的不同部分。据我们所知,这是第一个完全分段的欧几里德的欧洲等自动化器建设。培训我们的框架很简单:它使用标准的重建损失,不需要引入新的损失。我们的体系结构由标准(骨干网)架构构成,具有适当的帧平均,使其成为等效。使用隐式的神经表示,在两个刚性形状数据集上测试我们的框架,并使用基于网格的神经网络的铰接形状数据集显示出技术的概括,以通过大边缘改善相关基线。特别地,我们的方法表明了概括铰接姿势的概括性的显着改善。
translated by 谷歌翻译
定义网格上卷积的常用方法是将它们作为图形解释并应用图形卷积网络(GCN)。这种GCNS利用各向同性核,因此对顶点的相对取向不敏感,从而对整个网格的几何形状。我们提出了规范的等分性网状CNN,它概括了GCNS施加各向异性仪表等级核。由于产生的特征携带方向信息,我们引入了通过网格边缘并行传输特征来定义的几何消息传递方案。我们的实验验证了常规GCN和其他方法的提出模型的显着提高的表达性。
translated by 谷歌翻译
流体(VOF)方法的体积被广泛用于多相流仿真中,以跟踪和定位两个不混溶的流体之间的界面。VOF方法的主要瓶颈是界面重建步骤,由于其高计算成本和非结构化网格的精度较低。我们建议基于图神经网络(GNN)的机器学习增强的VOF方法,以加速通用非结构化网格上的接口重建。我们首先开发一种方法来基于在非结构化网格上离散的抛物面表面生成合成数据集。然后,我们训练基于GNN的模型并执行概括测试。我们的结果表明,在工业背景下,基于GNN的界面重建方法的效率。
translated by 谷歌翻译
模棱两可的神经网络,其隐藏的特征根据G组作用于数据的表示,表现出训练效率和提高的概括性能。在这项工作中,我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略,其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是,网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件,并提出了对任何G(离散且连续的)有效的构造。我们明确描述了我们的旋转,翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。
translated by 谷歌翻译
包括协调性信息,例如位置,力,速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e(3)的等值图形神经网络(Segnns),使得节点和边缘属性不限于不变的标量,而是可以包含相协同信息,例如矢量或张量。该模型由可操纵的MLP组成,能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义,MLP提供了一种新的Activation函数,以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作,进一步允许我们引脚点点的成功组件:非线性消息聚集在经典线性(可操纵)点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性,并提供了广泛的消融研究。
translated by 谷歌翻译
Computational fluid dynamics (CFD) is a valuable asset for patient-specific cardiovascular-disease diagnosis and prognosis, but its high computational demands hamper its adoption in practice. Machine-learning methods that estimate blood flow in individual patients could accelerate or replace CFD simulation to overcome these limitations. In this work, we consider the estimation of vector-valued quantities on the wall of three-dimensional geometric artery models. We employ group-equivariant graph convolution in an end-to-end SE(3)-equivariant neural network that operates directly on triangular surface meshes and makes efficient use of training data. We run experiments on a large dataset of synthetic coronary arteries and find that our method estimates directional wall shear stress (WSS) with an approximation error of 7.6% and normalised mean absolute error (NMAE) of 0.4% while up to two orders of magnitude faster than CFD. Furthermore, we show that our method is powerful enough to accurately predict transient, vector-valued WSS over the cardiac cycle while conditioned on a range of different inflow boundary conditions. These results demonstrate the potential of our proposed method as a plugin replacement for CFD in the personalised prediction of hemodynamic vector and scalar fields.
translated by 谷歌翻译
无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态,结构和功能性脑连接性,以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型,图形神经网络(GNN)提供了一种学习深图结构的巧妙方法,并且它正在迅速成为最先进的方法,从而导致各种网络神经科学任务的性能增强。在这里,我们回顾了当前基于GNN的方法,突出了它们在与脑图有关的几种应用中使用的方式,例如缺失的脑图合成和疾病分类。最后,我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。
translated by 谷歌翻译
Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
Within the glassy liquids community, the use of Machine Learning (ML) to model particles' static structure in order to predict their future dynamics is currently a hot topic. The actual state of the art consists in Graph Neural Networks (GNNs) (Bapst 2020) which, beside having a great expressive power, are heavy models with numerous parameters and lack interpretability. Inspired by recent advances (Thomas 2018), we build a GNN that learns a robust representation of the glass' static structure by constraining it to preserve the roto-translation (SE(3)) equivariance. We show that this constraint not only significantly improves the predictive power but also allows to reduce the number of parameters while improving the interpretability. Furthermore, we relate our learned equivariant features to well-known invariant expert features, which are easily expressible with a single layer of our network.
translated by 谷歌翻译
正确捕获图像引导的神经外科手术中的术中大脑转移是将术前数据与术中几何形状对齐的关键任务,以确保准确的手术导航。虽然有限元方法(FEM)是一种经过验证的技术,可以通过生物力学制剂有效地近似软组织变形,但其成功程度归结为准确性和速度之间的权衡。为了解决这个问题,该领域的最新作品提出了通过训练各种机器学习算法获得的数据驱动模型,例如随机森林,人工神经网络(ANN),以及有限元分析(FEA)的结果,以通过预测加快组织变形近似。但是,这些方法在训练过程中不考虑有限元(Fe)网格的结构,该培训提供了有关节点连接性以及它们之间的距离的信息,这可以帮助基于力量负载点的近距离组织近似组织变形带有其余的网状节点。因此,这项工作提出了一个新颖的框架Physgnn,一种数据驱动的模型,该模型通过利用图形神经网络(GNN)近似于FEM的解决方案,该模型能够考虑到网格结构信息和对非结构性网格的网格结构信息和归纳学习结构。从经验上讲,我们证明了所提出的体系结构有望准确且快速的软组织变形近似值,并且与最新的(SOTA)算法具有竞争力,同时有望增强的计算可行性,因此适用于神经外科手术环境。
translated by 谷歌翻译
本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以(3)-equivariance属性的特征空间中的嵌入,通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先,由于网络架构中类似于PointNet的网络体系结构中的置换不变性,因此删除了数据关联的必要性。其次,由于SO(3)的性能,可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三,由于注册和隐含形状重建的联合培训,注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。
translated by 谷歌翻译
近年来,基于Weisfeiler-Leman算法的算法和神经架构,是一个众所周知的Graph同构问题的启发式问题,它成为具有图形和关系数据的机器学习的强大工具。在这里,我们全面概述了机器学习设置中的算法的使用,专注于监督的制度。我们讨论了理论背景,展示了如何将其用于监督的图形和节点表示学习,讨论最近的扩展,并概述算法的连接(置换 - )方面的神经结构。此外,我们概述了当前的应用和未来方向,以刺激进一步的研究。
translated by 谷歌翻译