建模原子系统的能量和力是计算化学中的一个基本问题,有可能帮助解决世界上许多最紧迫的问题,包括与能源稀缺和气候变化有关的问题。这些计算传统上是使用密度函数理论进行的,这在计算上非常昂贵。机器学习有可能从天数或小时到秒从天数大幅提高这些计算的效率。我们建议球形通道网络(SCN)对原子能量和力进行建模。 SCN是一个图神经网络,节点代表原子并边缘其相邻原子。原子嵌入是使用球形谐波表示的一组球形函数,称为球形通道。我们证明,通过基于3D边缘方向旋转嵌入式,可以在保持消息的旋转模糊性的同时使用更多信息。虽然均衡性是理想的属性,但我们发现,通过在消息传递和聚合中放松这种约束,可以提高准确性。我们在大规模开放催化剂2020数据集中展示了最新的结果,这些数据集在能源和力量预测中,用于许多任务和指标。
translated by 谷歌翻译
包括协调性信息,例如位置,力,速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e(3)的等值图形神经网络(Segnns),使得节点和边缘属性不限于不变的标量,而是可以包含相协同信息,例如矢量或张量。该模型由可操纵的MLP组成,能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义,MLP提供了一种新的Activation函数,以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作,进一步允许我们引脚点点的成功组件:非线性消息聚集在经典线性(可操纵)点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性,并提供了广泛的消融研究。
translated by 谷歌翻译
Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1 /4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76 % on MD17 and by 31 % on QM9. Our implementation is available online. 1
translated by 谷歌翻译
3D相关的电感偏见,例如翻译不变性和旋转率偏差,对于在3D原子图(例如分子)上运行的图形神经网络是必不可少的。受到变压器在各个领域的成功的启发,我们研究了如何将这些电感偏置纳入变压器。在本文中,我们提出了Equibrouner,这是一个图形神经网络,利用了变压器体系结构的强度,并结合了基于不可减至表示(IRREPS)的$ SE(3)/e(3)$ - 均值功能。 IRREPS在通道尺寸中的编码均值信息而不使图形结构复杂化。简单性使我们能够通过用eproimiant对应物替换原始操作来直接合并它们。此外,为了更好地适应3D图,我们提出了一种新颖的模棱两可的图形注意力,该图都考虑了内容和几何信息,例如IRRERPS特征中包含的相对位置。为了提高注意力的表现力,我们用多层感知器的注意力取代了点产品的注意力,并包括非线性消息传递。我们在两个量子性能预测数据集(QM9和OC20)上进行基准测试。对于QM9,在接受相同数据分区训练的模型中,Equibourer在12个回归任务中的11个中取得了最佳结果。对于OC20,在使用IS2RE数据和IS2RS数据的培训设置下,Equibourer对最先进的模型进行了改进。复制所有主要结果的代码将很快获得。
translated by 谷歌翻译
有效地预测分子相互作用具有通过多个数量级的加速分子动力学的可能性,从而彻底改变化学模拟。图表神经网络(GNNS)最近显示了这项任务的巨大成功,超越了基于固定分子核的经典方法。然而,它们仍然从理论角度出现非常有限,因为常规GNN不能区分某些类型的图表。在这项工作中,我们在理论和实践之间缩小了这种差距。我们表明,具有指示边缘嵌入和两个跳消息传递的GNN是必然的近似器,用于翻译的预测,并且等于排列和旋转。然后,我们利用这些见解和多种结构改进来提出通过神经网络(GemNet)的几何消息。我们展示了拟议的多次消融研究变化的好处。 GEMNET在Coll,MD17和OC20数据集上优于34%,41%和20%的先前模型,并在最具挑战性分子上表现尤其好。我们的实现可在线获取。
translated by 谷歌翻译
这项工作介绍了神经性等因素的外部潜力(NEQUIP),E(3) - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e(3)的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲,但仅在标量上采取行动,Nequip采用E(3) - 几何张量的相互作用,举起Quivariant卷曲,导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性,同时表现出显着的数据效率。 Nequip优先于现有型号,最多三个数量级的培训数据,挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建,并且在长时间尺度上实现高保真分子动力学模拟。
translated by 谷歌翻译
电子密度$ \ rho(\ vec {r})$是用密度泛函理论(dft)计算地面能量的基本变量。除了总能量之外,$ \ rho(\ vec {r})$分布和$ \ rho(\ vec {r})$的功能通常用于捕获电子规模以功能材料和分子中的关键物理化学现象。方法提供对$ \ rho(\ vec {r})的可紊乱系统,其具有少量计算成本的复杂无序系统可以是对材料相位空间的加快探索朝向具有更好功能的新材料的逆设计的游戏更换者。我们为预测$ \ rho(\ vec {r})$。该模型基于成本图形神经网络,并且在作为消息传递图的一部分的特殊查询点顶点上预测了电子密度,但仅接收消息。该模型在多个数据组中进行测试,分子(QM9),液体乙烯碳酸酯电解质(EC)和Lixniymnzco(1-Y-Z)O 2锂离子电池阴极(NMC)。对于QM9分子,所提出的模型的准确性超过了从DFT获得的$ \ Rho(\ vec {r})$中的典型变异性,以不同的交换相关功能,并显示超出最先进的准确性。混合氧化物(NMC)和电解质(EC)数据集更好的精度甚至更好。线性缩放模型同时探测成千上万点的能力允许计算$ \ Rho(\ vec {r})$的大型复杂系统,比DFT快于允许筛选无序的功能材料。
translated by 谷歌翻译
近年来,分子模拟数据集的出现是大数量级,更多样化的阶。这些新数据集在复杂性的四个方面有很大差异:1。化学多样性(不同元素的数量),2。系统大小(每个样品原子数),3。数据集大小(数据样本数)和4.域移动(培训和测试集的相似性)。尽管存在这些较大的差异,但在狭窄和狭窄的数据集上的基准仍然是证明分子模拟的图形神经网络(GNN)进展的主要方法,这可能是由于较便宜的训练计算要求所致。这就提出了一个问题 - GNN在小和狭窄的数据集上的进展是否转化为这些更复杂的数据集?这项工作通过首先根据大型开放催化剂2020(OC20)数据集开发Gemnet-OC模型来研究这个问题。 Gemnet-OC的表现优于OC20上的先前最新ART,同时将训练时间减少10倍。然后,我们比较了18个模型组件和超参数选择对多个数据集的性能的影响。我们发现,根据用于做出模型选择的数据集,所得模型将大不相同。为了隔离这种差异的来源,我们研究了OC20数据集的六个子集,这些子集分别测试了上述四个数据集方面的每个数据集。我们发现,OC-2M子集的结果与完整的OC20数据集良好相关,同时训练得更便宜。我们的发现挑战了仅在小型数据集上开发GNN的常见做法,但突出了通过中等尺寸的代表性数据集(例如OC-2M)以及Gemnet-oc等高效模型来实现快速开发周期和可推广结果的方法。我们的代码和预估计的模型权重是开源的。
translated by 谷歌翻译
在计算化学和材料科学中,创建快速准确的力场是一项长期挑战。最近,已经证明,几个直径传递神经网络(MPNN)超过了使用其他方法在准确性方面构建的模型。但是,大多数MPNN的计算成本高和可伸缩性差。我们建议出现这些局限性,因为MPNN仅传递两体消息,从而导致层数与网络的表达性之间的直接关系。在这项工作中,我们介绍了MACE,这是一种使用更高的车身订单消息的新型MPNN模型。特别是,我们表明,使用四体消息将所需的消息传递迭代数减少到\ emph {两},从而导致快速且高度可行的模型,达到或超过RMD17的最新准确性,3BPA和ACAC基准任务。我们还证明,使用高阶消息会导致学习曲线的陡峭程度改善。
translated by 谷歌翻译
计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而,跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物,它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题,我们开发了开放的催化剂2022(OC22)数据集,包括62,521个密度功能理论(DFT)放松(〜9,884,504个单点计算),遍及一系列氧化物材料,覆盖范围,覆盖率和吸附物( *H, *o, *o, *o, *o, *o, * n, *c, *ooh, *oh, *oh2, *o2, *co)。我们定义广义任务,以预测催化过程中适用的总系统能量,发展几个图神经网络的基线性能(Schnet,Dimenet ++,Forcenet,Spinconv,Painn,Painn,Gemnet-DT,Gemnet-DT,Gemnet-OC),并提供预先定义的数据集分割以建立明确的基准,以实现未来的努力。对于所有任务,我们研究组合数据集是否会带来更好的结果,即使它们包含不同的材料或吸附物。具体而言,我们在Open Catalyst 2020(OC20)数据集和OC22上共同训练模型,或OC22上的微调OC20型号。在最一般的任务中,Gemnet-OC看到通过微调来提高了约32%的能量预测,通过联合训练的力预测提高了约9%。令人惊讶的是,OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19%。数据集和基线模型是开源的,公众排行榜将遵循,以鼓励社区的持续发展,以了解总能源任务和数据。
translated by 谷歌翻译
建模分子势能表面在科学中至关重要。图神经网络在该领域表现出了巨大的成功,尤其是那些使用旋转等级表示的人。但是,他们要么患有复杂的数学形式,要么缺乏理论支持和设计原则。为了避免使用模棱两可的表示,我们引入了一种新型的本地框架方法来分子表示学习并分析其表现力。借助框架上的框架和模棱两可的向量的投影,GNN可以将原子的局部环境映射到标量表示。也可以在框架上投影在本地环境中传递消息。我们进一步分析了何时以及如何构建此类本地框架。我们证明,当局部环境没有对称性时,局部框架总是存在的,就像分子动力学模拟中一样。对于对称分子,尽管只能构建退化框架,但我们发现,由于自由度降低,在某些常见情况下,局部框架方法仍可能达到高表达能力。仅使用标量表示,我们可以采用现有的简单和强大的GNN体系结构。我们的模型在实验中的表现优于一系列最先进的基线。更简单的体系结构也可以提高更高的可扩展性。与最快的基线相比,我们的模型仅需30%的推理时间。
translated by 谷歌翻译
Within the glassy liquids community, the use of Machine Learning (ML) to model particles' static structure in order to predict their future dynamics is currently a hot topic. The actual state of the art consists in Graph Neural Networks (GNNs) (Bapst 2020) which, beside having a great expressive power, are heavy models with numerous parameters and lack interpretability. Inspired by recent advances (Thomas 2018), we build a GNN that learns a robust representation of the glass' static structure by constraining it to preserve the roto-translation (SE(3)) equivariance. We show that this constraint not only significantly improves the predictive power but also allows to reduce the number of parameters while improving the interpretability. Furthermore, we relate our learned equivariant features to well-known invariant expert features, which are easily expressible with a single layer of our network.
translated by 谷歌翻译
许多现实世界数据可以建模为3D图,但是完全有效地包含3D信息的学习表示形式具有挑战性。现有方法要么使用部分3D信息,要么遭受过多的计算成本。为了完全有效地合并3D信息,我们提出了一个新的消息传递方案,该方案在1跳社区内运行。我们的方法通过实现全球和本地完整性来确保有关3D图的3D信息的完整性。值得注意的是,我们提出了重要的旋转角度来实现全球完整性。此外,我们证明我们的方法比先前的方法快。我们为我们的方法提供了严格的完整性证明和时间复杂性的分析。由于分子本质上是量子系统,我们通过梳理量子启发的基础函数和提出的消息传递方案来构建\下划线{com} plete {com} plete {com} plete {com} plete {e}。实验结果证明了COMENET的能力和效率,尤其是在数量和尺寸大小的现实数据集上。我们的代码作为DIG库的一部分公开可用(\ url {https://github.com/divelab/dig})。
translated by 谷歌翻译
群体模棱两可(例如,SE(3)均衡性)是科学的关键物理对称性,从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此,已经为将这种对称性编码为深神经网络而做出了巨大的努力,该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此,如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中,我们提出了一个框架来构建可以有效地近似几何量的se(3)等效图神经网络。受差异几何形状和物理学的启发,我们向图形神经网络介绍了局部完整帧,因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础,以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的,因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法:牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明,我们的模型在两种类型的数据集中达到了最佳或竞争性能。
translated by 谷歌翻译
Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.
translated by 谷歌翻译
我们提供了证据表明,学到的密度功能理论(``dft')的力场已准备好进行基态催化剂发现。我们的关键发现是,尽管预测的力与地面真相有很大差异,但使用从超过50 \%的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义,即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT,例如在Open Catalyst 2020数据集中发现的电位。此外,我们表明,在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \%的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比,这种``简易电位''的收敛步骤更少,这进一步加速了计算。它的成功说明了一个关键:即使模型具有高力误差,学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性,因此我们的结果开辟了快速找到大型系统基础状态的可能性。
translated by 谷歌翻译
本文为旋转组开发了旋转不变的阵阵卷积,因此(3)可以提炼球形信号的多尺度信息。球形的阵头变换从$ \ mathbb {s}^2 $推广到SO(3)组,该组通过一组紧密的Framelet操作员将球形信号分解为近似和详细的光谱系数。分解和重建过程中的球形信号实现了旋转不变性。基于阵型变换,我们形成了一个带有多个SO(3)一面卷积层的NEDLET近似均值球形CNN(NES)。该网络建立了一个强大的工具,可以提取球形信号的几何不变特征。该模型允许具有多分辨率表示的足够网络可伸缩性。通过小波收缩激活函数学习了强大的信号嵌入,该函数会过滤冗余高通表示,同时保持近似旋转不变性。 NES实现了量子化学回归和宇宙微波背景(CMB)的最新性能,删除重建,这显示了通过高分辨率和多尺度球形信号表示解决科学挑战的巨大潜力。
translated by 谷歌翻译
我们设计了一种新型的前馈神经网络。相对于统一组$ u(n)$,它是均等的。输入和输出可以是$ \ mathbb {c}^n $的向量,并具有任意尺寸$ n $。我们的实施中不需要卷积层。我们避免因傅立叶样转换中的高阶项截断而导致错误。可以使用简单的计算有效地完成每一层的实现。作为概念的证明,我们已经对原子运动动力学的预测给出了经验结果,以证明我们的方法的实用性。
translated by 谷歌翻译
偶极矩是一个物理量,指示分子的极性,并通过反映成分原子的电性能和分子的几何特性来确定。大多数用于表示传统图神经网络方法中图表表示的嵌入方式将分子视为拓扑图,从而为识别几何信息的目标造成了重大障碍。与现有的嵌入涉及均值的嵌入不同,该嵌入适当地处理分子的3D结构不同,我们的拟议嵌入直接表达了偶极矩局部贡献的物理意义。我们表明,即使对于具有扩展几何形状的分子并捕获更多的原子相互作用信息,开发的模型甚至可以合理地工作,从而显着改善了预测结果,准确性与AB-Initio计算相当。
translated by 谷歌翻译
我们考虑在编码晶体材料的周期图上的表示形式学习。与常规图不同,周期图由最小单位单元组成,该单元在3D空间中的常规晶格上重复出现。如何有效编码这些周期结构会带来常规图表学习中不存在的独特挑战。除了E(3)不变外,周期性的图表表示还需要定期不变。也就是说,学到的表示形式应该不变,因为它们是人为强加的。此外,需要明确捕获周期性重复模式,因为不同尺寸和方向的晶格可能对应于不同的材料。在这项工作中,我们提出了一个变压器体系结构,称为Matformer,以进行周期性图表学习。我们的拟合器设计为周期性不变,可以明确捕获重复模式。特别是,Matformer通过有效使用相邻细胞中相同原子之间的几何距离来编码周期模式。多个通用基准数据集的实验结果表明,我们的配合器的表现始终超过基线方法。此外,我们的结果证明了定期不变性和对晶体表示学习的明确重复模式编码的重要性。
translated by 谷歌翻译