3D相关的电感偏见，例如翻译不变性和旋转率偏差，对于在3D原子图（例如分子）上运行的图形神经网络是必不可少的。受到变压器在各个领域的成功的启发，我们研究了如何将这些电感偏置纳入变压器。在本文中，我们提出了Equibrouner，这是一个图形神经网络，利用了变压器体系结构的强度，并结合了基于不可减至表示（IRREPS）的$ SE（3）/e（3）$ - 均值功能。 IRREPS在通道尺寸中的编码均值信息而不使图形结构复杂化。简单性使我们能够通过用eproimiant对应物替换原始操作来直接合并它们。此外，为了更好地适应3D图，我们提出了一种新颖的模棱两可的图形注意力，该图都考虑了内容和几何信息，例如IRRERPS特征中包含的相对位置。为了提高注意力的表现力，我们用多层感知器的注意力取代了点产品的注意力，并包括非线性消息传递。我们在两个量子性能预测数据集（QM9和OC20）上进行基准测试。对于QM9，在接受相同数据分区训练的模型中，Equibourer在12个回归任务中的11个中取得了最佳结果。对于OC20，在使用IS2RE数据和IS2RS数据的培训设置下，Equibourer对最先进的模型进行了改进。复制所有主要结果的代码将很快获得。

包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。

建模原子系统的能量和力是计算化学中的一个基本问题，有可能帮助解决世界上许多最紧迫的问题，包括与能源稀缺和气候变化有关的问题。这些计算传统上是使用密度函数理论进行的，这在计算上非常昂贵。机器学习有可能从天数或小时到秒从天数大幅提高这些计算的效率。我们建议球形通道网络（SCN）对原子能量和力进行建模。 SCN是一个图神经网络，节点代表原子并边缘其相邻原子。原子嵌入是使用球形谐波表示的一组球形函数，称为球形通道。我们证明，通过基于3D边缘方向旋转嵌入式，可以在保持消息的旋转模糊性的同时使用更多信息。虽然均衡性是理想的属性，但我们发现，通过在消息传递和聚合中放松这种约束，可以提高准确性。我们在大规模开放催化剂2020数据集中展示了最新的结果，这些数据集在能源和力量预测中，用于许多任务和指标。

在计算化学和材料科学中，创建快速准确的力场是一项长期挑战。最近，已经证明，几个直径传递神经网络（MPNN）超过了使用其他方法在准确性方面构建的模型。但是，大多数MPNN的计算成本高和可伸缩性差。我们建议出现这些局限性，因为MPNN仅传递两体消息，从而导致层数与网络的表达性之间的直接关系。在这项工作中，我们介绍了MACE，这是一种使用更高的车身订单消息的新型MPNN模型。特别是，我们表明，使用四体消息将所需的消息传递迭代数减少到\ emph {两}，从而导致快速且高度可行的模型，达到或超过RMD17的最新准确性，3BPA和ACAC基准任务。我们还证明，使用高阶消息会导致学习曲线的陡峭程度改善。

Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1 /4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76 % on MD17 and by 31 % on QM9. Our implementation is available online. 1

Within the glassy liquids community, the use of Machine Learning (ML) to model particles' static structure in order to predict their future dynamics is currently a hot topic. The actual state of the art consists in Graph Neural Networks (GNNs) (Bapst 2020) which, beside having a great expressive power, are heavy models with numerous parameters and lack interpretability. Inspired by recent advances (Thomas 2018), we build a GNN that learns a robust representation of the glass' static structure by constraining it to preserve the roto-translation (SE(3)) equivariance. We show that this constraint not only significantly improves the predictive power but also allows to reduce the number of parameters while improving the interpretability. Furthermore, we relate our learned equivariant features to well-known invariant expert features, which are easily expressible with a single layer of our network.

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

许多现实世界数据可以建模为3D图，但是完全有效地包含3D信息的学习表示形式具有挑战性。现有方法要么使用部分3D信息，要么遭受过多的计算成本。为了完全有效地合并3D信息，我们提出了一个新的消息传递方案，该方案在1跳社区内运行。我们的方法通过实现全球和本地完整性来确保有关3D图的3D信息的完整性。值得注意的是，我们提出了重要的旋转角度来实现全球完整性。此外，我们证明我们的方法比先前的方法快。我们为我们的方法提供了严格的完整性证明和时间复杂性的分析。由于分子本质上是量子系统，我们通过梳理量子启发的基础函数和提出的消息传递方案来构建\下划线{com} plete {com} plete {com} plete {com} plete {e}。实验结果证明了COMENET的能力和效率，尤其是在数量和尺寸大小的现实数据集上。我们的代码作为DIG库的一部分公开可用（\ url {https://github.com/divelab/dig}）。

我们表明，没有图形特异性修改的标准变压器可以在理论和实践中都带来图形学习的有希望的结果。鉴于图，我们只是将所有节点和边缘视为独立的令牌，用令牌嵌入增强它们，然后将它们馈入变压器。有了适当的令牌嵌入选择，我们证明这种方法在理论上至少与不变的图形网络（2-ign）一样表达，由等效线性层组成，它已经比所有消息传播的图形神经网络（GNN）更具表现力）。当在大规模图数据集（PCQM4MV2）上接受训练时，与具有精致的图形特异性电感偏置相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，与GNN基准相比，我们创造的令牌化图形变压器（Tokengt）取得了明显更好的结果。我们的实施可从https://github.com/jw9730/tokengt获得。

群体模棱两可（例如，SE（3）均衡性）是科学的关键物理对称性，从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此，已经为将这种对称性编码为深神经网络而做出了巨大的努力，该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此，如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中，我们提出了一个框架来构建可以有效地近似几何量的se（3）等效图神经网络。受差异几何形状和物理学的启发，我们向图形神经网络介绍了局部完整帧，因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础，以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的，因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法：牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明，我们的模型在两种类型的数据集中达到了最佳或竞争性能。

偶极矩是一个物理量，指示分子的极性，并通过反映成分原子的电性能和分子的几何特性来确定。大多数用于表示传统图神经网络方法中图表表示的嵌入方式将分子视为拓扑图，从而为识别几何信息的目标造成了重大障碍。与现有的嵌入涉及均值的嵌入不同，该嵌入适当地处理分子的3D结构不同，我们的拟议嵌入直接表达了偶极矩局部贡献的物理意义。我们表明，即使对于具有扩展几何形状的分子并捕获更多的原子相互作用信息，开发的模型甚至可以合理地工作，从而显着改善了预测结果，准确性与AB-Initio计算相当。

Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.

有效地预测分子相互作用具有通过多个数量级的加速分子动力学的可能性，从而彻底改变化学模拟。图表神经网络（GNNS）最近显示了这项任务的巨大成功，超越了基于固定分子核的经典方法。然而，它们仍然从理论角度出现非常有限，因为常规GNN不能区分某些类型的图表。在这项工作中，我们在理论和实践之间缩小了这种差距。我们表明，具有指示边缘嵌入和两个跳消息传递的GNN是必然的近似器，用于翻译的预测，并且等于排列和旋转。然后，我们利用这些见解和多种结构改进来提出通过神经网络（GemNet）的几何消息。我们展示了拟议的多次消融研究变化的好处。 GEMNET在Coll，MD17和OC20数据集上优于34％，41％和20％的先前模型，并在最具挑战性分子上表现尤其好。我们的实现可在线获取。

分子模拟的粗粒度（CG）通过将选定的原子分组为伪珠并大幅加速模拟来简化粒子的表示。但是，这种CG程序会导致信息损失，从而使准确的背景映射，即从CG坐标恢复细粒度（FG）坐标，这是一个长期存在的挑战。受生成模型和e象网络的最新进展的启发，我们提出了一个新型模型，该模型严格嵌入了背态转换的重要概率性质和几何一致性要求。我们的模型将FG的不确定性编码为不变的潜在空间，并通过Equivariant卷积将其解码为FG几何形状。为了标准化该领域的评估，我们根据分子动力学轨迹提供了三个综合基准。实验表明，我们的方法始终恢复更现实的结构，并以显着的边距胜过现有的数据驱动方法。

Recently, graph neural networks (GNNs) have achieved remarkable performances for quantum mechanical problems. However, a graph convolution can only cover a localized region, and cannot capture long-range interactions of atoms. This behavior is contrary to theoretical interatomic potentials, which is a fundamental limitation of the spatial based GNNs. In this work, we propose a novel attention-based framework for molecular property prediction tasks. We represent a molecular conformation as a discrete atomic sequence combined by atom-atom distance attributes, named Geometry-aware Transformer (GeoT). In particular, we adopt a Transformer architecture, which has been widely used for sequential data. Our proposed model trains sequential representations of molecular graphs based on globally constructed attentions, maintaining all spatial arrangements of atom pairs. Our method does not suffer from cost intensive computations, such as angle calculations. The experimental results on several public benchmarks and visualization maps verified that keeping the long-range interatomic attributes can significantly improve the model predictability.

建模分子势能表面在科学中至关重要。图神经网络在该领域表现出了巨大的成功，尤其是那些使用旋转等级表示的人。但是，他们要么患有复杂的数学形式，要么缺乏理论支持和设计原则。为了避免使用模棱两可的表示，我们引入了一种新型的本地框架方法来分子表示学习并分析其表现力。借助框架上的框架和模棱两可的向量的投影，GNN可以将原子的局部环境映射到标量表示。也可以在框架上投影在本地环境中传递消息。我们进一步分析了何时以及如何构建此类本地框架。我们证明，当局部环境没有对称性时，局部框架总是存在的，就像分子动力学模拟中一样。对于对称分子，尽管只能构建退化框架，但我们发现，由于自由度降低，在某些常见情况下，局部框架方法仍可能达到高表达能力。仅使用标量表示，我们可以采用现有的简单和强大的GNN体系结构。我们的模型在实验中的表现优于一系列最先进的基线。更简单的体系结构也可以提高更高的可扩展性。与最快的基线相比，我们的模型仅需30％的推理时间。

变压器架构已成为许多域中的主导选择，例如自然语言处理和计算机视觉。然而，与主流GNN变体相比，它对图形水平预测的流行排行榜没有竞争表现。因此，它仍然是一个谜，变形金机如何对图形表示学习表现良好。在本文中，我们通过提出了基于标准变压器架构构建的Gragemer来解决这一神秘性，并且可以在广泛的图形表示学习任务中获得优异的结果，特别是在最近的OGB大规模挑战上。我们在图中利用变压器的关键洞察是有效地将图形的结构信息有效地编码到模型中。为此，我们提出了几种简单但有效的结构编码方法，以帮助Gramemormer更好的模型图形结构数据。此外，我们在数学上表征了Gramemormer的表现力，并展示了我们编码图形结构信息的方式，许多流行的GNN变体都可以被涵盖为GrameRormer的特殊情况。

电子密度$ \ rho（\ vec {r}）$是用密度泛函理论（dft）计算地面能量的基本变量。除了总能量之外，$ \ rho（\ vec {r}）$分布和$ \ rho（\ vec {r}）$的功能通常用于捕获电子规模以功能材料和分子中的关键物理化学现象。方法提供对$ \ rho（\ vec {r}）的可紊乱系统，其具有少量计算成本的复杂无序系统可以是对材料相位空间的加快探索朝向具有更好功能的新材料的逆设计的游戏更换者。我们为预测$ \ rho（\ vec {r}）$。该模型基于成本图形神经网络，并且在作为消息传递图的一部分的特殊查询点顶点上预测了电子密度，但仅接收消息。该模型在多个数据组中进行测试，分子（QM9），液体乙烯碳酸酯电解质（EC）和Lixniymnzco（1-Y-Z）O 2锂离子电池阴极（NMC）。对于QM9分子，所提出的模型的准确性超过了从DFT获得的$ \ Rho（\ vec {r}）$中的典型变异性，以不同的交换相关功能，并显示超出最先进的准确性。混合氧化物（NMC）和电解质（EC）数据集更好的精度甚至更好。线性缩放模型同时探测成千上万点的能力允许计算$ \ Rho（\ vec {r}）$的大型复杂系统，比DFT快于允许筛选无序的功能材料。

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

我们考虑在编码晶体材料的周期图上的表示形式学习。与常规图不同，周期图由最小单位单元组成，该单元在3D空间中的常规晶格上重复出现。如何有效编码这些周期结构会带来常规图表学习中不存在的独特挑战。除了E（3）不变外，周期性的图表表示还需要定期不变。也就是说，学到的表示形式应该不变，因为它们是人为强加的。此外，需要明确捕获周期性重复模式，因为不同尺寸和方向的晶格可能对应于不同的材料。在这项工作中，我们提出了一个变压器体系结构，称为Matformer，以进行周期性图表学习。我们的拟合器设计为周期性不变，可以明确捕获重复模式。特别是，Matformer通过有效使用相邻细胞中相同原子之间的几何距离来编码周期模式。多个通用基准数据集的实验结果表明，我们的配合器的表现始终超过基线方法。此外，我们的结果证明了定期不变性和对晶体表示学习的明确重复模式编码的重要性。