通过定向消息传递通过方向消息通过的图形神经网络最近在多个分子特性预测任务上设置了最先进的技术。然而，它们依赖于通常不可用的原子位置信息，并获得它通常非常昂贵甚至不可能。在本文中，我们提出了合成坐标，使得能够使用高级GNN而不需要真正的分子配置。我们提出了两个距离作为合成坐标：使用个性化PageRank的对称变体指定分子配置的粗糙范围和基于图的距离的距离界限。为了利用距离和角度信息，我们提出了一种将正常图形神经网络转换为定向MPNN的方法。我们表明，通过这种转变，我们可以将正常图形神经网络的误差减少55％在锌基准。我们还通过在SMP和DimeNet ++模型中纳入合成坐标，在锌和自由QM9上设定了最新技术。我们的实现可在线获取。

Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1 /4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76 % on MD17 and by 31 % on QM9. Our implementation is available online. 1

有效地预测分子相互作用具有通过多个数量级的加速分子动力学的可能性，从而彻底改变化学模拟。图表神经网络（GNNS）最近显示了这项任务的巨大成功，超越了基于固定分子核的经典方法。然而，它们仍然从理论角度出现非常有限，因为常规GNN不能区分某些类型的图表。在这项工作中，我们在理论和实践之间缩小了这种差距。我们表明，具有指示边缘嵌入和两个跳消息传递的GNN是必然的近似器，用于翻译的预测，并且等于排列和旋转。然后，我们利用这些见解和多种结构改进来提出通过神经网络（GemNet）的几何消息。我们展示了拟议的多次消融研究变化的好处。 GEMNET在Coll，MD17和OC20数据集上优于34％，41％和20％的先前模型，并在最具挑战性分子上表现尤其好。我们的实现可在线获取。

偶极矩是一个物理量，指示分子的极性，并通过反映成分原子的电性能和分子的几何特性来确定。大多数用于表示传统图神经网络方法中图表表示的嵌入方式将分子视为拓扑图，从而为识别几何信息的目标造成了重大障碍。与现有的嵌入涉及均值的嵌入不同，该嵌入适当地处理分子的3D结构不同，我们的拟议嵌入直接表达了偶极矩局部贡献的物理意义。我们表明，即使对于具有扩展几何形状的分子并捕获更多的原子相互作用信息，开发的模型甚至可以合理地工作，从而显着改善了预测结果，准确性与AB-Initio计算相当。

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

近年来，分子模拟数据集的出现是大数量级，更多样化的阶。这些新数据集在复杂性的四个方面有很大差异：1。化学多样性（不同元素的数量），2。系统大小（每个样品原子数），3。数据集大小（数据样本数）和4.域移动（培训和测试集的相似性）。尽管存在这些较大的差异，但在狭窄和狭窄的数据集上的基准仍然是证明分子模拟的图形神经网络（GNN）进展的主要方法，这可能是由于较便宜的训练计算要求所致。这就提出了一个问题 - GNN在小和狭窄的数据集上的进展是否转化为这些更复杂的数据集？这项工作通过首先根据大型开放催化剂2020（OC20）数据集开发Gemnet-OC模型来研究这个问题。 Gemnet-OC的表现优于OC20上的先前最新ART，同时将训练时间减少10倍。然后，我们比较了18个模型组件和超参数选择对多个数据集的性能的影响。我们发现，根据用于做出模型选择的数据集，所得模型将大不相同。为了隔离这种差异的来源，我们研究了OC20数据集的六个子集，这些子集分别测试了上述四个数据集方面的每个数据集。我们发现，OC-2M子集的结果与完整的OC20数据集良好相关，同时训练得更便宜。我们的发现挑战了仅在小型数据集上开发GNN的常见做法，但突出了通过中等尺寸的代表性数据集（例如OC-2M）以及Gemnet-oc等高效模型来实现快速开发周期和可推广结果的方法。我们的代码和预估计的模型权重是开源的。

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.Recently, large scale quantum chemistry calculation and molecular dynamics simulations coupled with advances in high throughput experiments have begun to generate data at an unprecedented rate. Most classical techniques do not make effective use of the larger amounts of data that are now available. The time is ripe to apply more powerful and flexible machine learning methods to these problems, assuming we can find models with suitable inductive biases. The symmetries of atomic systems suggest neural networks that operate on graph structured data and are invariant to graph isomorphism might also be appropriate for molecules. Sufficiently successful models could someday help automate challenging chemical search problems in drug discovery or materials science.In this paper, our goal is to demonstrate effective machine learning models for chemical prediction problems

Recently, graph neural networks (GNNs) have achieved remarkable performances for quantum mechanical problems. However, a graph convolution can only cover a localized region, and cannot capture long-range interactions of atoms. This behavior is contrary to theoretical interatomic potentials, which is a fundamental limitation of the spatial based GNNs. In this work, we propose a novel attention-based framework for molecular property prediction tasks. We represent a molecular conformation as a discrete atomic sequence combined by atom-atom distance attributes, named Geometry-aware Transformer (GeoT). In particular, we adopt a Transformer architecture, which has been widely used for sequential data. Our proposed model trains sequential representations of molecular graphs based on globally constructed attentions, maintaining all spatial arrangements of atom pairs. Our method does not suffer from cost intensive computations, such as angle calculations. The experimental results on several public benchmarks and visualization maps verified that keeping the long-range interatomic attributes can significantly improve the model predictability.

建模分子势能表面在科学中至关重要。图神经网络在该领域表现出了巨大的成功，尤其是那些使用旋转等级表示的人。但是，他们要么患有复杂的数学形式，要么缺乏理论支持和设计原则。为了避免使用模棱两可的表示，我们引入了一种新型的本地框架方法来分子表示学习并分析其表现力。借助框架上的框架和模棱两可的向量的投影，GNN可以将原子的局部环境映射到标量表示。也可以在框架上投影在本地环境中传递消息。我们进一步分析了何时以及如何构建此类本地框架。我们证明，当局部环境没有对称性时，局部框架总是存在的，就像分子动力学模拟中一样。对于对称分子，尽管只能构建退化框架，但我们发现，由于自由度降低，在某些常见情况下，局部框架方法仍可能达到高表达能力。仅使用标量表示，我们可以采用现有的简单和强大的GNN体系结构。我们的模型在实验中的表现优于一系列最先进的基线。更简单的体系结构也可以提高更高的可扩展性。与最快的基线相比，我们的模型仅需30％的推理时间。

分子动力学（MD）仿真是一种强大的工具，用于了解物质的动态和结构。由于MD的分辨率是原子尺度，因此实现了使用飞秒集成的长时间模拟非常昂贵。在每个MD步骤中，执行许多可以学习和避免的冗余计算。这些冗余计算可以由像图形神经网络（GNN）的深度学习模型代替和建模。在这项工作中，我们开发了一个GNN加速分子动力学（GAMD）模型，实现了快速准确的力预测，并产生与经典MD模拟一致的轨迹。我们的研究结果表明，Gamd可以准确地预测两个典型的分子系统，Lennard-Jones（LJ）颗粒和水（LJ +静电）的动态。 GAMD的学习和推理是不可知论的，它可以在测试时间缩放到更大的系统。我们还进行了一项全面的基准测试，将GAMD的实施与生产级MD软件进行了比较，我们展示了GAMD在大规模模拟上对它们具有竞争力。

分子财产预测是药物和材料行业的基本任务。从物理上讲，分子的特性取决于其自身的电子结构，可以通过schr \“ odinger方程来精确描述。但是，由于大多数分子的求解schr \“ odinger”方程非常具有挑战性量子多体系统的行为。虽然已证明深度学习方法在分子性质预测中有效，但我们设计了一种新颖的方法，即GEM-2，它全面考虑了分子中的远距离和多体相互作用。 GEM-2由两个相互作用的轨道组成：一个原子级轨道模拟任意两个原子之间的局部和全局相关性，以及一个对所有原子对之间的相关性建模的成对轨道，它们嵌入任何3或4个原子之间的信息。广泛的实验证明了GEM-2在量子化学和药物发现任务中的多种基线方法的优越性。

分子表示学习（MRL）是建立机器学习与化学科学之间联系的关键步骤。特别是，它将分子编码为保留分子结构和特征的数值向量，在其上可以执行下游任务（例如，属性预测）。最近，MRL取得了相当大的进步，尤其是在基于深的分子图学习方法中。在这项调查中，我们系统地回顾了这些基于图的分子表示技术。具体而言，我们首先介绍2D和3D图分子数据集的数据和功能。然后，我们总结了专门为MRL设计的方法，并将其分为四种策略。此外，我们讨论了MRL支持的一些典型化学应用。为了促进该快速发展领域的研究，我们还列出了论文中的基准和常用数据集。最后，我们分享我们对未来研究方向的想法。

图形神经网络（GNN）已成为一种学习关系数据的强大技术。由于他们执行的消息传递步骤数量相对有限 - 因此一个较小的接收领域，人们对通过结合基础图的结构方面来提高其表现力引起了极大的兴趣。在本文中，我们探讨了亲和力措施作为图形神经网络中的特征，特别是由随机步行引起的措施，包括有效的阻力，击球和通勤时间。我们根据这些功能提出消息传递网络，并评估其在各种节点和图形属性预测任务上的性能。我们的体系结构具有较低的计算复杂性，而我们的功能对于基础图的排列不变。我们计算的措施使网络可以利用图表的连接性能，从而使我们能够超过相关的基准，用于各种任务，通常具有更少的消息传递步骤。在OGB-LSC-PCQM4MV1的最大公共图形回归数据集之一中，我们在编写时获得了最著名的单模验证MAE。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

许多现实世界数据可以建模为3D图，但是完全有效地包含3D信息的学习表示形式具有挑战性。现有方法要么使用部分3D信息，要么遭受过多的计算成本。为了完全有效地合并3D信息，我们提出了一个新的消息传递方案，该方案在1跳社区内运行。我们的方法通过实现全球和本地完整性来确保有关3D图的3D信息的完整性。值得注意的是，我们提出了重要的旋转角度来实现全球完整性。此外，我们证明我们的方法比先前的方法快。我们为我们的方法提供了严格的完整性证明和时间复杂性的分析。由于分子本质上是量子系统，我们通过梳理量子启发的基础函数和提出的消息传递方案来构建\下划线{com} plete {com} plete {com} plete {com} plete {e}。实验结果证明了COMENET的能力和效率，尤其是在数量和尺寸大小的现实数据集上。我们的代码作为DIG库的一部分公开可用（\ url {https://github.com/divelab/dig}）。

图形神经网络（GNN）正在化学工程中出现，以基于分子图的物理化学特性端到端学习。 GNNS的一个关键要素是合并函数，将原子矢量结合到分子指纹中。大多数以前的作品都使用标准池功能来预测各种属性。但是，不合适的合并功能会导致概括不佳的非物理GNN。我们根据有关学习特性的物理知识比较并选择有意义的GNN合并方法。通过量子机械计算计算出的分子特性证明了物理池函数的影响。我们还将结果与最近的SET2Set合并方法进行了比较。我们建议使用总和池来预测取决于分子大小的性能并比较分子大小无关的属性的池函数。总体而言，我们表明物理池功能的使用显着增强了概括。

This technical report presents GPS++, the first-place solution to the Open Graph Benchmark Large-Scale Challenge (OGB-LSC 2022) for the PCQM4Mv2 molecular property prediction task. Our approach implements several key principles from the prior literature. At its core our GPS++ method is a hybrid MPNN/Transformer model that incorporates 3D atom positions and an auxiliary denoising task. The effectiveness of GPS++ is demonstrated by achieving 0.0719 mean absolute error on the independent test-challenge PCQM4Mv2 split. Thanks to Graphcore IPU acceleration, GPS++ scales to deep architectures (16 layers), training at 3 minutes per epoch, and large ensemble (112 models), completing the final predictions in 1 hour 32 minutes, well under the 4 hour inference budget allocated. Our implementation is publicly available at: https://github.com/graphcore/ogb-lsc-pcqm4mv2.

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

学习表达性分子表示对于促进分子特性的准确预测至关重要。尽管图形神经网络（GNNS）在分子表示学习中取得了显着进步，但它们通常面临诸如邻居探索，不足，过度光滑和过度阵列之类的局限性。同样，由于参数数量大，GNN通常具有较高的计算复杂性。通常，当面对相对大尺寸的图形或使用更深的GNN模型体系结构时，这种限制会出现或增加。克服这些问题的一个想法是将分子图简化为小型，丰富且有益的信息，这更有效，更具挑战性的培训GNN。为此，我们提出了一个新颖的分子图粗化框架，名为FUNQG利用函数组，作为分子的有影响力的构件来确定其性质，基于称为商图的图理论概念。通过实验，我们表明所产生的信息图比分子图小得多，因此是训练GNN的良好候选者。我们将FUNQG应用于流行的分子属性预测基准，然后比较所获得的数据集上的GNN体系结构的性能与原始数据集上的几个最先进的基线。通过实验，除了其参数数量和低计算复杂性的急剧减少之外，该方法除了其急剧减少之外，在各种数据集上的表现显着优于先前的基准。因此，FUNQG可以用作解决分子表示学习问题的简单，成本效益且可靠的方法。