近年来，分子模拟数据集的出现是大数量级，更多样化的阶。这些新数据集在复杂性的四个方面有很大差异：1。化学多样性（不同元素的数量），2。系统大小（每个样品原子数），3。数据集大小（数据样本数）和4.域移动（培训和测试集的相似性）。尽管存在这些较大的差异，但在狭窄和狭窄的数据集上的基准仍然是证明分子模拟的图形神经网络（GNN）进展的主要方法，这可能是由于较便宜的训练计算要求所致。这就提出了一个问题 - GNN在小和狭窄的数据集上的进展是否转化为这些更复杂的数据集？这项工作通过首先根据大型开放催化剂2020（OC20）数据集开发Gemnet-OC模型来研究这个问题。 Gemnet-OC的表现优于OC20上的先前最新ART，同时将训练时间减少10倍。然后，我们比较了18个模型组件和超参数选择对多个数据集的性能的影响。我们发现，根据用于做出模型选择的数据集，所得模型将大不相同。为了隔离这种差异的来源，我们研究了OC20数据集的六个子集，这些子集分别测试了上述四个数据集方面的每个数据集。我们发现，OC-2M子集的结果与完整的OC20数据集良好相关，同时训练得更便宜。我们的发现挑战了仅在小型数据集上开发GNN的常见做法，但突出了通过中等尺寸的代表性数据集（例如OC-2M）以及Gemnet-oc等高效模型来实现快速开发周期和可推广结果的方法。我们的代码和预估计的模型权重是开源的。

有效地预测分子相互作用具有通过多个数量级的加速分子动力学的可能性，从而彻底改变化学模拟。图表神经网络（GNNS）最近显示了这项任务的巨大成功，超越了基于固定分子核的经典方法。然而，它们仍然从理论角度出现非常有限，因为常规GNN不能区分某些类型的图表。在这项工作中，我们在理论和实践之间缩小了这种差距。我们表明，具有指示边缘嵌入和两个跳消息传递的GNN是必然的近似器，用于翻译的预测，并且等于排列和旋转。然后，我们利用这些见解和多种结构改进来提出通过神经网络（GemNet）的几何消息。我们展示了拟议的多次消融研究变化的好处。 GEMNET在Coll，MD17和OC20数据集上优于34％，41％和20％的先前模型，并在最具挑战性分子上表现尤其好。我们的实现可在线获取。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1 /4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76 % on MD17 and by 31 % on QM9. Our implementation is available online. 1

通过定向消息传递通过方向消息通过的图形神经网络最近在多个分子特性预测任务上设置了最先进的技术。然而，它们依赖于通常不可用的原子位置信息，并获得它通常非常昂贵甚至不可能。在本文中，我们提出了合成坐标，使得能够使用高级GNN而不需要真正的分子配置。我们提出了两个距离作为合成坐标：使用个性化PageRank的对称变体指定分子配置的粗糙范围和基于图的距离的距离界限。为了利用距离和角度信息，我们提出了一种将正常图形神经网络转换为定向MPNN的方法。我们表明，通过这种转变，我们可以将正常图形神经网络的误差减少55％在锌基准。我们还通过在SMP和DimeNet ++模型中纳入合成坐标，在锌和自由QM9上设定了最新技术。我们的实现可在线获取。

建模原子系统的能量和力是计算化学中的一个基本问题，有可能帮助解决世界上许多最紧迫的问题，包括与能源稀缺和气候变化有关的问题。这些计算传统上是使用密度函数理论进行的，这在计算上非常昂贵。机器学习有可能从天数或小时到秒从天数大幅提高这些计算的效率。我们建议球形通道网络（SCN）对原子能量和力进行建模。 SCN是一个图神经网络，节点代表原子并边缘其相邻原子。原子嵌入是使用球形谐波表示的一组球形函数，称为球形通道。我们证明，通过基于3D边缘方向旋转嵌入式，可以在保持消息的旋转模糊性的同时使用更多信息。虽然均衡性是理想的属性，但我们发现，通过在消息传递和聚合中放松这种约束，可以提高准确性。我们在大规模开放催化剂2020数据集中展示了最新的结果，这些数据集在能源和力量预测中，用于许多任务和指标。

分子动力学（MD）仿真是一种强大的工具，用于了解物质的动态和结构。由于MD的分辨率是原子尺度，因此实现了使用飞秒集成的长时间模拟非常昂贵。在每个MD步骤中，执行许多可以学习和避免的冗余计算。这些冗余计算可以由像图形神经网络（GNN）的深度学习模型代替和建模。在这项工作中，我们开发了一个GNN加速分子动力学（GAMD）模型，实现了快速准确的力预测，并产生与经典MD模拟一致的轨迹。我们的研究结果表明，Gamd可以准确地预测两个典型的分子系统，Lennard-Jones（LJ）颗粒和水（LJ +静电）的动态。 GAMD的学习和推理是不可知论的，它可以在测试时间缩放到更大的系统。我们还进行了一项全面的基准测试，将GAMD的实施与生产级MD软件进行了比较，我们展示了GAMD在大规模模拟上对它们具有竞争力。

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

许多现实世界数据可以建模为3D图，但是完全有效地包含3D信息的学习表示形式具有挑战性。现有方法要么使用部分3D信息，要么遭受过多的计算成本。为了完全有效地合并3D信息，我们提出了一个新的消息传递方案，该方案在1跳社区内运行。我们的方法通过实现全球和本地完整性来确保有关3D图的3D信息的完整性。值得注意的是，我们提出了重要的旋转角度来实现全球完整性。此外，我们证明我们的方法比先前的方法快。我们为我们的方法提供了严格的完整性证明和时间复杂性的分析。由于分子本质上是量子系统，我们通过梳理量子启发的基础函数和提出的消息传递方案来构建\下划线{com} plete {com} plete {com} plete {com} plete {e}。实验结果证明了COMENET的能力和效率，尤其是在数量和尺寸大小的现实数据集上。我们的代码作为DIG库的一部分公开可用（\ url {https://github.com/divelab/dig}）。

电子密度$ \ rho（\ vec {r}）$是用密度泛函理论（dft）计算地面能量的基本变量。除了总能量之外，$ \ rho（\ vec {r}）$分布和$ \ rho（\ vec {r}）$的功能通常用于捕获电子规模以功能材料和分子中的关键物理化学现象。方法提供对$ \ rho（\ vec {r}）的可紊乱系统，其具有少量计算成本的复杂无序系统可以是对材料相位空间的加快探索朝向具有更好功能的新材料的逆设计的游戏更换者。我们为预测$ \ rho（\ vec {r}）$。该模型基于成本图形神经网络，并且在作为消息传递图的一部分的特殊查询点顶点上预测了电子密度，但仅接收消息。该模型在多个数据组中进行测试，分子（QM9），液体乙烯碳酸酯电解质（EC）和Lixniymnzco（1-Y-Z）O 2锂离子电池阴极（NMC）。对于QM9分子，所提出的模型的准确性超过了从DFT获得的$ \ Rho（\ vec {r}）$中的典型变异性，以不同的交换相关功能，并显示超出最先进的准确性。混合氧化物（NMC）和电解质（EC）数据集更好的精度甚至更好。线性缩放模型同时探测成千上万点的能力允许计算$ \ Rho（\ vec {r}）$的大型复杂系统，比DFT快于允许筛选无序的功能材料。

Recently, graph neural networks (GNNs) have achieved remarkable performances for quantum mechanical problems. However, a graph convolution can only cover a localized region, and cannot capture long-range interactions of atoms. This behavior is contrary to theoretical interatomic potentials, which is a fundamental limitation of the spatial based GNNs. In this work, we propose a novel attention-based framework for molecular property prediction tasks. We represent a molecular conformation as a discrete atomic sequence combined by atom-atom distance attributes, named Geometry-aware Transformer (GeoT). In particular, we adopt a Transformer architecture, which has been widely used for sequential data. Our proposed model trains sequential representations of molecular graphs based on globally constructed attentions, maintaining all spatial arrangements of atom pairs. Our method does not suffer from cost intensive computations, such as angle calculations. The experimental results on several public benchmarks and visualization maps verified that keeping the long-range interatomic attributes can significantly improve the model predictability.

我们提供了证据表明，学到的密度功能理论（``dft'）的力场已准备好进行基态催化剂发现。我们的关键发现是，尽管预测的力与地面真相有很大差异，但使用从超过50 \％的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义，即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT，例如在Open Catalyst 2020数据集中发现的电位。此外，我们表明，在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \％的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比，这种``简易电位''的收敛步骤更少，这进一步加速了计算。它的成功说明了一个关键：即使模型具有高力误差，学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性，因此我们的结果开辟了快速找到大型系统基础状态的可能性。

在计算化学和材料科学中，创建快速准确的力场是一项长期挑战。最近，已经证明，几个直径传递神经网络（MPNN）超过了使用其他方法在准确性方面构建的模型。但是，大多数MPNN的计算成本高和可伸缩性差。我们建议出现这些局限性，因为MPNN仅传递两体消息，从而导致层数与网络的表达性之间的直接关系。在这项工作中，我们介绍了MACE，这是一种使用更高的车身订单消息的新型MPNN模型。特别是，我们表明，使用四体消息将所需的消息传递迭代数减少到\ emph {两}，从而导致快速且高度可行的模型，达到或超过RMD17的最新准确性，3BPA和ACAC基准任务。我们还证明，使用高阶消息会导致学习曲线的陡峭程度改善。

图神经网络（GNN）从材料科学家那里引起了越来越多的关注，并证明了建立结构和属性之间的连接的高能力。但是，只有仅提供的未删除结构作为输入，很少有GNN模型可以预测带有可接受的误差水平的放松配置的热力学特性。在这项工作中，我们开发了基于Dimenet ++和混合密度网络的多任务（MT）体系结构，以提高此类任务的性能。将基于CU的单原子合金催化剂的共吸附作为例证，我们表明我们的方法可以可靠地估计CO的吸附能，其平均绝对误差为0.087 eV，从初始CO的吸附结构中，而无需昂贵的第一原则计算。此外，与其他最先进的GNN方法相比，我们的模型在预测具有看不见的底物表面或掺杂物种的催化性能时具有提高的概括能力。我们表明，拟议的GNN策略可以促进催化剂发现。

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.Recently, large scale quantum chemistry calculation and molecular dynamics simulations coupled with advances in high throughput experiments have begun to generate data at an unprecedented rate. Most classical techniques do not make effective use of the larger amounts of data that are now available. The time is ripe to apply more powerful and flexible machine learning methods to these problems, assuming we can find models with suitable inductive biases. The symmetries of atomic systems suggest neural networks that operate on graph structured data and are invariant to graph isomorphism might also be appropriate for molecules. Sufficiently successful models could someday help automate challenging chemical search problems in drug discovery or materials science.In this paper, our goal is to demonstrate effective machine learning models for chemical prediction problems

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

新催化剂的发现是计算化学的重要主题之一，因为它有可能加速采用可再生能源。最近开发的深度学习方法，例如图形神经网络（GNNS）开放的新机会，以显着扩大新型高性能催化剂的范围。然而，由于模棱两可的连接方案和节点和边缘的众多嵌入，特定晶体结构的图表并不是一项简单的任务。在这里，我们提出了GNN的嵌入改进，该改进已通过Voronoi Tesselation修改，并能够预测开放催化剂项目数据集中催化系统的能量。通过Voronoi镶嵌计算图的富集，并将相应的触点固体角度和类型（直接或间接）视为边缘的特征，而Voronoi体积用作节点特征。辅助方法是通过内在的原子特性（电负性，周期和组位置）富集节点表示。提出的修改使我们能够改善原始模型的平均绝对误差，最终误差等于“开放催化剂项目数据集”上每个原子的651 MeV，并且在金属中数据集上的每个原子6 MeV。同样，通过考虑其他数据集，我们表明，明智的数据选择可以将误差降低到高于每个原子阈值20 MEV的值的值。

基于深度学习的分子建模的最新进步令人兴奋地加速硅药发现。可获得血清的生成模型，构建原子原子和键合或逐片键的分子。然而，许多药物发现项目需要固定的支架以存在于所生成的分子中，并纳入该约束仅探讨了该约束。在这里，我们提出了一种基于图形的模型，其自然地支持支架作为生成过程的初始种子，这是可能的，因为它不调节在发电历史上。我们的实验表明，Moler与最先进的方法进行了相当的方法，在无约会的分子优化任务上，并且在基于脚手架的任务上优于它们，而不是比现有方法从培训和样本更快的数量级。此外，我们展示了许多看似小设计选择对整体性能的影响。

Molecular machine learning has been maturing rapidly over the last few years.Improved methods and the presence of larger datasets have enabled machine learning algorithms to make increasingly accurate predictions about molecular properties. However, algorithmic progress has been limited due to the lack of a standard benchmark to compare the efficacy of proposed methods; most new algorithms are benchmarked on different datasets making it challenging to gauge the quality of proposed methods. This work introduces MoleculeNet, a large scale benchmark for molecular machine learning. MoleculeNet curates multiple public datasets, establishes metrics for evaluation, and offers high quality open-source implementations of multiple previously proposed molecular featurization and learning algorithms (released as part of the DeepChem

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。