预测分子系统的结构和能量特性是分子模拟的基本任务之一，并且具有化学，生物学和医学的用例。在过去的十年中，机器学习算法的出现影响了各种任务的分子模拟，包括原子系统的财产预测。在本文中，我们提出了一种新的方法，用于将从简单分子系统获得的知识转移到更复杂的知识中，并具有明显的原子和自由度。特别是，我们专注于高自由能状态的分类。我们的方法依赖于（i）分子的新型超图表，编码所有相关信息来表征构象的势能，以及（ii）新的消息传递和汇总层来处理和对此类超图结构数据进行预测。尽管问题的复杂性，但我们的结果表明，从三丙氨酸转移到DECA-丙氨酸系统的转移学习中，AUC的AUC为0.92。此外，我们表明，相同的转移学习方法可以用无监督的方式分组，在具有相似的自由能值的簇中，deca-丙氨酸的各种二级结构。我们的研究代表了一个概念证明，即可以设计用于分子系统的可靠传输学习模型，为预测生物学相关系统的结构和能量性能的未开发途径铺平道路。

A generalized understanding of protein dynamics is an unsolved scientific problem, the solution of which is critical to the interpretation of the structure-function relationships that govern essential biological processes. Here, we approach this problem by constructing coarse-grained molecular potentials based on artificial neural networks and grounded in statistical mechanics. For training, we build a unique dataset of unbiased all-atom molecular dynamics simulations of approximately 9 ms for twelve different proteins with multiple secondary structure arrangements. The coarse-grained models are capable of accelerating the dynamics by more than three orders of magnitude while preserving the thermodynamics of the systems. Coarse-grained simulations identify relevant structural states in the ensemble with comparable energetics to the all-atom systems. Furthermore, we show that a single coarse-grained potential can integrate all twelve proteins and can capture experimental structural features of mutated proteins. These results indicate that machine learning coarse-grained potentials could provide a feasible approach to simulate and understand protein dynamics.

从诸如蛋白质折叠或配体 - 受体结合如蛋白质 - 折叠或配体 - 受体结合等生物分子过程的长时间轨迹的低尺寸表示是基本的重要性和动力学模型，例如Markov建模，这些模型已经证明是有用的，用于描述这些系统的动力学。最近，引入了一种被称为vampnet的无监督机器学习技术，以以端到端的方式学习低维度表示和线性动态模型。 Vampnet基于Markov进程（VAMP）的变分方法，并依赖于神经网络来学习粗粒度的动态。在此贡献中，我们将Vampnet和图形神经网络组合生成端到端的框架，以从长时间的分子动力学轨迹有效地学习高级动态和亚稳态。该方法承载图形表示学习的优点，并使用图形消息传递操作来生成用于VAMPNET中使用的每个数据点以生成粗粒化表示的嵌入。这种类型的分子表示结果导致更高的分辨率和更可接定的Markov模型，而不是标准Vampnet，使得对生物分子过程更详细的动力学研究。我们的GraphVampNet方法也具有注意机制，以找到分类为不同亚稳态的重要残留物。

Molecular machine learning has been maturing rapidly over the last few years.Improved methods and the presence of larger datasets have enabled machine learning algorithms to make increasingly accurate predictions about molecular properties. However, algorithmic progress has been limited due to the lack of a standard benchmark to compare the efficacy of proposed methods; most new algorithms are benchmarked on different datasets making it challenging to gauge the quality of proposed methods. This work introduces MoleculeNet, a large scale benchmark for molecular machine learning. MoleculeNet curates multiple public datasets, establishes metrics for evaluation, and offers high quality open-source implementations of multiple previously proposed molecular featurization and learning algorithms (released as part of the DeepChem

Developing machine learning-based interatomic potentials from ab-initio electronic structure methods remains a challenging task for computational chemistry and materials science. This work studies the capability of transfer learning for efficiently generating chemically accurate interatomic neural network potentials on organic molecules from the MD17 and ANI data sets. We show that pre-training the network parameters on data obtained from density functional calculations considerably improves the sample efficiency of models trained on more accurate ab-initio data. Additionally, we show that fine-tuning with energy labels alone suffices to obtain accurate atomic forces and run large-scale atomistic simulations. We also investigate possible limitations of transfer learning, especially regarding the design and size of the pre-training and fine-tuning data sets. Finally, we provide GM-NN potentials pre-trained and fine-tuned on the ANI-1x and ANI-1ccx data sets, which can easily be fine-tuned on and applied to organic molecules.

电子密度$ \ rho（\ vec {r}）$是用密度泛函理论（dft）计算地面能量的基本变量。除了总能量之外，$ \ rho（\ vec {r}）$分布和$ \ rho（\ vec {r}）$的功能通常用于捕获电子规模以功能材料和分子中的关键物理化学现象。方法提供对$ \ rho（\ vec {r}）的可紊乱系统，其具有少量计算成本的复杂无序系统可以是对材料相位空间的加快探索朝向具有更好功能的新材料的逆设计的游戏更换者。我们为预测$ \ rho（\ vec {r}）$。该模型基于成本图形神经网络，并且在作为消息传递图的一部分的特殊查询点顶点上预测了电子密度，但仅接收消息。该模型在多个数据组中进行测试，分子（QM9），液体乙烯碳酸酯电解质（EC）和Lixniymnzco（1-Y-Z）O 2锂离子电池阴极（NMC）。对于QM9分子，所提出的模型的准确性超过了从DFT获得的$ \ Rho（\ vec {r}）$中的典型变异性，以不同的交换相关功能，并显示超出最先进的准确性。混合氧化物（NMC）和电解质（EC）数据集更好的精度甚至更好。线性缩放模型同时探测成千上万点的能力允许计算$ \ Rho（\ vec {r}）$的大型复杂系统，比DFT快于允许筛选无序的功能材料。

分子动力学（MD）仿真是一种强大的工具，用于了解物质的动态和结构。由于MD的分辨率是原子尺度，因此实现了使用飞秒集成的长时间模拟非常昂贵。在每个MD步骤中，执行许多可以学习和避免的冗余计算。这些冗余计算可以由像图形神经网络（GNN）的深度学习模型代替和建模。在这项工作中，我们开发了一个GNN加速分子动力学（GAMD）模型，实现了快速准确的力预测，并产生与经典MD模拟一致的轨迹。我们的研究结果表明，Gamd可以准确地预测两个典型的分子系统，Lennard-Jones（LJ）颗粒和水（LJ +静电）的动态。 GAMD的学习和推理是不可知论的，它可以在测试时间缩放到更大的系统。我们还进行了一项全面的基准测试，将GAMD的实施与生产级MD软件进行了比较，我们展示了GAMD在大规模模拟上对它们具有竞争力。

粗粒（CG）分子模拟已成为研究全原子模拟无法访问的时间和长度尺度上分子过程的标准工具。参数化CG力场以匹配全原子模拟，主要依赖于力匹配或相对熵最小化，这些熵最小化分别需要来自具有全原子或CG分辨率的昂贵模拟中的许多样本。在这里，我们提出了流量匹配，这是一种针对CG力场的新训练方法，它通过利用正常流量（一种生成的深度学习方法）来结合两种方法的优势。流量匹配首先训练标准化流程以表示CG概率密度，这等同于最小化相对熵而无需迭代CG模拟。随后，该流量根据学习分布生成样品和力，以通过力匹配来训练所需的CG能量模型。即使不需要全部原子模拟的力，流程匹配就数据效率的数量级优于经典力匹配，并产生CG模型，可以捕获小蛋白质的折叠和展开过渡。

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.Recently, large scale quantum chemistry calculation and molecular dynamics simulations coupled with advances in high throughput experiments have begun to generate data at an unprecedented rate. Most classical techniques do not make effective use of the larger amounts of data that are now available. The time is ripe to apply more powerful and flexible machine learning methods to these problems, assuming we can find models with suitable inductive biases. The symmetries of atomic systems suggest neural networks that operate on graph structured data and are invariant to graph isomorphism might also be appropriate for molecules. Sufficiently successful models could someday help automate challenging chemical search problems in drug discovery or materials science.In this paper, our goal is to demonstrate effective machine learning models for chemical prediction problems

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

准确的蛋白质结合亲和力预测在药物设计和许多其他分子识别问题中至关重要。尽管基于机器学习技术的亲和力预测取得了许多进步，但由于蛋白质 - 配体结合取决于原子和分子的动力学，它们仍然受到限制。为此，我们策划了一个包含3,218个动态蛋白质配合物的MD数据集，并进一步开发了DynaFormer，这是一个基于图的深度学习框架。 DynaFormer可以通过考虑相互作用的各种几何特征来完全捕获动态结合规则。我们的方法显示出优于迄今报告的方法。此外，我们通过将模型与基于结构的对接整合在一起，对热休克蛋白90（HSP90）进行了虚拟筛选。我们对其他基线进行了基准测试，表明我们的方法可以鉴定具有最高实验效力的分子。我们预计大规模的MD数据集和机器学习模型将形成新的协同作用，为加速药物发现和优化提供新的途径。

分子动力学模拟是科学的基石，允许从系统的热力学调查以分析复杂的分子相互作用。通常，为了创建扩展的分子轨迹，可以是计算昂贵的过程，例如，在运行$ ab-initio $ simulations时。因此，重复这样的计算以获得更准确的热力学或在由细粒度量子相互作用产生的动态中获得更高的分辨率可以是时间和计算的。在这项工作中，我们探讨了不同的机器学习（ML）方法，以提高在后处理步骤内按需的分子动力学轨迹的分辨率。作为概念证明，我们分析了神经杂物，哈密顿网络，经常性神经网络和LSTM等双向神经网络的表现，以及作为参考的单向变体，用于分子动力学模拟（这里是： MD17数据集）。我们发现Bi-LSTMS是表现最佳的模型;通过利用恒温轨迹的局部时对称，它们甚至可以学习远程相关性，并在分子复杂性上显示高稳健性。我们的模型可以达到轨迹插值中最多10美元^ {-4}的准确度，同时忠实地重建了几个无奈复杂的高频分子振动的全周期，使学习和参考轨迹之间的比较难以区分。该工作中报告的结果可以作为更大系统的基线服务（1），以及（2）用于建造更好的MD集成商。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

图形神经网络（GNN）正在化学工程中出现，以基于分子图的物理化学特性端到端学习。 GNNS的一个关键要素是合并函数，将原子矢量结合到分子指纹中。大多数以前的作品都使用标准池功能来预测各种属性。但是，不合适的合并功能会导致概括不佳的非物理GNN。我们根据有关学习特性的物理知识比较并选择有意义的GNN合并方法。通过量子机械计算计算出的分子特性证明了物理池函数的影响。我们还将结果与最近的SET2Set合并方法进行了比较。我们建议使用总和池来预测取决于分子大小的性能并比较分子大小无关的属性的池函数。总体而言，我们表明物理池功能的使用显着增强了概括。

The accurate prediction of physicochemical properties of chemical compounds in mixtures (such as the activity coefficient at infinite dilution $\gamma_{ij}^\infty$) is essential for developing novel and more sustainable chemical processes. In this work, we analyze the performance of previously-proposed GNN-based models for the prediction of $\gamma_{ij}^\infty$, and compare them with several mechanistic models in a series of 9 isothermal studies. Moreover, we develop the Gibbs-Helmholtz Graph Neural Network (GH-GNN) model for predicting $\ln \gamma_{ij}^\infty$ of molecular systems at different temperatures. Our method combines the simplicity of a Gibbs-Helmholtz-derived expression with a series of graph neural networks that incorporate explicit molecular and intermolecular descriptors for capturing dispersion and hydrogen bonding effects. We have trained this model using experimentally determined $\ln \gamma_{ij}^\infty$ data of 40,219 binary-systems involving 1032 solutes and 866 solvents, overall showing superior performance compared to the popular UNIFAC-Dortmund model. We analyze the performance of GH-GNN for continuous and discrete inter/extrapolation and give indications for the model's applicability domain and expected accuracy. In general, GH-GNN is able to produce accurate predictions for extrapolated binary-systems if at least 25 systems with the same combination of solute-solvent chemical classes are contained in the training set and a similarity indicator above 0.35 is also present. This model and its applicability domain recommendations have been made open-source at https://github.com/edgarsmdn/GH-GNN.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

定量探索了量子化学参考数据的训练神经网络（NNS）预测的不确定性量化的价值。为此，适当地修改了Physnet NN的体系结构，并使用不同的指标评估所得模型，以量化校准，预测质量以及预测误差和预测的不确定性是否可以相关。 QM9数据库培训的结果以及分布内外的测试集的数据表明，错误和不确定性与线性无关。结果阐明了噪声和冗余使分子的性质预测复杂化，即使在发生变化的情况下，例如在两个原本相同的分子中的双键迁移 - 很小。然后将模型应用于互变异反应的真实数据库。分析特征空间中的成员之间的距离与其他参数结合在一起表明，训练数据集中的冗余信息会导致较大的差异和小错误，而存在相似但非特定的信息的存在会返回大错误，但差异很小。例如，这是对含硝基的脂肪族链的观察到的，尽管训练集包含了与芳香族分子结合的硝基组的几个示例，但这些预测很困难。这强调了训练数据组成的重要性，并提供了化学洞察力，以了解这如何影响ML模型的预测能力。最后，提出的方法可用于通过主动学习优化基于信息的化学数据库改进目标应用程序。

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

鉴定新型药物靶标相互作用（DTI）是药物发现中的关键和速率限制步骤。虽然已经提出了深入学习模型来加速识别过程，但我们表明最先进的模型无法概括到新颖（即，从未见过的）结构上。我们首先揭示负责此缺点的机制，展示模型如何依赖于利用蛋白质 - 配体二分网络拓扑的捷径，而不是学习节点特征。然后，我们介绍AI-BIND，这是一个与无监督的预训练的基于网络的采样策略相结合的管道，使我们能够限制注释不平衡并改善新型蛋白质和配体的结合预测。我们通过预测具有结合亲和力的药物和天然化合物对SARS-COV-2病毒蛋白和相关的人蛋白质来说明Ai-reat的值。我们还通过自动扩展模拟和与最近的实验证据进行比较来验证这些预测。总体而言，AI-Bind提供了一种强大的高通量方法来识别药物目标组合，具有成为药物发现中强大工具的可能性。