开发神经网络电位（NNPS）的一个隐藏但重要的问题是培训算法的选择。在这里，我们使用Photl-Parrinello神经网络（BPNN）和两个可公开可访问的液体数据集进行比较两个流行训练算法，自适应力矩估计算法（ADAM）和扩展卡尔曼滤波算法（EKF）的性能。natl。阿卡。SCI。U.S.A. 2016,113,8368-8373和Proc。natl。阿卡。SCI。U.S.A. 2019,116,1110-1115]。这是通过在Tensorflow中实施EKF来实现的。结果发现，与ADAM相比，用EKF培训的NNP对学习率的价值更为可转让和更敏感。在这两种情况下，验证集的错误指标并不总是作为NNP的实际性能的良好指标。相反，我们表明它们的性能很好地与基于Fisher信息的相似度措施相互作用。

我们开发了一种组合量子蒙特卡罗的准确性在描述与机器学习电位（MLP）的效率描述电子相关性的技术。我们使用内核线性回归与肥皂（平滑的重叠原子位置）方法结合使用，以非常有效的方式在此实现。关键成分是：i）一种基于最远点采样的稀疏技术，确保我们的MLP的一般性和可转换性和II）所谓的$ \ Delta $ -Learning，允许小型训练数据集，这是一种高度准确的基本属性但是计算地要求计算，例如基于量子蒙特卡罗的计算。作为第一个应用，我们通过强调这一非常高精度的重要性，展示了高压氢气液体过渡的基准研究，并显示了我们的MLP的高精度的重要性，实验室在实验中难以进行实验，以及实验理论仍然远非结论。

Developing machine learning-based interatomic potentials from ab-initio electronic structure methods remains a challenging task for computational chemistry and materials science. This work studies the capability of transfer learning for efficiently generating chemically accurate interatomic neural network potentials on organic molecules from the MD17 and ANI data sets. We show that pre-training the network parameters on data obtained from density functional calculations considerably improves the sample efficiency of models trained on more accurate ab-initio data. Additionally, we show that fine-tuning with energy labels alone suffices to obtain accurate atomic forces and run large-scale atomistic simulations. We also investigate possible limitations of transfer learning, especially regarding the design and size of the pre-training and fine-tuning data sets. Finally, we provide GM-NN potentials pre-trained and fine-tuned on the ANI-1x and ANI-1ccx data sets, which can easily be fine-tuned on and applied to organic molecules.

最近，机器学习（ML）电位的发展使得以量子力学（QM）模型的精度进行大规模和长期分子模拟成为可能。但是，对于高水平的QM方法，例如在元gga级和/或具有精确交换的密度函数理论（DFT），量子蒙特卡洛等，生成足够数量的用于训练的数据由于其高成本，计算挑战性。在这项工作中，我们证明了基于ML的DFT模型Deep Kohn-Sham（Deepks）可以在很大程度上缓解这个问题。 DeepKS采用计算高效的基于神经网络的功能模型来构建在廉价DFT模型上添加的校正项。在训练后，DeepKs提供了与高级QM方法相比，具有紧密匹配的能量和力，但是所需的训练数据的数量是比训练可靠的ML潜力所需的数量级要小。因此，DeepKs可以用作昂贵的QM型号和ML电位之间的桥梁：一个人可以生成相当数量的高准确性QM数据来训练DeepKs模型，然后使用DeepKs型号来标记大量的配置以标记训练ML潜力。该周期系统方案在DFT软件包算盘中实施，该计划是开源的，可以在各种应用程序中使用。

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

Non-equilibrium chemistry is a key process in the study of the InterStellar Medium (ISM), in particular the formation of molecular clouds and thus stars. However, computationally it is among the most difficult tasks to include in astrophysical simulations, because of the typically high (>40) number of reactions, the short evolutionary timescales (about $10^4$ times less than the ISM dynamical time) and the characteristic non-linearity and stiffness of the associated Ordinary Differential Equations system (ODEs). In this proof of concept work, we show that Physics Informed Neural Networks (PINN) are a viable alternative to traditional ODE time integrators for stiff thermo-chemical systems, i.e. up to molecular hydrogen formation (9 species and 46 reactions). Testing different chemical networks in a wide range of densities ($-2< \log n/{\rm cm}^{-3}< 3$) and temperatures ($1 < \log T/{\rm K}< 5$), we find that a basic architecture can give a comfortable convergence only for simplified chemical systems: to properly capture the sudden chemical and thermal variations a Deep Galerkin Method is needed. Once trained ($\sim 10^3$ GPUhr), the PINN well reproduces the strong non-linear nature of the solutions (errors $\lesssim 10\%$) and can give speed-ups up to a factor of $\sim 200$ with respect to traditional ODE solvers. Further, the latter have completion times that vary by about $\sim 30\%$ for different initial $n$ and $T$, while the PINN method gives negligible variations. Both the speed-up and the potential improvement in load balancing imply that PINN-powered simulations are a very palatable way to solve complex chemical calculation in astrophysical and cosmological problems.

从实验或模拟数据中学习对的相互作用对于分子模拟引起了极大的兴趣。我们提出了一种使用可区分的模拟（DIFFSIM）从数据中学习对相互作用的通用随机方法。 DIFFSIM通过分子动力学（MD）模拟定义了基于结构可观察物（例如径向分布函数）的损耗函数。然后，使用反向传播直接通过随机梯度下降直接学习相互作用电位，以通过MD模拟计算相互作用势的结构损耗度量标准的梯度。这种基于梯度的方法是灵活的，可以配置以同时模拟和优化多个系统。例如，可以同时学习不同温度或不同组合物的潜力。我们通过从径向分布函数中恢复简单的对电位（例如Lennard-Jones系统）来证明该方法。我们发现，与迭代Boltzmann倒置相比，DIFFSIM可用于探测配对电位的更广泛的功能空间。我们表明，我们的方法可用于同时拟合不同组成和温度下的模拟电位，以提高学习势的可传递性。

分子或材料的电子密度最近作为机器学习模型的目标数量受到了主要关注。一种自然选择，用于构建可传递可转移和线性缩放预测的模型是使用类似于通常用于密度拟合近似值的常规使用的原子基础来表示标量场。但是，基础的非正交性对学习练习构成了挑战，因为它需要立即考虑所有原子密度成分。我们设计了一种基于梯度的方法，可以直接在优化且高度稀疏的特征空间中最大程度地减少回归问题的损失函数。这样，我们克服了与采用以原子为中心的模型相关的限制，以在任意复杂的数据集上学习电子密度，从而获得极为准确的预测。增强的框架已在32个液体水的32个周期细胞上进行测试，具有足够的复杂性，需要在准确性和计算效率之间取得最佳平衡。我们表明，从预测的密度开始，可以执行单个Kohn-Sham对角度步骤，以访问总能量组件，而总能量组件仅针对参考密度函数计算，而误差仅为0.1 MEV/ATOM。最后，我们测试了高度异构QM9基准数据集的方法，这表明训练数据的一小部分足以在化学精度内得出地面总能量。

神经网络和量子蒙特卡罗方法的组合作为前进的高精度电子结构计算的道路出现。以前的建议具有组合具有反对称层的增强的神经网络层，以满足电子波技的反对称要求。但是，迄今为止，如果可以代表物理兴趣的反对称功能，则不清楚尚不清楚，并且难以测量反对称层的富有效果。这项工作通过将明确的防视通用神经网络层作为诊断工具引入明确的防视通用神经网络层来解决这个问题。我们首先介绍一种通用的反对二手（GA）层，我们用于更换称为FEMINET的高精度ANSATZ的整个防反对二层层。我们证明所得到的FERMINET-GA架构可以有效地产生小型系统的确切地位能量。然后，我们考虑一种分解的反对称（FA）层，其通过替换具有反对称神经网络的产品的决定因素的产品更易于推广FERMINET。有趣的是，由此产生的FERMINET-FA架构并不优于FERMINET。这表明抗体产品的总和是Ferminet架构的关键限制方面。为了进一步探索这一点，我们研究了称为全决定性模式的FERMINET的微小修改，其用单一组合的决定蛋白取代了决定因素的每个产物。完整的单决定性Ferminet封闭标准单决定性Ferminet和Ferminet-Ga之间的大部分间隙。令人惊讶的是，在4.0 BoHR的解离键长度的氮素分子上，全单决定性Ferminet可以显着优于标准的64个决定性Ferminet，从而在0.4千卡/摩尔中获得最佳可用计算基准的能量。

分子照片开关是光激活药物的基础。关键的照片开关是偶氮苯，它表现出对光线的反式cis异构主义。顺式异构体的热半衰期至关重要，因为它控制着光诱导的生物学效应的持续时间。在这里，我们介绍了一种计算工具，用于预测偶氮苯衍生物的热半衰期。我们的自动化方法使用了经过量子化学数据训练的快速准确的机器学习潜力。在建立在良好的早期证据的基础上，我们认为热异构化是通过Intersystem Crossing介导的旋转来进行的，并将这种机制纳入我们的自动化工作流程。我们使用我们的方法来预测19,000种偶氮苯衍生物的热半衰期。我们探索障碍和吸收波长之间的趋势和权衡，并开源我们的数据和软件以加速光精神病学研究。

机器学习电位通常是在基态的，未脑的能量表面上训练的，该能量表面仅取决于原子位置而不取决于模拟温度。这无视热激发电子的影响，这在金属中很重要，对于描述温暖的物质至关重要。这些效果的准确物理描述要求该核在温度依赖性电子自由能上移动。我们提出了一种方法，以在任意电子温度下使用地面计算中专门训练数据，避免需要训练温度依赖的电位，并在金属液体氢上基准在任意电子温度下获得该自由能的机器学习预测。天然气巨头和棕色矮人的核心。这项工作证明了混合方案的优势，这些方案使用物理考虑来结合机器学习预测，为开发类似方法的开发提供了蓝图，这些方法通过消除物理和数据驱动方法之间的屏障来扩展原子建模的覆盖范围。

Machine-learning models are increasingly used to predict properties of atoms in chemical systems. There have been major advances in developing descriptors and regression frameworks for this task, typically starting from (relatively) small sets of quantum-mechanical reference data. Larger datasets of this kind are becoming available, but remain expensive to generate. Here we demonstrate the use of a large dataset that we have "synthetically" labelled with per-atom energies from an existing ML potential model. The cheapness of this process, compared to the quantum-mechanical ground truth, allows us to generate millions of datapoints, in turn enabling rapid experimentation with atomistic ML models from the small- to the large-data regime. This approach allows us here to compare regression frameworks in depth, and to explore visualisation based on learned representations. We also show that learning synthetic data labels can be a useful pre-training task for subsequent fine-tuning on small datasets. In the future, we expect that our open-sourced dataset, and similar ones, will be useful in rapidly exploring deep-learning models in the limit of abundant chemical data.

在分子动力学（MD）中，最近在量子机械数据上训练的神经网络（NN）潜力训练了巨大的成功。直接从实验数据学习NN电位的自上而下的方法在通过MD模拟背交时，通常面临着数值和计算挑战。我们介绍了可分辨率的轨迹重新重量（差异）方法，该方法通过MD模拟绕过差异，以对时间无关的可观察可观察。利用热力学扰动理论，避免爆炸梯度，并在自上而下学习的梯度计算中实现大约2次数量级加速。我们在基于多样化的实验可观察结果，表明了在学习NN电位学习NN电位的有效性，包括热力学，结构和机械性能的不同实验性观察。重要的是，衍射还概括了自下而上的结构粗晶体方法，例如迭代Boltzmann反转到任意潜力。呈现的方法构成了富有实验数据富集NN电位的重要里程碑，特别是当准确的自下而上数据不可用时。

由于控制结构特性关系的分子间相互作用的微妙平衡，预测由分子构建块形成的晶体结构的稳定性是一个高度非平凡的科学问题。一种特别活跃和富有成果的方法涉及对相互作用的化学部分的不同组合进行分类，因为了解不同相互作用的相对能量可以使分子晶体的设计和微调其稳定性。尽管这通常是基于对已知晶体结构中最常见的基序的经验观察进行的，但我们建议采用有监督和无监督的机器学习技术的组合来自动化分子构建块的广泛库。我们介绍了一个针对有机晶体的结合能量预测的结构描述符，并利用以原子为中心的性质来获得对不同化学基团对晶体晶格能量的贡献的数据驱动评估。然后，我们使用结构 - 能量景观的低维表示来解释该库，并讨论可以从本分析中提取的见解的选定示例，从而提供了一个完整的数据库来指导分子材料的设计。

Neural network (NN) potentials promise highly accurate molecular dynamics (MD) simulations within the computational complexity of classical MD force fields. However, when applied outside their training domain, NN potential predictions can be inaccurate, increasing the need for Uncertainty Quantification (UQ). Bayesian modeling provides the mathematical framework for UQ, but classical Bayesian methods based on Markov chain Monte Carlo (MCMC) are computationally intractable for NN potentials. By training graph NN potentials for coarse-grained systems of liquid water and alanine dipeptide, we demonstrate here that scalable Bayesian UQ via stochastic gradient MCMC (SG-MCMC) yields reliable uncertainty estimates for MD observables. We show that cold posteriors can reduce the required training data size and that for reliable UQ, multiple Markov chains are needed. Additionally, we find that SG-MCMC and the Deep Ensemble method achieve comparable results, despite shorter training and less hyperparameter tuning of the latter. We show that both methods can capture aleatoric and epistemic uncertainty reliably, but not systematic uncertainty, which needs to be minimized by adequate modeling to obtain accurate credible intervals for MD observables. Our results represent a step towards accurate UQ that is of vital importance for trustworthy NN potential-based MD simulations required for decision-making in practice.

Data-driven interatomic potentials have emerged as a powerful class of surrogate models for {\it ab initio} potential energy surfaces that are able to reliably predict macroscopic properties with experimental accuracy. In generating accurate and transferable potentials the most time-consuming and arguably most important task is generating the training set, which still requires significant expert user input. To accelerate this process, this work presents \text{\it hyperactive learning} (HAL), a framework for formulating an accelerated sampling algorithm specifically for the task of training database generation. The key idea is to start from a physically motivated sampler (e.g., molecular dynamics) and add a biasing term that drives the system towards high uncertainty and thus to unseen training configurations. Building on this framework, general protocols for building training databases for alloys and polymers leveraging the HAL framework will be presented. For alloys, ACE potentials for AlSi10 are created by fitting to a minimal HAL-generated database containing 88 configurations (32 atoms each) with fast evaluation times of <100 microsecond/atom/cpu-core. These potentials are demonstrated to predict the melting temperature with excellent accuracy. For polymers, a HAL database is built using ACE, able to determine the density of a long polyethylene glycol (PEG) polymer formed of 200 monomer units with experimental accuracy by only fitting to small isolated PEG polymers with sizes ranging from 2 to 32.

我们提出了一种基于标准化流动的机器学习方法，用于建模原子固体。我们的模型将一个分析的易诊断分布转换为目标固体，而无需进行地面真实样品进行培训。我们向赫尔莫霍尔茨自由能量估算报告为单立方和六角形冰，如解象水，以及截断的leennard-jones系统，并发现它们与文学价值观的良好协议以及既定基线方法的估计。我们进一步研究了结构性，并表明模型样品几乎与分子动力学所获得的模型难以区分。因此，我们的结果表明，标准化流动可以提供高质量的样品和固体的自由能估计，而无需多阶段或用于对晶体几何体施加的限制。

对称考虑对于用于提供原子配置的有效数学表示的主要框架的核心，然后在机器学习模型中用于预测与每个结构相关的特性。在大多数情况下，模型依赖于以原子为中心的环境的描述，并且适合于学习可以分解成原子贡献的原子特性或全局观察到。然而，许多与量子机械计算相关的数量 - 最值得注意的是，以原子轨道基础写入时的单粒子哈密顿矩阵 - 与单个中心无关，但结构中有两个（或更多个）原子。我们讨论一系列结构描述符，以概括为N中心案例的非常成功的原子居中密度相关特征，特别是如何应用这种结构，以有效地学习（有效）单粒子汉密尔顿人的矩阵元素以原子为中心的轨道基础。这些N中心的特点是完全的，不仅在转换和旋转方面，而且还就与原子相关的指数的排列而言 - 并且适合于构建新类的对称适应的机器学习模型分子和材料的性质。

定量探索了量子化学参考数据的训练神经网络（NNS）预测的不确定性量化的价值。为此，适当地修改了Physnet NN的体系结构，并使用不同的指标评估所得模型，以量化校准，预测质量以及预测误差和预测的不确定性是否可以相关。 QM9数据库培训的结果以及分布内外的测试集的数据表明，错误和不确定性与线性无关。结果阐明了噪声和冗余使分子的性质预测复杂化，即使在发生变化的情况下，例如在两个原本相同的分子中的双键迁移 - 很小。然后将模型应用于互变异反应的真实数据库。分析特征空间中的成员之间的距离与其他参数结合在一起表明，训练数据集中的冗余信息会导致较大的差异和小错误，而存在相似但非特定的信息的存在会返回大错误，但差异很小。例如，这是对含硝基的脂肪族链的观察到的，尽管训练集包含了与芳香族分子结合的硝基组的几个示例，但这些预测很困难。这强调了训练数据组成的重要性，并提供了化学洞察力，以了解这如何影响ML模型的预测能力。最后，提出的方法可用于通过主动学习优化基于信息的化学数据库改进目标应用程序。

与原子分辨率上可实现的分子量相比，粗晶片（CG）能够研究较大系统和更长的时间尺度的分子特性。最近已经提出了机器学习技术来学习CG粒子相互作用，即开发CG力场。分子的图表和图形卷积神经网络结构的监督训练用于通过力匹配方案来学习平均力的潜力。在这项工作中，作用在每个CG粒子上的力与以Schnet的名义相关的其本地环境的表示，该代表通过连续过滤器卷积构建。我们探讨了Schnet模型在获得液体苯的CG潜力的应用，研究模型结构和超参数对模拟CG系统的热力学，动力学和结构特性的影响，并报告和讨论所设想的挑战以及未来的指导。