Machine-learning models are increasingly used to predict properties of atoms in chemical systems. There have been major advances in developing descriptors and regression frameworks for this task, typically starting from (relatively) small sets of quantum-mechanical reference data. Larger datasets of this kind are becoming available, but remain expensive to generate. Here we demonstrate the use of a large dataset that we have "synthetically" labelled with per-atom energies from an existing ML potential model. The cheapness of this process, compared to the quantum-mechanical ground truth, allows us to generate millions of datapoints, in turn enabling rapid experimentation with atomistic ML models from the small- to the large-data regime. This approach allows us here to compare regression frameworks in depth, and to explore visualisation based on learned representations. We also show that learning synthetic data labels can be a useful pre-training task for subsequent fine-tuning on small datasets. In the future, we expect that our open-sourced dataset, and similar ones, will be useful in rapidly exploring deep-learning models in the limit of abundant chemical data.

Developing machine learning-based interatomic potentials from ab-initio electronic structure methods remains a challenging task for computational chemistry and materials science. This work studies the capability of transfer learning for efficiently generating chemically accurate interatomic neural network potentials on organic molecules from the MD17 and ANI data sets. We show that pre-training the network parameters on data obtained from density functional calculations considerably improves the sample efficiency of models trained on more accurate ab-initio data. Additionally, we show that fine-tuning with energy labels alone suffices to obtain accurate atomic forces and run large-scale atomistic simulations. We also investigate possible limitations of transfer learning, especially regarding the design and size of the pre-training and fine-tuning data sets. Finally, we provide GM-NN potentials pre-trained and fine-tuned on the ANI-1x and ANI-1ccx data sets, which can easily be fine-tuned on and applied to organic molecules.

我们向高吞吐量基准介绍了用于材料和分子数据集的化学系统的多种表示的高吞吐量基准的机器学习（ML）框架。基准测试方法的指导原理是通过将模型复杂性限制在简单的回归方案的同时，在执行最佳ML实践的同时将模型复杂性限制为简单的回归方案，允许通过沿着同步的列车测试分裂的系列进行学习曲线来评估学习进度来评估原始描述符性能。结果模型旨在为未来方法开发提供通知的基线，旁边指示可以学习给定的数据集多么容易。通过对各种物理化学，拓扑和几何表示的培训结果的比较分析，我们介绍了这些陈述的相对优点以及它们的相互关联。

我们描述了与全球结构搜索方法结合使用的局部替代模型。该模型遵循高斯近似电势（GAP）形式主义，并基于原子位置描述符的平滑重叠，而使用Mini Batch $ K $ -MEANS则减少了本地环境的稀疏性。该模型是在原子全局优化X框架中实现的，并用作盆地跳结构搜索中局部放松的部分替代。该方法对于多种原子系统（包括分子，纳米颗粒，表面支撑的簇和表面薄膜）来说是可靠的。展示了本地替代模型的结构搜索环境中的好处。这包括从较小的系统转移学习的能力，以及执行并发多层计量搜索的可能性。

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

对称考虑对于用于提供原子配置的有效数学表示的主要框架的核心，然后在机器学习模型中用于预测与每个结构相关的特性。在大多数情况下，模型依赖于以原子为中心的环境的描述，并且适合于学习可以分解成原子贡献的原子特性或全局观察到。然而，许多与量子机械计算相关的数量 - 最值得注意的是，以原子轨道基础写入时的单粒子哈密顿矩阵 - 与单个中心无关，但结构中有两个（或更多个）原子。我们讨论一系列结构描述符，以概括为N中心案例的非常成功的原子居中密度相关特征，特别是如何应用这种结构，以有效地学习（有效）单粒子汉密尔顿人的矩阵元素以原子为中心的轨道基础。这些N中心的特点是完全的，不仅在转换和旋转方面，而且还就与原子相关的指数的排列而言 - 并且适合于构建新类的对称适应的机器学习模型分子和材料的性质。

分子或材料的电子密度最近作为机器学习模型的目标数量受到了主要关注。一种自然选择，用于构建可传递可转移和线性缩放预测的模型是使用类似于通常用于密度拟合近似值的常规使用的原子基础来表示标量场。但是，基础的非正交性对学习练习构成了挑战，因为它需要立即考虑所有原子密度成分。我们设计了一种基于梯度的方法，可以直接在优化且高度稀疏的特征空间中最大程度地减少回归问题的损失函数。这样，我们克服了与采用以原子为中心的模型相关的限制，以在任意复杂的数据集上学习电子密度，从而获得极为准确的预测。增强的框架已在32个液体水的32个周期细胞上进行测试，具有足够的复杂性，需要在准确性和计算效率之间取得最佳平衡。我们表明，从预测的密度开始，可以执行单个Kohn-Sham对角度步骤，以访问总能量组件，而总能量组件仅针对参考密度函数计算，而误差仅为0.1 MEV/ATOM。最后，我们测试了高度异构QM9基准数据集的方法，这表明训练数据的一小部分足以在化学精度内得出地面总能量。

定量探索了量子化学参考数据的训练神经网络（NNS）预测的不确定性量化的价值。为此，适当地修改了Physnet NN的体系结构，并使用不同的指标评估所得模型，以量化校准，预测质量以及预测误差和预测的不确定性是否可以相关。 QM9数据库培训的结果以及分布内外的测试集的数据表明，错误和不确定性与线性无关。结果阐明了噪声和冗余使分子的性质预测复杂化，即使在发生变化的情况下，例如在两个原本相同的分子中的双键迁移 - 很小。然后将模型应用于互变异反应的真实数据库。分析特征空间中的成员之间的距离与其他参数结合在一起表明，训练数据集中的冗余信息会导致较大的差异和小错误，而存在相似但非特定的信息的存在会返回大错误，但差异很小。例如，这是对含硝基的脂肪族链的观察到的，尽管训练集包含了与芳香族分子结合的硝基组的几个示例，但这些预测很困难。这强调了训练数据组成的重要性，并提供了化学洞察力，以了解这如何影响ML模型的预测能力。最后，提出的方法可用于通过主动学习优化基于信息的化学数据库改进目标应用程序。

几乎每个机器学习算法的输入瞄准原子秤上的物质属性涉及笛卡尔原子坐标列表的转换为更称对称表示。许多最流行的表示可以被视为原子密度的对称相关性的扩展，并且主要在于基础的选择。相当大的努力一直致力于优化基础集，通常由关于回归目标行为的启发式考虑因素驱动。在这里，我们采取了不同的无监督的观点，旨在确定以最紧凑的方式进行编码的基础，可能是与手头数据集相关的结构信息。对于每个训练数据集和基础函数数，可以确定在这种意义上最佳的独特基础，并且可以通过用样条近似于近似地基于原始基础来计算。我们证明，这种结构产生了准确和计算效率的表示，特别是在构建对应于高于高机标相关性的表示时。我们提出了涉及分子和凝聚相机器学习模型的示例。

Data-driven interatomic potentials have emerged as a powerful class of surrogate models for {\it ab initio} potential energy surfaces that are able to reliably predict macroscopic properties with experimental accuracy. In generating accurate and transferable potentials the most time-consuming and arguably most important task is generating the training set, which still requires significant expert user input. To accelerate this process, this work presents \text{\it hyperactive learning} (HAL), a framework for formulating an accelerated sampling algorithm specifically for the task of training database generation. The key idea is to start from a physically motivated sampler (e.g., molecular dynamics) and add a biasing term that drives the system towards high uncertainty and thus to unseen training configurations. Building on this framework, general protocols for building training databases for alloys and polymers leveraging the HAL framework will be presented. For alloys, ACE potentials for AlSi10 are created by fitting to a minimal HAL-generated database containing 88 configurations (32 atoms each) with fast evaluation times of <100 microsecond/atom/cpu-core. These potentials are demonstrated to predict the melting temperature with excellent accuracy. For polymers, a HAL database is built using ACE, able to determine the density of a long polyethylene glycol (PEG) polymer formed of 200 monomer units with experimental accuracy by only fitting to small isolated PEG polymers with sizes ranging from 2 to 32.

我们开发了一种组合量子蒙特卡罗的准确性在描述与机器学习电位（MLP）的效率描述电子相关性的技术。我们使用内核线性回归与肥皂（平滑的重叠原子位置）方法结合使用，以非常有效的方式在此实现。关键成分是：i）一种基于最远点采样的稀疏技术，确保我们的MLP的一般性和可转换性和II）所谓的$ \ Delta $ -Learning，允许小型训练数据集，这是一种高度准确的基本属性但是计算地要求计算，例如基于量子蒙特卡罗的计算。作为第一个应用，我们通过强调这一非常高精度的重要性，展示了高压氢气液体过渡的基准研究，并显示了我们的MLP的高精度的重要性，实验室在实验中难以进行实验，以及实验理论仍然远非结论。

Density based representations of atomic environments that are invariant under Euclidean symmetries have become a widely used tool in the machine learning of interatomic potentials, broader data-driven atomistic modelling and the visualisation and analysis of materials datasets.The standard mechanism used to incorporate chemical element information is to create separate densities for each element and form tensor products between them. This leads to a steep scaling in the size of the representation as the number of elements increases. Graph neural networks, which do not explicitly use density representations, escape this scaling by mapping the chemical element information into a fixed dimensional space in a learnable way. We recast this approach as tensor factorisation by exploiting the tensor structure of standard neighbour density based descriptors. In doing so, we form compact tensor-reduced representations whose size does not depend on the number of chemical elements, but remain systematically convergeable and are therefore applicable to a wide range of data analysis and regression tasks.

基于原子间位置的相关性的机器学习框架首先是对系统中每个原子附近其他原子密度的离散描述。对称考虑因素支持使用球形谐波扩大该密度的角度依赖性，但是尚无明确的理由来选择一种径向基础而不是另一种径向基础。在这里，我们调查了laplacian特征值问题在感兴趣原子周围的球体中的解决方案。我们表明，这在球体内生成了给定尺寸的最平稳依据，并且拉普拉斯本征态的张量产品也为扩展适当的超晶体内原子密度的任何高阶相关性提供了最平稳的可能基础。我们考虑了给定数据集的基础质量的几个无监督的指标，并表明拉普拉斯特征态的基础的性能比某些广泛使用的基础集要好得多，并且与数据驱动的基础具有竞争力，该基础基础具有数值优化每个度量的基础。在监督的机器学习测试中，我们发现拉普拉斯特征状态的最佳功能平滑度导致可比或更好的性能，而不是从相似大小的数据驱动的基础上获得的，该基础已优化，以描述用于描述原子密度相关的相关性特定数据集。我们得出的结论是，基本函数的平滑度是成功的原子密度表示的关键，迄今为止，迄今为止却在很大程度上被忽略了。

由于控制结构特性关系的分子间相互作用的微妙平衡，预测由分子构建块形成的晶体结构的稳定性是一个高度非平凡的科学问题。一种特别活跃和富有成果的方法涉及对相互作用的化学部分的不同组合进行分类，因为了解不同相互作用的相对能量可以使分子晶体的设计和微调其稳定性。尽管这通常是基于对已知晶体结构中最常见的基序的经验观察进行的，但我们建议采用有监督和无监督的机器学习技术的组合来自动化分子构建块的广泛库。我们介绍了一个针对有机晶体的结合能量预测的结构描述符，并利用以原子为中心的性质来获得对不同化学基团对晶体晶格能量的贡献的数据驱动评估。然后，我们使用结构 - 能量景观的低维表示来解释该库，并讨论可以从本分析中提取的见解的选定示例，从而提供了一个完整的数据库来指导分子材料的设计。

可拍照的分子显示了可以使用光访问的两个或多个异构体形式。将这些异构体的电子吸收带分开是选择性解决特定异构体并达到高光稳态状态的关键，同时总体红色转移带来的吸收带可以限制因紫外线暴露而限制材料损害，并增加了光疗法应用中的渗透深度。但是，通过合成设计将这些属性工程为系统仍然是一个挑战。在这里，我们提出了一条数据驱动的发现管道，用于由数据集策划和使用高斯过程的多任务学习支撑的分子照片开关。在对电子过渡波长的预测中，我们证明了使用来自四个Photoswitch转变波长的标签训练的多输出高斯过程（MOGP）产生相对于单任务模型的最强预测性能，并且在操作上超过了时间依赖时间依赖性的密度理论（TD） -dft）就预测的墙壁锁定时间而言。我们通过筛选可商购的可拍摄分子库来实验验证我们提出的方法。通过此屏幕，我们确定了几个图案，这些基序显示了它们的异构体的分离电子吸收带，表现出红移的吸收，并且适用于信息传输和光电学应用。我们的策划数据集，代码以及所有型号均可在https://github.com/ryan-rhys/the-photoswitch-dataset上提供

近年来，机器学习（ML）在化学信息学和电子结构理论领域中广受欢迎。这些技术通常需要研究人员来设计摘要的“特征”，这些特征将化学概念编码为与机器学习模型的输入兼容的数学形式。但是，没有现有的工具可以将这些抽象功能连接回实际的化学系统，从而使诊断失败并建立有关功能含义的直觉变得困难。我们提出了Electrolens，这是一种新的可视化工具，用于高维空间分辨的特征，以解决此问题。该工具通过一系列链接的3D视图和2D图可视化原子和电子环境特征的高维数据集。该工具能够通过交互式选择在3D中连接不同的派生功能及其相应区域。它的构建是可扩展的，并与现有基础架构集成。

机器学习辅助建模的原子势能表面（PES）正在彻底改变分子模拟的领域。随着高质量电子结构数据的积累，可以在所有可用数据上鉴定的模型，并在下游任务上以较小的额外努力进行填充，这将使该领域进入新阶段。在这里，我们提出了DPA-1，这是一种具有新颖的注意机制的深层潜在模型，该模型非常有效地表示原子系统的构象和化学空间并学习PES。我们在许多系统上测试了DPA-1，并且与现有基准相比，观察到了卓越的性能。当在包含56个元素的大规模数据集上进行预估计时，DPA-1可以成功应用于各种下游任务，并有很大的提高样品效率。令人惊讶的是，对于不同的元素，学习的类型嵌入参数在潜在空间中形成$螺旋$，并具有自然对应的元素性表位，显示了预审预周化的DPA-1模型的有趣解释性。

我们提供了证据表明，学到的密度功能理论（``dft'）的力场已准备好进行基态催化剂发现。我们的关键发现是，尽管预测的力与地面真相有很大差异，但使用从超过50 \％的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义，即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT，例如在Open Catalyst 2020数据集中发现的电位。此外，我们表明，在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \％的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比，这种``简易电位''的收敛步骤更少，这进一步加速了计算。它的成功说明了一个关键：即使模型具有高力误差，学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性，因此我们的结果开辟了快速找到大型系统基础状态的可能性。

We introduce an end-to-end computational framework that enables hyperparameter optimization with the DeepHyper library, accelerated training, and interpretable AI inference with a suite of state-of-the-art AI models, including CGCNN, PhysNet, SchNet, MPNN, MPNN-transformer, and TorchMD-Net. We use these AI models and the benchmark QM9, hMOF, and MD17 datasets to showcase the prediction of user-specified materials properties in modern computing environments, and to demonstrate translational applications for the modeling of small molecules, crystals and metal organic frameworks with a unified, stand-alone framework. We deployed and tested this framework in the ThetaGPU supercomputer at the Argonne Leadership Computing Facility, and the Delta supercomputer at the National Center for Supercomputing Applications to provide researchers with modern tools to conduct accelerated AI-driven discovery in leadership class computing environments.