由于机器学习是当前计算材料科学文献中的流行主题，因此为化合物创建表示形式已成为普遍的位置。这些表示形式很少被比较，因为评估了它们的性能 - 与它们一起使用的算法的性能是非平凡的。由于研究过程引起的许多材料数据集含有偏差和偏斜，因此已经引入了一个集群交叉验证（LOCO-CV），以衡量算法在预测以前看不见的材料基团时的性能。这提出了对Loco-CV测量结果的簇大小范围的影响和控制的问题。我们提出了基于组成的表示之间的详尽比较，并研究了如何使用内核近似功能来更好地分开数据以增强Loco-CV应用程序。我们发现，在大多数测试的任务中，域知识并不能提高机器学习的性能，而带隙预测是显着的例外。我们还发现，径向基函数在所有测试的10个数据集中提高了化学数据集的线性可分离性，并为在Loco-CV过程中应用此函数的应用提供了一个框架，以改善机车-CV测量结果，无论机器学习算法如何，选择度量和复合表示的选择。我们建议将内核Loco-CV作为训练范式，以示材料数据上的算法的外推能力。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

我们向高吞吐量基准介绍了用于材料和分子数据集的化学系统的多种表示的高吞吐量基准的机器学习（ML）框架。基准测试方法的指导原理是通过将模型复杂性限制在简单的回归方案的同时，在执行最佳ML实践的同时将模型复杂性限制为简单的回归方案，允许通过沿着同步的列车测试分裂的系列进行学习曲线来评估学习进度来评估原始描述符性能。结果模型旨在为未来方法开发提供通知的基线，旁边指示可以学习给定的数据集多么容易。通过对各种物理化学，拓扑和几何表示的培训结果的比较分析，我们介绍了这些陈述的相对优点以及它们的相互关联。

Machine-learning models are increasingly used to predict properties of atoms in chemical systems. There have been major advances in developing descriptors and regression frameworks for this task, typically starting from (relatively) small sets of quantum-mechanical reference data. Larger datasets of this kind are becoming available, but remain expensive to generate. Here we demonstrate the use of a large dataset that we have "synthetically" labelled with per-atom energies from an existing ML potential model. The cheapness of this process, compared to the quantum-mechanical ground truth, allows us to generate millions of datapoints, in turn enabling rapid experimentation with atomistic ML models from the small- to the large-data regime. This approach allows us here to compare regression frameworks in depth, and to explore visualisation based on learned representations. We also show that learning synthetic data labels can be a useful pre-training task for subsequent fine-tuning on small datasets. In the future, we expect that our open-sourced dataset, and similar ones, will be useful in rapidly exploring deep-learning models in the limit of abundant chemical data.

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

虽然数据驱动的材料科学和化学方法采用了令人兴奋的，早期的阶段，实现了机器学习模型的真正潜力，以实现科学发现，它们必须具有超出纯粹预测力的品质。模型的预测和内在工作应由人类专家提供一定程度的解释性，允许识别潜在的模型问题或限制，建立对模型预测的信任和揭示可能导致科学洞察力的意外相关性。在这项工作中，我们总结了对材料科学和化学的可解释性和解释性技术的应用，并讨论了这些技术如何改善科学研究的结果。我们讨论了材料科学中可解释机器学习的各种挑战，更广泛地在科学环境中。特别是，我们强调通过纯粹解释机器学习模型和模型解释的不确定性估计的不确定估计来强调推断因果关系或达到泛化的风险。最后，我们在其他领域展示了一些可能会使物质科学和化学问题的可解释性的令人兴奋的发展。

剪切粘度虽然是所有液体的基本特性，但在计算上估计分子动力学模拟的计算昂贵。最近，机器学习（ML）方法已被用于在许多情况下增强分子模拟，从而显示出以相对廉价的方式估算粘度的希望。但是，ML方法面临重大挑战，例如当数据集的大小很小时，粘度也很小。在这项工作中，我们训练多个ML模型，以预测Lennard-Jones（LJ）流体的剪切粘度，特别强调解决由小型数据集引起的问题。具体而言，研究了与模型选择，绩效估计和不确定性定量有关的问题。首先，我们表明使用单个看不见的数据集的广泛使用的性能估计步骤显示了小数据集的广泛可变性。在这种情况下，可以使用交叉验证（CV）选择超参数（模型选择）的常见实践，以估算概括误差（性能估计）。我们比较了两个简单的简历程序，以便他们同时选择模型选择和性能估计的能力，并发现基于K折CV的过程显示出较低的误差估计差异。我们讨论绩效指标在培训和评估中的作用。最后，使用高斯工艺回归（GPR）和集合方法来估计单个预测的不确定性。 GPR的不确定性估计还用于构建适用性域，使用ML模型对本工作中生成的另一个小数据集提供了更可靠的预测。总体而言，这项工作中规定的程序共同导致了针对小型数据集的强大ML模型。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

在这项工作中，我们审查并评估了一个具有公开可用和广泛使用的数据集的深度学习知识追踪（DLKT）模型，以及学习编程的新型学生数据集。评估的DLKT模型已重新实现，用于评估先前报告的结果的可重复性和可复制性。我们测试在与模型的主要架构上独立于模型的比较模型中找到的不同输入和输出层变化，以及在某些研究中隐含地和明确地使用的不同最大尝试计数选项。几个指标用于反映评估知识追踪模型的质量。评估的知识追踪模型包括Vanilla-DKT，两个长短期内存深度知识跟踪（LSTM-DKT）变体，两个动态键值存储器网络（DKVMN）变体，以及自我细致的知识跟踪（SAKT）。我们评估Logistic回归，贝叶斯知识跟踪（BKT）和简单的非学习模型作为基准。我们的结果表明，DLKT模型一般优于非DLKT模型，DLKT模型之间的相对差异是微妙的，并且在数据集之间经常变化。我们的研究结果还表明，通常的纯模型，例如平均预测，比更复杂的知识追踪模型更好地表现出更好的性能，尤其是在准确性方面。此外，我们的公制和封路数据分析显示，用于选择最佳模型的度量标准对模型的性能有明显的影响，并且该度量选择可以影响模型排名。我们还研究了输入和输出层变化的影响，过滤出长期尝试序列，以及随机性和硬件等非模型属性。最后，我们讨论模型性能可重量和相关问题。我们的模型实现，评估代码和数据作为本工作的一部分发布。

Uncertainty quantification (UQ) has increasing importance in building robust high-performance and generalizable materials property prediction models. It can also be used in active learning to train better models by focusing on getting new training data from uncertain regions. There are several categories of UQ methods each considering different types of uncertainty sources. Here we conduct a comprehensive evaluation on the UQ methods for graph neural network based materials property prediction and evaluate how they truly reflect the uncertainty that we want in error bound estimation or active learning. Our experimental results over four crystal materials datasets (including formation energy, adsorption energy, total energy, and band gap properties) show that the popular ensemble methods for uncertainty estimation is NOT the best choice for UQ in materials property prediction. For the convenience of the community, all the source code and data sets can be accessed freely at \url{https://github.com/usccolumbia/materialsUQ}.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

药物介导的电压门控钾通道（HERG）和电压门控钠通道（NAV1.5）可导致严重的心血管并发症。这种上升的担忧已经反映在药物开发竞技场中，因为许多经批准的药物的常常出现心脏毒性导致他们在某些情况下停止他们的使用，或者在某些情况下，他们从市场上撤回。在药物发现过程的开始时预测潜在的HERG和NAV1.5阻滞剂可以解决这个问题，因此可以降低开发安全药物的时间和昂贵的成本。一种快速且经济高效的方法是在杂草中使用硅预测方法，在药物开发的早期阶段杂草出潜在的Herg和Nav1.5阻滞剂。在这里，我们介绍了两种基于强大的基于2D描述符的基于描述符的QSAR预测模型，用于HERG和NAV1.5责任预测。机器学习模型训练，用于回归，预测药物的效力值，以及三种不同效力截止的多条分类（即1 {\ mu} m，10 {\ mu} m，和30 {\ mu}） M），其中托管 - Herg分类器是随机森林模型的管道，受到8380个独特的分子化合物的大型策级数据集。虽然Toxtree-Nav1.5分类器，凯列化SVM模型的管道，由来自Chembl和Pubchem公开的生物活动数据库的大型手动策划的1550个独特的化合物培训。拟议的HERG诱导者表现优于最先进的发布模型和其他现有工具的大多数指标。此外，我们正在介绍Q4 = 74.9％的第一个NAV1.5责任预测模型，Q2 = 86.7％的二进制分类= 71.2％在173个独特的化合物的外部测试组上进行评估。该项目中使用的策划数据集公开可向研究界提供。

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

实现一般逆设计可以通过用户定义的属性极大地加速对新材料的发现。然而，最先进的生成模型往往限于特定的组成或晶体结构。这里，我们提出了一种能够一般逆设计的框架（不限于给定的一组元件或晶体结构），其具有在实际和往复空间中编码晶体的广义可逆表示，以及来自变分的属性结构潜空间autoencoder（vae）。在三种设计情况下，该框架通过用户定义的形成能量，带隙，热电（TE）功率因数和组合产生142个新晶体。在训练数据库中缺席的这些生成的晶体通过第一原理计算验证。成功率（验证的第一原理验证的目标圆形晶体/数量的设计晶体）范围为7.1％和38.9％。这些结果表示利用生成模型朝着性质驱动的一般逆设计的重要步骤，尽管在与实验合成结合时仍然存在实际挑战。

现在，整个研究社区都可以广泛使用机器学习（ML），它促进了这些新兴的数学技术在广泛学科中的新型和引人注目的应用的扩散。在本文中，我们将重点介绍一个特定的案例研究：古人类学领域，该领域旨在根据生物学和文化证据理解人类的演变。正如我们将表明的那样，ML算法的易用性以及在人类学研究界的适当使用方面缺乏专业知识，导致了整个文献中出现的基本错误应用。结果不可靠的结果不仅破坏了将ML合法纳入人类学研究的努力，而且还会对我们的人类进化和行为过去产生潜在的理解。本文的目的是简要介绍古人类学中ML的某些方式；我们还为那些与该领域完全熟悉的人提供了一些基本ML算法的调查，而该领域仍在积极发展。我们讨论了一系列的错误，错误和违反正确的ML方法方案的行为，这些方法经常在人类学文献的积累体内出现令人不安。这些错误包括使用过时的算法和实践；不适当的火车/测试拆分，样本组成和文本解释；以及由于缺乏数据/代码共享以及随后对独立复制的限制而缺乏透明度。我们断言，扩大样本，共享数据和代码，重新评估同行评审的方法，以及最重要的是，开发包括ML专家在内的跨学科团队对于将ML在人类学中纳入ML的未来研究的进步都是必要的。

自动化的机器学习（AUTOML）过程可能需要通过不仅机器学习（ML）组件及其超参数的复杂配置空间进行搜索，还需要将它们组合在一起，即形成ML管道。如果该管道配置空间过大，那么固定时间预算可实现的优化效率和模型精度可实现。一个关键的研究问题是，通过利用其历史表现来完成各种ML任务（即元知识），避免对ML管道的不良评估是否可能既可能又实用。以前的经验以分类器/回归器准确性排名的形式来自（1）（1）在历史自动运行期间进行的大量但无尽的管道评估数量，即“机会性”元知识，或（2）全面的交叉 - 通过默认超参数（即“系统”的元知识，对分类器/回归器的验证评估。使用AUTOWEKA4MCPS软件包进行了许多实验，表明（1）机会性/系统的元知识可以改善ML的结果，通常与元知识的相关性以及（2）配置空间扣除在不太保守的情况下是最佳的（2）也不是激进的。但是，元知识的效用和影响急性取决于其发电和剥削的许多方面，并保证了广泛的分析；这些通常在汽车和元学习文献中被忽视/不足。特别是，我们观察到对数据集的“挑战”的强烈敏感性，即选择预测因子的特异性是否会导致性能明显更好。最终，确定这样定义的“困难”数据集对于生成信息丰富的元知识基础和理解最佳搜索空间降低策略至关重要。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

机器学习（ML）应用程序的数据量不断增长。不仅是观察的数量，特别是测量变量的数量（特征）增加了持续的数字化。选择最适合预测建模的功能是ML在商业和研究中取得成功的重要杠杆。特征选择方法（FSM）独立于某种ML算法 - 所谓的过滤方法 - 已毫无意义地建议，但研究人员和定量建模的指导很少，以选择典型ML问题的适当方法。本次审查在特征选择基准上综合了大量文献，并评估了58种方法在广泛使用的R环境中的性能。对于具体的指导，我们考虑了四种典型的数据集方案，这些情况挑战ML模型（嘈杂，冗余，不平衡数据和具有比观察特征更多的案例）。绘制早期基准的经验，该基准测试较少的FSMS，我们根据四个标准进行比较方法的性能（预测性能，所选的相关功能数，功能集和运行时的稳定性）。我们发现依赖于随机森林方法的方法，双输入对称相关滤波器（浪费）和联合杂质滤波器（Jim）是给定的数据集方案的良好性候选方法。

保护私人信息是数据驱动的研究和业务环境中的关键问题。通常，引入匿名或（选择性）删除之类的技术，以允许数据共享，e。 G。在协作研究的情况下。为了与匿名技术一起使用，$ k $ - 匿名标准是最受欢迎的标准之一，具有许多有关不同算法和指标的科学出版物。匿名技术通常需要更改数据，因此必然会影响在基础数据上训练的机器学习模型的结果。在这项工作中，我们对不同的$ k $ - 匿名算法对机器学习模型结果的影响进行了系统的比较和详细研究。我们研究了与不同分类器的一组流行的$ K $匿名算法，并在不同的现实数据集上对其进行评估。我们的系统评估表明，凭借越来越强的$ K $匿名性约束，分类性能通常会降低，但在不同程度上，并且强烈取决于数据集和匿名方法。此外，蒙德里安可以被视为具有最具吸引力的后续分类属性的方法。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。