Uncertainty quantification (UQ) has increasing importance in building robust high-performance and generalizable materials property prediction models. It can also be used in active learning to train better models by focusing on getting new training data from uncertain regions. There are several categories of UQ methods each considering different types of uncertainty sources. Here we conduct a comprehensive evaluation on the UQ methods for graph neural network based materials property prediction and evaluate how they truly reflect the uncertainty that we want in error bound estimation or active learning. Our experimental results over four crystal materials datasets (including formation energy, adsorption energy, total energy, and band gap properties) show that the popular ensemble methods for uncertainty estimation is NOT the best choice for UQ in materials property prediction. For the convenience of the community, all the source code and data sets can be accessed freely at \url{https://github.com/usccolumbia/materialsUQ}.
translated by 谷歌翻译
基于机器学习的数据驱动方法具有加速原子结构的计算分析。在这种情况下，可靠的不确定性估计对于评估对预测和实现决策的信心很重要。然而，机器学习模型可以产生严重校准的不确定性估计，因此仔细检测和处理不确定性至关重要。在这项工作中，我们扩展了一种消息，该消息通过神经网络，专门用于预测分子和材料的性质，具有校准的概率预测分布。本文提出的方法与先前的工作不同，通过考虑统一框架中的炼体和认知的不确定性，并通过重新校准未经证明数据的预测分布。通过计算机实验，我们表明我们的方法导致准确的模型，用于预测两种公共分子基准数据集，QM9和PC9的训练数据分布良好的分子形成能量。该方法提供了一种用于训练和评估神经网络集合模型的一般框架，该模型能够产生具有良好校准的不确定性估计的分子性质的准确预测。
translated by 谷歌翻译
在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
Deep learning models that leverage large datasets are often the state of the art for modelling molecular properties. When the datasets are smaller (< 2000 molecules), it is not clear that deep learning approaches are the right modelling tool. In this work we perform an extensive study of the calibration and generalizability of probabilistic machine learning models on small chemical datasets. Using different molecular representations and models, we analyse the quality of their predictions and uncertainties in a variety of tasks (binary, regression) and datasets. We also introduce two simulated experiments that evaluate their performance: (1) Bayesian optimization guided molecular design, (2) inference on out-of-distribution data via ablated cluster splits. We offer practical insights into model and feature choice for modelling small chemical datasets, a common scenario in new chemical experiments. We have packaged our analysis into the DIONYSUS repository, which is open sourced to aid in reproducibility and extension to new datasets.
translated by 谷歌翻译
定量探索了量子化学参考数据的训练神经网络（NNS）预测的不确定性量化的价值。为此，适当地修改了Physnet NN的体系结构，并使用不同的指标评估所得模型，以量化校准，预测质量以及预测误差和预测的不确定性是否可以相关。 QM9数据库培训的结果以及分布内外的测试集的数据表明，错误和不确定性与线性无关。结果阐明了噪声和冗余使分子的性质预测复杂化，即使在发生变化的情况下，例如在两个原本相同的分子中的双键迁移 - 很小。然后将模型应用于互变异反应的真实数据库。分析特征空间中的成员之间的距离与其他参数结合在一起表明，训练数据集中的冗余信息会导致较大的差异和小错误，而存在相似但非特定的信息的存在会返回大错误，但差异很小。例如，这是对含硝基的脂肪族链的观察到的，尽管训练集包含了与芳香族分子结合的硝基组的几个示例，但这些预测很困难。这强调了训练数据组成的重要性，并提供了化学洞察力，以了解这如何影响ML模型的预测能力。最后，提出的方法可用于通过主动学习优化基于信息的化学数据库改进目标应用程序。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译
我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。
translated by 谷歌翻译
美国宇航局的全球生态系统动力学调查（GEDI）是一个关键的气候使命，其目标是推进我们对森林在全球碳循环中的作用的理解。虽然GEDI是第一个基于空间的激光器，明确优化，以测量地上生物质的垂直森林结构预测，这对广泛的观测和环境条件的大量波形数据的准确解释是具有挑战性的。在这里，我们提出了一种新颖的监督机器学习方法来解释GEDI波形和全球标注冠层顶部高度。我们提出了一种基于深度卷积神经网络（CNN）集合的概率深度学习方法，以避免未知效果的显式建模，例如大气噪声。该模型学会提取概括地理区域的强大特征，此外，产生可靠的预测性不确定性估计。最终，我们模型产生的全球顶棚顶部高度估计估计的预期RMSE为2.7米，低偏差。
translated by 谷歌翻译
剪切粘度虽然是所有液体的基本特性，但在计算上估计分子动力学模拟的计算昂贵。最近，机器学习（ML）方法已被用于在许多情况下增强分子模拟，从而显示出以相对廉价的方式估算粘度的希望。但是，ML方法面临重大挑战，例如当数据集的大小很小时，粘度也很小。在这项工作中，我们训练多个ML模型，以预测Lennard-Jones（LJ）流体的剪切粘度，特别强调解决由小型数据集引起的问题。具体而言，研究了与模型选择，绩效估计和不确定性定量有关的问题。首先，我们表明使用单个看不见的数据集的广泛使用的性能估计步骤显示了小数据集的广泛可变性。在这种情况下，可以使用交叉验证（CV）选择超参数（模型选择）的常见实践，以估算概括误差（性能估计）。我们比较了两个简单的简历程序，以便他们同时选择模型选择和性能估计的能力，并发现基于K折CV的过程显示出较低的误差估计差异。我们讨论绩效指标在培训和评估中的作用。最后，使用高斯工艺回归（GPR）和集合方法来估计单个预测的不确定性。 GPR的不确定性估计还用于构建适用性域，使用ML模型对本工作中生成的另一个小数据集提供了更可靠的预测。总体而言，这项工作中规定的程序共同导致了针对小型数据集的强大ML模型。
translated by 谷歌翻译
计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。
translated by 谷歌翻译
本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。
translated by 谷歌翻译
有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。
translated by 谷歌翻译
我们引入了一种新颖的方式，将增强功能与高斯工艺和混合效应模型相结合。首先，在高斯过程中先前的平均函数的零或线性假设可以放松，并以灵活的非参数方式分组随机效应模型，其次，第二个在大多数增强算法中做出的独立性假设。前者有利于预测准确性和避免模型错误。后者对于有效学习固定效应预测函数和获得概率预测很重要。我们提出的算法也是用于处理培养树木中高心电图分类变量的新颖解决方案。此外，我们提出了一个扩展名，该扩展是使用维奇亚近似为高斯工艺模型缩放到大数据的，该模型依靠新的结果进行协方差参数推断。与几个模拟和现实世界数据集的现有方法相比，我们获得了提高的预测准确性。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
最近实现了更准确的短期预测的数据驱动的空气质量预测。尽管取得了成功，但大多数目前的数据驱动解决方案都缺乏适当的模型不确定性的量化，以传达信任预测的程度。最近，在概率深度学习中已经制定了几种估计不确定性的实用工具。但是，在空气质量预测领域的域中没有经验应用和广泛的比较这些工具。因此，这项工作在空气质量预测的真实环境中应用了最先进的不确定性量化。通过广泛的实验，我们描述了培训概率模型，并根据经验性能，信心可靠性，置信度估计和实际适用性评估其预测性不确定性。我们还使用空气质量数据中固有的“自由”对抗培训和利用时间和空间相关性提出改善这些模型。我们的实验表明，所提出的模型比以前的工作更好地在量化数据驱动空气质量预测中的不确定性方面表现出。总体而言，贝叶斯神经网络提供了更可靠的不确定性估计，但可能挑战实施和规模。其他可扩展方法，如深合奏，蒙特卡罗（MC）辍学和随机重量平均-Gaussian（SWAG）可以执行良好，如果正确应用，但具有不同的权衡和性能度量的轻微变化。最后，我们的结果表明了不确定性估计的实际影响，并证明了，实际上，概率模型更适合提出知情决策。代码和数据集可用于\ url {https:/github.com/abdulmajid-murad/deep_probabilistic_forecast}
translated by 谷歌翻译
尽管对安全机器学习的重要性，但神经网络的不确定性量化远未解决。估计神经不确定性的最先进方法通常是混合的，将参数模型与显式或隐式（基于辍学的）合并结合。我们采取另一种途径，提出一种新颖的回归任务的不确定量化方法，纯粹是非参数的。从技术上讲，它通过基于辍学的子网分布来捕获梯级不确定性。这是通过一个新目标来实现的，这使得标签分布与模型分布之间的Wasserstein距离最小化。广泛的经验分析表明，在生产更准确和稳定的不确定度估计方面，Wasserstein丢失在香草测试数据以及在分类转移的情况下表现出最先进的方法。
translated by 谷歌翻译
量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。
translated by 谷歌翻译
机器学习（ML）近年来往往应用于太空天气（SW）问题。 SW起源于太阳能扰动，包括由此产生的复杂变化，它们导致太阳和地球之间的系统。这些系统紧密耦合并不太了解。这为熟练的模型创造了具有关于他们预测的信心的知识。这种动态系统的一个例子是热层，地球上层大气的中性区域。我们无法预测其在低地球轨道中对象的卫星拖拽和碰撞操作的背景下具有严重的影响。即使使用（假设）完美的驾驶员预测，我们对系统的不完全知识也会导致往往是不准确的中性质量密度预测。正在进行持续努力来提高模型准确性，但密度模型很少提供不确定性的估计。在这项工作中，我们提出了两种技术来开发非线性ML模型以预测热散，同时提供校准的不确定性估计：蒙特卡罗（MC）丢失和直接预测概率分布，既使用预测密度（NLPD）损耗函数的负对数。我们展示了在本地和全局数据集上培训的模型的性能。这表明NLPD为这两种技术提供了类似的结果，但是直接概率方法具有更低的计算成本。对于在集合HASDM密度数据库上回归的全局模型，我们在具有良好校准的不确定性估计的独立测试数据上实现11％的错误。使用原位校准密度数据集，这两种技术都提供了13％的测试误差。 CHAMP模型（独立数据）占测试所有预测间隔的完美校准的2％。该模型也可用于获得具有给定时期的不确定性的全局预测。
translated by 谷歌翻译
收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。
translated by 谷歌翻译