Recently, there has been a growing interest in applying machine learning methods to problems in engineering mechanics. In particular, there has been significant interest in applying deep learning techniques to predicting the mechanical behavior of heterogeneous materials and structures. Researchers have shown that deep learning methods are able to effectively predict mechanical behavior with low error for systems ranging from engineered composites, to geometrically complex metamaterials, to heterogeneous biological tissue. However, there has been comparatively little attention paid to deep learning model calibration, i.e., the match between predicted probabilities of outcomes and the true probabilities of outcomes. In this work, we perform a comprehensive investigation into ML model calibration across seven open access engineering mechanics datasets that cover three distinct types of mechanical problems. Specifically, we evaluate both model and model calibration error for multiple machine learning methods, and investigate the influence of ensemble averaging and post hoc model calibration via temperature scaling. Overall, we find that ensemble averaging of deep neural networks is both an effective and consistent tool for improving model calibration, while temperature scaling has comparatively limited benefits. Looking forward, we anticipate that this investigation will lay the foundation for future work in developing mechanics specific approaches to deep learning model calibration.

从设计架构材料到跨尺度的机械行为，计算建模是固体力学中的关键工具。最近，人们对使用机器学习来降低基于物理的模拟的计算成本越来越兴趣。值得注意的是，尽管依赖图神经网络（GNN）的机器学习方法在学习机制方面表现出了成功，但GNN的性能尚未针对无数的固体力学问题进行研究。在这项工作中，我们研究了GNN预测机械驱动的紧急行为的基本方面的能力：柱的几何结构与其弯曲方向之间的联系。为此，我们介绍了不对称屈曲柱（ABC）数据集，该数据集由三个不对称和异质列的几个子数据集组成不稳定。由于局部几何形状，实现标准卷积神经网络元模型所需的“图像样”数据表示不是理想的，因此激发了GNN的使用。除了研究GNN模型体系结构外，我们还研究了不同输入数据表示方法，数据增强和将多个模型结合在一起的效果。虽然我们能够获得良好的结果，但我们还表明，预测基于固体力学的新兴行为是非平凡的。因为我们的模型实施和数据集都在开源许可下分配，所以我们希望未来的研究人员可以在我们的工作基础上建立创建增强的机械师特定机器的机器学习管道，以捕获复杂的几何结构的行为。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

我们解决了不确定性校准的问题，并引入了一种新型的校准方法，即参数化温度缩放（PTS）。标准的深神经网络通常会产生未校准的预测，可以使用事后校准方法将其转化为校准的置信得分。在这项贡献中，我们证明了准确保存最先进的事后校准器的性能受其内在表达能力的限制。我们通过计算通过神经网络参数为参数的预测温度来概括温度缩放。我们通过广泛的实验表明，我们的新型准确性保护方法始终优于大量模型体系结构，数据集和指标的现有算法。

建模生物软组织是由于材料异质性而部分复杂的。微观结构模式在定义这些组织的机械行为方面起着主要作用，既具有挑战性，又难以模拟。最近，基于机器学习的方法来预测异质材料的机械行为，使得更彻底地探索与异质材料块相关的大量输入参数空间。具体而言，我们可以训练机器学习（ML）模型，以近似于计算上昂贵的异质材料模拟，其中ML模型在模拟的数据集上进行了训练，该模拟捕获了感兴趣的材料中存在的空间异质性范围。但是，在更广泛地将这些技术应用于生物组织时，存在一个主要的局限性：相关的微观结构模式既具有挑战性又难以分析。因此，可用于表征正在研究的输入域的有用示例的数量有限。在这项工作中，我们研究了基于ML的生成模型以及程序方法的功效，作为增强有限输入模式数据集的工具。我们发现，具有自适应判别器增强器的基于样式的生成对抗网络能够成功利用1,000个示例模式来创建最真实的生成模式。通常，与真实模式有足够相似之处的不同生成模式可以用作有限元模拟的输入，以有意义地增强训练数据集。为了实现这一方法论贡献，我们创建了一个基于Cahn-Hilliard模式的有限元分析模拟的开放访问数据集。我们预计未来的研究人员将能够利用此数据集并基于此处介绍的工作。

Modern machine learning methods including deep learning have achieved great success in predictive accuracy for supervised learning tasks, but may still fall short in giving useful estimates of their predictive uncertainty. Quantifying uncertainty is especially critical in real-world settings, which often involve input distributions that are shifted from the training distribution due to a variety of factors including sample bias and non-stationarity. In such settings, well calibrated uncertainty estimates convey information about when a model's output should (or should not) be trusted. Many probabilistic deep learning methods, including Bayesian-and non-Bayesian methods, have been proposed in the literature for quantifying predictive uncertainty, but to our knowledge there has not previously been a rigorous largescale empirical comparison of these methods under dataset shift. We present a largescale benchmark of existing state-of-the-art methods on classification problems and investigate the effect of dataset shift on accuracy and calibration. We find that traditional post-hoc calibration does indeed fall short, as do several other previous methods. However, some methods that marginalize over models give surprisingly strong results across a broad spectrum of tasks.

本文研究了“探索性”机器学习分类问题的置信后的事后校准。这些问题的困难源于持续的愿望，即在策划数据集时具有足够的例子来推广哪些类别的界限以及对这些类别的有效性的混乱。我们认为，对于此类问题，必须使用“单一的所有”方法（顶级标签校准），而不是文献中其他地方提倡的“校准 - 满足 - 响应 - 摩托克质”方法。我们介绍并测试了四种旨在处理特定置信度估计的特质的新算法。这些方法中的主要主要是将内核密度比用于置信度校准，包括用于选择带宽的新颖的防弹算法。我们测试了我们的主张，并探讨了生物信息学应用程序（Phanns）1以及经典的MNIST基准2。最后，我们的分析认为，事后校准应始终执行，应仅基于测试数据集，并且应在视觉上进行理智检查。

现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。

Confidence calibration -the problem of predicting probability estimates representative of the true correctness likelihood -is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important factors influencing calibration. We evaluate the performance of various post-processing calibration methods on state-ofthe-art architectures with image and document classification datasets. Our analysis and experiments not only offer insights into neural network learning, but also provide a simple and straightforward recipe for practical settings: on most datasets, temperature scaling -a singleparameter variant of Platt Scaling -is surprisingly effective at calibrating predictions.

分析分类模型性能对于机器学习从业人员来说是一项至关重要的任务。尽管从业者经常使用从混乱矩阵中得出的基于计数的指标，例如准确性，许多应用程序，例如天气预测，体育博彩或患者风险预测，但依赖分类器的预测概率而不是预测标签。在这些情况下，从业者关注的是产生校准模型，即输出反映真实分布的模型的模型。通常通过静态可靠性图在视觉上分析模型校准，但是，由于所需的强大聚合，传统的校准可视化可能会遭受各种缺陷。此外，基于计数的方法无法充分分析模型校准。我们提出校准，这是一个解决上述问题的交互性可靠性图。校准构造一个可靠性图，该图表可抵抗传统方法中的缺点，并允许进行交互式子组分析和实例级检查。我们通过在现实世界和合成数据上的用例中证明了校准的实用性。我们通过与常规分析模型校准的数据科学家进行思考实验的结果来进一步验证校准。

在许多现实世界应用中，可靠的概率估计在具有固有的不确定性的许多现实应用中至关重要，例如天气预报，医疗预后或自动车辆的碰撞避免。概率估计模型培训观察到的结果（例如，它是否已下雨，或者是否患者是否已死亡），因为感兴趣事件的地面真理概率通常是未知的。因此，问题类似于二进制分类，具有重要差异，即目标是估计概率而不是预测特定结果。这项工作的目标是使用深神经网络调查从高维数据的概率估计。存在几种方法来改善这些模型产生的概率，但它们主要专注于概率与模型不确定性相关的分类问题。在具有固有的不确定性问题的情况下，在没有访问地面概率的情况下评估性能有挑战性。要解决此问题，我们构建一个合成数据集以学习和比较不同的可计算度量。我们评估了合成数据以及三个现实世界概率估计任务的现有方法，所有这些方法都涉及固有的不确定性：从雷达图像的降水预测，从组织病理学图像预测癌症患者存活，并预测从Dashcam视频预测车祸。最后，我们还提出了一种使用神经网络的概率估计的新方法，该方法修改了培训过程，促进了与从数据计算的经验概率一致的输出概率。该方法优于模拟和真实数据上大多数度量的现有方法。

已知深入学习方法遭受校准问题：通常会产生过度自信的估计。这些问题在低数据制度中加剧了。虽然研究了概率模型的校准，但在低数据制度中校准了极其过度参数化模型，呈现出独特的挑战。我们表明深度集合并不一定导致改进的校准特性。事实上，我们表明标准合奏方法，与混合规则化等现代技术结合使用时，可以导致校准的型号更少。本文审查了在数据稀缺时利用深度学习的三种最简单和常用方法之间的相互作用：数据增强，合奏和后处理校准方法。虽然标准合奏技术肯定有助于提高准确性，但我们证明了深度融合的校准依赖于微妙的折衷。我们还发现，随着深度合并使用时，需要稍微调整校准方法，如温度缩放，并且粗略地，需要在平均过程之后执行。我们的模拟表明，与低数据制度中的标准深度集合相比，这种简单的策略可以在一系列基准分类问题上对预期的校准误差（ECE）进行比较。

Deep learning models that leverage large datasets are often the state of the art for modelling molecular properties. When the datasets are smaller (< 2000 molecules), it is not clear that deep learning approaches are the right modelling tool. In this work we perform an extensive study of the calibration and generalizability of probabilistic machine learning models on small chemical datasets. Using different molecular representations and models, we analyse the quality of their predictions and uncertainties in a variety of tasks (binary, regression) and datasets. We also introduce two simulated experiments that evaluate their performance: (1) Bayesian optimization guided molecular design, (2) inference on out-of-distribution data via ablated cluster splits. We offer practical insights into model and feature choice for modelling small chemical datasets, a common scenario in new chemical experiments. We have packaged our analysis into the DIONYSUS repository, which is open sourced to aid in reproducibility and extension to new datasets.

在在下游决策取决于预测概率的安全关键应用中，校准神经网络是最重要的。测量校准误差相当于比较两个实证分布。在这项工作中，我们引入了由经典Kolmogorov-Smirnov（KS）统计测试的自由校准措施，其中主要思想是比较各自的累积概率分布。由此，通过通过Quidsime使用可微分函数来近似经验累积分布，我们获得重新校准函数，将网络输出映射到实际（校准的）类分配概率。使用停滞校准组进行脊柱拟合，并在看不见的测试集上评估所获得的重新校准功能。我们测试了我们对各种图像分类数据集的现有校准方法的方法，并且我们的样条键的重新校准方法始终如一地优于KS错误的现有方法以及其他常用的校准措施。我们的代码可在https://github.com/kartikgupta-at-anu/spline-calibration获得。

尽管图形神经网络（GNNS）已经取得了显着的准确性，但结果是否值得信赖仍未开发。以前的研究表明，许多现代神经网络对预测过度充满信心，然而，令人惊讶的是，我们发现GNN主要呈相反方向，即，GNN是不受自信的。因此，非常需要GNN的置信度校准。在本文中，我们通过设计拓扑知识的后HOC校准函数提出了一种新型值得信赖的GNN模型。具体而言，我们首先验证图形中的置信度分布具有同眼性的财产，而且这一发现激发了我们设计校准GNN模型（CAGCN）以学习校准功能。 CAGCN能够从GNN的Logits对每个节点的校准置信度获得独特的变换，同时，这种变换能够在类之间保留课程之间的顺序，满足精度保留的属性。此外，我们将校准GNN应用于自培训框架，表明可以通过校准的置信度获得更可靠的伪标签，并进一步提高性能。广泛的实验证明了我们所提出的模型在校准和准确性方面的有效性。

The deployment of machine learning classifiers in high-stakes domains requires well-calibrated confidence scores for model predictions. In this paper we introduce the notion of variable-based calibration to characterize calibration properties of a model with respect to a variable of interest, generalizing traditional score-based calibration and metrics such as expected calibration error (ECE). In particular, we find that models with near-perfect ECE can exhibit significant variable-based calibration error as a function of features of the data. We demonstrate this phenomenon both theoretically and in practice on multiple well-known datasets, and show that it can persist after the application of existing recalibration methods. To mitigate this issue, we propose strategies for detection, visualization, and quantification of variable-based calibration error. We then examine the limitations of current score-based recalibration methods and explore potential modifications. Finally, we discuss the implications of these findings, emphasizing that an understanding of calibration beyond simple aggregate measures is crucial for endeavors such as fairness and model interpretability.

现在众所周知，神经网络对其预测的信心很高，导致校准不良。弥补这一点的最常见的事后方法是执行温度缩放，这可以通过将逻辑缩放为固定值来调整任何输入的预测的信心。尽管这种方法通常会改善整个测试数据集中的平均校准，但无论给定输入的分类是否正确还是不正确，这种改进通常会降低预测的个人信心。有了这种见解，我们将方法基于这样的观察结果，即不同的样品通过不同的量导致校准误差，有些人需要提高其信心，而另一些则需要减少它。因此，对于每个输入，我们建议预测不同的温度值，从而使我们能够调整较细性的置信度和准确性之间的不匹配。此外，我们观察到了OOD检测结果的改善，还可以提取数据点的硬度概念。我们的方法是在事后应用的，因此使用很少的计算时间和可忽略不计的记忆足迹，并应用于现成的预训练的分类器。我们使用CIFAR10/100和TINY-IMAGENET数据集对RESNET50和WIDERESNET28-10架构进行测试，这表明在整个测试集中产生每数据点温度也有益于预期的校准误差。代码可在以下网址获得：https：//github.com/thwjoy/adats。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

在本文中，我们研究了现代神经网络的事后校准，这个问题近年来引起了很多关注。已经为任务提出了许多不同复杂性的校准方法，但是关于这些任务的表达方式尚无共识。我们专注于置信度缩放的任务，特别是在概括温度缩放的事后方法上，我们将其称为自适应温度缩放家族。我们分析了改善校准并提出可解释方法的表达功能。我们表明，当有大量数据复杂模型（例如神经网络）产生更好的性能时，但是当数据量受到限制时，很容易失败，这是某些事后校准应用（例如医学诊断）的常见情况。我们研究表达方法在理想条件和设计更简单的方法下学习但对这些表现良好的功能具有强烈的感应偏见的功能。具体而言，我们提出了基于熵的温度缩放，这是一种简单的方法，可根据其熵缩放预测的置信度。结果表明，与其他方法相比，我们的方法可获得最先进的性能，并且与复杂模型不同，它对数据稀缺是可靠的。此外，我们提出的模型可以更深入地解释校准过程。