在建立工程基础设施的预测模型时，提出了人群级分析来解决数据稀疏性。利用可解释的层次贝叶斯方法和操作车队数据，域专业知识是自然编码（并适当共享）在不同的子组之间，代表（i）使用型，（ii）组件或（iii）操作条件。具体而言，利用领域专业知识来通过假设（和先前的分布）来限制模型，从而使该方法可以自动共享相似资产之间的信息，从而改善了对风电场中卡车机队和权力预测的生存分析。在每个资产管理示例中，在合并的推理中学习了一组相关的功能，以学习人口模型。当允许子型在层次结构中的不同级别共享相关信息时，参数估计得到改善。反过来，数据不完整的组会自动从数据丰富的组中借用统计强度。统计相关性使知识转移能够通过贝叶斯转移学习，并且可以检查相关性，以告知哪些资产共享有关哪些效果（即参数）的信息。两种案例研究的成功都证明了实践基础设施监测的广泛适用性，因为该方法自然适应了不同原位示例的可解释的车队模型。

功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控，维护，设计和规划方面证明是有用的。然而，在实践中，测量并不总是对应于理想曲线：电源缩减将显示为（附加）功能组件。这种多值关系不能通过常规回归建模，并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法，可以在缩减电力数据中推断多值关系。使用基于人群的方法，将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型，以便在整个人口中提供精确的实际功率数据表示。

在过去的三十年中，结构性健康监测（SHM）一直是一个活跃的研究领域，并且在此期间积累了许多关键进展，如文献所示。但是，由于损害状态数据，操作和环境波动，可重复性问题以及边界条件的变化，SHM仍然面临挑战。这些问题在被捕获的功能中是不一致的，并且可能会对实际实施产生巨大影响，但更重要的是对技术的概括。基于人群的SHM旨在通过使用从相似结构组收集的数据对缺失信息进行建模和传输信息来解决其中的一些问题。在这项工作中，从四个健康的，名义上相同的全尺度复合直升机叶片收集了振动数据。制造差异（例如，几何形状和/或材料属性的略有差异），在其结构动力学上显示为可变性，这对于基于振动数据的机器学习而对SHM来说可能非常有问题。这项工作旨在通过使用高斯过程的混合物来定义叶片的频率响应函数的通用模型来解决此变异性。

分类模型是物理资产管理技术的基本组成部分，如结构健康监测（SHM）系统和数字双胞胎。以前的工作介绍了\ Texit {基于风险的主动学习}，一种在线方法，用于开发考虑它们所应用的决策支持上下文的统计分类器。通过优先查询数据标签来考虑决策，根据\ Textit {完美信息的预期值}（EVPI）。虽然通过采用基于风险的主动学习方法获得了几种好处，但包括改进的决策性能，但算法遭受与引导查询过程的采样偏差有关的问题。这种采样偏差最终表现为在主动学习后的后期阶段的决策表现的下降，这又对应于丢失的资源/实用程序。目前的论文提出了两种新方法来抵消采样偏置的影响：\纺织{半监督学习}，以及\ extentit {鉴别的分类模型}。首先使用合成数据集进行这些方法，然后随后应用于实验案例研究，具体地，Z24桥数据集。半监督学习方法显示有变量性能;具有稳健性，对采样偏置依赖于对每个数据集选择模型所选择的生成分布的适用性。相反，判别分类器被证明对采样偏压的影响具有优异的鲁棒性。此外，发现在监控运动期间进行的检查数，因此可以通过仔细选择决策支持监测系统中使用的统计分类器的仔细选择来减少。

引入了涉及高斯流程（GPS）的模型，以同时处理多个功能数据的多任务学习，聚类和预测。该过程充当了功能数据的基于模型的聚类方法，也是对新任务进行后续预测的学习步骤。该模型是将多任务GPS与常见平均过程的混合物实例化。得出了一种用于处理超参数的优化以及超构件对潜在变量和过程的估计的优化。我们建立了明确的公式，用于将平均过程和潜在聚类变量整合到预测分布中，这是两个方面的不确定性。该分布定义为集群特异性GP预测的混合物，在处理组结构数据时，可以增强性能。该模型处理观察的不规则网格，并提供了关于协方差结构的不同假设，用于在任务之间共享其他信息。聚类和预测任务上的性能将通过各种模拟方案和真实数据集进行评估。总体算法称为magmaclust，可公开作为R包。

在过去二十年中，识别具有不同纵向数据趋势的群体的方法已经成为跨越许多研究领域的兴趣。为了支持研究人员，我们总结了文献关于纵向聚类的指导。此外，我们提供了一种纵向聚类方法，包括基于基团的轨迹建模（GBTM），生长混合模拟（GMM）和纵向K平均值（KML）。该方法在基本级别引入，并列出了强度，限制和模型扩展。在最近数据收集的发展之后，将注意这些方法的适用性赋予密集的纵向数据（ILD）。我们展示了使用R.中可用的包在合成数据集上的应用程序的应用。

作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。

制定和实施结构健康监测系统的主要动机是获得有关制定结构和维护结构和维护的能力的前景。遗憾的是，对于对应于感兴趣结构的健康状态信息的测量数据的描述性标签很少在监控系统之前可用。该问题限制了传统监督和无监督方法对机器学习的适用性，以便在统计分类机制下进行决策支持SHM系统。本文提出了一种基于风险的主动学习的制定，其中类标签信息的查询被每个初期数据点的所述信息的预期值引导。当应用于结构性健康监测时，可以将类标签查询映射到兴趣结构的检查中，以确定其健康状态。在本文中，通过代表数值示例解释和可视化基于风险的主动学习过程，随后应用于Z24桥梁基准。案例研究结果表明，通过统计分类器的基于风险的主动学习可以改善决策者的性能，从而考虑决策过程本身。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

随机微分方程的系统定义了一系列随机波动率模型。尽管这些模型在金融和统计气候学等领域中取得了广泛的成功，但它们通常缺乏在历史数据上条件产生真正的后验分布的能力。为了解决这一基本限制，我们展示了如何将一类随机波动率模型重新塑造为具有专门协方差函数的层次高斯工艺（GP）模型。该GP模型保留了随机波动率模型的电感偏差，同时提供了GP推断给出的后验预测分布。在此框架内，我们从研究良好的域中汲取灵感，以引入新的型号，即Volt和Magpie，这些模型在库存和风速预测中的表现明显超过了基线，并且自然扩展到多任务设置。

在结构健康监测中使用机器学习的情况变得越来越普遍，因为许多固有的任务（例如回归和分类）在开发基于条件的评估中自然而然地属于其职责。本章介绍了物理知识的机器学习概念，其中人们适应ML算法来说明工程师通常会试图建模或评估的结构。本章将演示将基于物理学的模型与数据驱动的模型相结合的灰色盒模型如何在SHM设置中提高预测能力。此处证明的方法的特殊优势是模型的推广能力，并具有在不同制度中增强的预测能力。这是一项需要评估的关键问题，或者监视数据不涵盖结构将经历的操作条件。本章将概述物理知识的ML，并在贝叶斯环境中引入了许多用于灰色盒子建模的方法。讨论的主要ML工具将是高斯过程回归，我们将证明如何通过约束，平均功能和内核设计以及最终在状态空间设置中通过约束来合并物理假设/模型。将展示一系列SHM应用程序，从负载监视离岸和航空航天结构的负载任务到长跨度桥梁的性能监控。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数，该变量是基于描述气候，生物圈和环境状态的预测变量的。通常，这些分位数位于可观察数据的范围之内，因此，为了估算，需要在回归框架内规范参数极值模型。在这种情况下，经典方法利用预测变量和响应变量之间的线性或加性关系，并在其预测能力或计算效率中受苦；此外，它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中，我们提出了一个新的方法学框架，用于使用人工中性网络执行极端分位回归，该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此，我们将线性和加法模型的各个方面与深度学习相结合，以创建可解释的神经网络，这些神经网络可用于统计推断，但保留了高预测准确性。为了补充这种方法，我们进一步提出了一个新颖的点过程模型，以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了，我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。

机器学习方法的最新进展以及扫描探针显微镜（SPMS）的可编程接口的新兴可用性使自动化和自动显微镜在科学界的关注方面推向了最前沿。但是，启用自动显微镜需要开发特定于任务的机器学习方法，了解物理发现与机器学习之间的相互作用以及完全定义的发现工作流程。反过来，这需要平衡领域科学家的身体直觉和先验知识与定义实验目标和机器学习算法的奖励，这些算法可以将它们转化为特定的实验协议。在这里，我们讨论了贝叶斯活跃学习的基本原理，并说明了其对SPM的应用。我们从高斯过程作为一种简单的数据驱动方法和对物理模型的贝叶斯推断作为基于物理功能的扩展的贝叶斯推断，再到更复杂的深内核学习方法，结构化的高斯过程和假设学习。这些框架允许使用先验数据，在光谱数据中编码的特定功能以及在实验过程中表现出的物理定律的探索。讨论的框架可以普遍应用于结合成像和光谱，SPM方法，纳米识别，电子显微镜和光谱法以及化学成像方法的所有技术，并且对破坏性或不可逆测量的影响特别影响。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.