高斯过程回归是一种基于给定数据预测状态的强大方法。它已成功应用于结构系统的概率预测，以量化机械结构中的裂纹生长。通常，采用预定义的平均值和协方差函数来构建高斯过程模型。然后，在操作过程中使用当前数据更新模型，而基于先前数据的先验信息将被忽略。然而，没有事先信息的预定质量平均值和协方差函数降低了高斯过程的潜力。本文提出了一种改善高斯过程的预测能力的方法。我们通过从先前数据中得出平均值和协方差函数来整合先验知识。更具体地说，我们首先通过基础函数的加权总和近似于先前的数据，然后直接从估计的权重系数中得出平均值和协方差函数。基本函数可以估计或从特定问题的管理方程式中得出，以合并物理信息。该方法的适用性和有效性被证明用于疲劳裂纹生长，激光降解和铣床磨损数据。我们表明，像以前的数据一样，精心挑选的平均值和协方差函数可显着增加图形和准确性。使用物理基础功能进一步提高了准确性。此外，训练的计算工作大大减少。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

In a fissile material, the inherent multiplicity of neutrons born through induced fissions leads to correlations in their detection statistics. The correlations between neutrons can be used to trace back some characteristics of the fissile material. This technique known as neutron noise analysis has applications in nuclear safeguards or waste identification. It provides a non-destructive examination method for an unknown fissile material. This is an example of an inverse problem where the cause is inferred from observations of the consequences. However, neutron correlation measurements are often noisy because of the stochastic nature of the underlying processes. This makes the resolution of the inverse problem more complex since the measurements are strongly dependent on the material characteristics. A minor change in the material properties can lead to very different outputs. Such an inverse problem is said to be ill-posed. For an ill-posed inverse problem the inverse uncertainty quantification is crucial. Indeed, seemingly low noise in the data can lead to strong uncertainties in the estimation of the material properties. Moreover, the analytical framework commonly used to describe neutron correlations relies on strong physical assumptions and is thus inherently biased. This paper addresses dual goals. Firstly, surrogate models are used to improve neutron correlations predictions and quantify the errors on those predictions. Then, the inverse uncertainty quantification is performed to include the impact of measurement error alongside the residual model bias.

在这项工作中，我们提出了一个新的高斯进程回归（GPR）方法：物理信息辅助Kriging（PHIK）。在标准数据驱动的Kriging中，感兴趣的未知功能通常被视为高斯过程，其中具有假定的静止协方差，其具有从数据估计的QuandEdmente。在PHIK中，我们从可用随机模型的实现中计算平均值和协方差函数，例如，从管理随机部分微分方程解决方案的实现。这种构造的高斯过程通常是非静止的，并且不承担特定形式的协方差。我们的方法避免了数据驱动的GPR方法中的优化步骤来识别超参数。更重要的是，我们证明了确定性线性操作员形式的物理约束在得到的预测中保证。当在随机模型实现中包含错误时，我们还提供了保留物理约束时的误差估计。为了降低获取随机模型的计算成本，我们提出了一种多级蒙特卡罗估计的平均和协方差函数。此外，我们介绍了一种有源学习算法，指导选择附加观察位置。 PHIK的效率和准确性被证明重建部分已知的修饰的Branin功能，研究三维传热问题，并从稀疏浓度测量学习保守的示踪剂分布。

在过去的三十年中，结构性健康监测（SHM）一直是一个活跃的研究领域，并且在此期间积累了许多关键进展，如文献所示。但是，由于损害状态数据，操作和环境波动，可重复性问题以及边界条件的变化，SHM仍然面临挑战。这些问题在被捕获的功能中是不一致的，并且可能会对实际实施产生巨大影响，但更重要的是对技术的概括。基于人群的SHM旨在通过使用从相似结构组收集的数据对缺失信息进行建模和传输信息来解决其中的一些问题。在这项工作中，从四个健康的，名义上相同的全尺度复合直升机叶片收集了振动数据。制造差异（例如，几何形状和/或材料属性的略有差异），在其结构动力学上显示为可变性，这对于基于振动数据的机器学习而对SHM来说可能非常有问题。这项工作旨在通过使用高斯过程的混合物来定义叶片的频率响应函数的通用模型来解决此变异性。

我们引入了一个计算有效的数据驱动框架，适合量化物理参数中的不确定性和计算机模型的模型公式，以微分方程为代表。我们构建了物理知识的先验，它们是多输出的GP先验，它们在协方差函数中编码模型的结构。我们将其扩展到一个完全贝叶斯的框架中，该框架量化了物理参数和模型预测的不确定性。由于物理模型通常是对实际过程的不完美描述，因此我们允许该模型通过考虑差异函数来偏离观察到的数据。为了获得后验分布，我们使用汉密尔顿蒙特卡洛采样。我们在使用血液动力学模型的仿真研究中证明了我们的方法，这些模型是时间依赖的微分方程。与我们的建模选择更复杂的模型模拟数据，目的是根据已知的数学连接学习物理参数。为了证明我们的方法的灵活性（使用热方程式的示例），还包括一个时空依赖的微分方程，其中还包括我们考虑偏见的数据收购过程的情况。最后，我们使用医学试验中获得的实际数据符合血液动力学模型。

作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

物理受限的机器学习正在成为物理机器学习领域的重要主题。将物理限制纳入机器学习方法的最重要的优势之一是，由此产生的模型需要较少的数据训练。通过将物理规则纳入机器学习配方本身，预计预测将在物理上合理。高斯流程（GP）可能是小型数据集的机器学习中最常见的方法之一。在本文中，我们研究了在三个不同的材料数据集上限制具有单调性的GP公式的可能性，其中使用了一个实验和两个计算数据集。比较单调的GP与常规GP进行比较，该GP观察到后方差的显着降低。单调的GP在插值方面严格单调性，但是在外推方案中，随着训练数据集超越训练数据集，单调效应开始消失。与常规GP相比，GP对GP的单调性施加的精度为较小。单调的GP可能在数据稀缺和嘈杂的应用中最有用，并且由强有力的物理证据支持单调性。

我们引入了一种新颖的方式，将增强功能与高斯工艺和混合效应模型相结合。首先，在高斯过程中先前的平均函数的零或线性假设可以放松，并以灵活的非参数方式分组随机效应模型，其次，第二个在大多数增强算法中做出的独立性假设。前者有利于预测准确性和避免模型错误。后者对于有效学习固定效应预测函数和获得概率预测很重要。我们提出的算法也是用于处理培养树木中高心电图分类变量的新颖解决方案。此外，我们提出了一个扩展名，该扩展是使用维奇亚近似为高斯工艺模型缩放到大数据的，该模型依靠新的结果进行协方差参数推断。与几个模拟和现实世界数据集的现有方法相比，我们获得了提高的预测准确性。

我们开发了一个计算程序，以估计具有附加噪声的半摩托车高斯过程回归模型的协方差超参数。也就是说，提出的方法可用于有效估计相关误差的方差，以及基于最大化边际似然函数的噪声方差。我们的方法涉及适当地降低超参数空间的维度，以简化单变量的根发现问题的估计过程。此外，我们得出了边际似然函数及其衍生物的边界和渐近线，这对于缩小高参数搜索的初始范围很有用。使用数值示例，我们证明了与传统参数优化相比，提出方法的计算优势和鲁棒性。

Machine learning models can be improved by adapting them to respect existing background knowledge. In this paper we consider multitask Gaussian processes, with background knowledge in the form of constraints that require a specific sum of the outputs to be constant. This is achieved by conditioning the prior distribution on the constraint fulfillment. The approach allows for both linear and nonlinear constraints. We demonstrate that the constraints are fulfilled with high precision and that the construction can improve the overall prediction accuracy as compared to the standard Gaussian process.

功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控，维护，设计和规划方面证明是有用的。然而，在实践中，测量并不总是对应于理想曲线：电源缩减将显示为（附加）功能组件。这种多值关系不能通过常规回归建模，并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法，可以在缩减电力数据中推断多值关系。使用基于人群的方法，将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型，以便在整个人口中提供精确的实际功率数据表示。

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

The saddle point (SP) calculation is a grand challenge for computationally intensive energy function in computational chemistry area, where the saddle point may represent the transition state (TS). The traditional methods need to evaluate the gradients of the energy function at a very large number of locations. To reduce the number of expensive computations of the true gradients, we propose an active learning framework consisting of a statistical surrogate model, Gaussian process regression (GPR) for the energy function, and a single-walker dynamics method, gentle accent dynamics (GAD), for the saddle-type transition states. SP is detected by the GAD applied to the GPR surrogate for the gradient vector and the Hessian matrix. Our key ingredient for efficiency improvements is an active learning method which sequentially designs the most informative locations and takes evaluations of the original model at these locations to train GPR. We formulate this active learning task as the optimal experimental design problem and propose a very efficient sample-based sub-optimal criterion to construct the optimal locations. We show that the new method significantly decreases the required number of energy or force evaluations of the original model.

我们考虑使用高斯工艺（GP）先验在贝叶斯框架中解决反问题。众所周知，GPS的计算复杂性在数据点数中立方缩放。我们在这里表明，在涉及整体操作员的反问题的背景下，人们面临的其他困难阻碍了大网格上的倒置。此外，在这种情况下，协方差矩阵可能会变得太大而无法存储。通过利用有关高斯措施的顺序分解的结果，我们能够引入后协方差矩阵的隐式表示，该矩阵仅通过存储低级中间矩阵来降低记忆足迹，同时允许在不用的情况下访问单个元素建立完整的后协方差矩阵。此外，它允许快速顺序包含新的观测值。在考虑顺序实验设计任务时，这些功能至关重要。我们通过计算重量逆问题的偏移集合恢复的顺序数据收集计划来证明我们的方法，该计划的目标是提供意大利Stromboli火山内高密度区域的精细分辨率估计。顺序数据收集计划是通过将加权集成方差降低（WIVR）标准扩展到反问题来计算的。我们的结果表明，该标准能够显着减少偏移量的不确定性，达到接近最小的残余不确定性水平。总体而言，我们的技术允许将概率模型的优势带到自然科学中引起的大规模逆问题上。

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

在结构健康监测中使用机器学习的情况变得越来越普遍，因为许多固有的任务（例如回归和分类）在开发基于条件的评估中自然而然地属于其职责。本章介绍了物理知识的机器学习概念，其中人们适应ML算法来说明工程师通常会试图建模或评估的结构。本章将演示将基于物理学的模型与数据驱动的模型相结合的灰色盒模型如何在SHM设置中提高预测能力。此处证明的方法的特殊优势是模型的推广能力，并具有在不同制度中增强的预测能力。这是一项需要评估的关键问题，或者监视数据不涵盖结构将经历的操作条件。本章将概述物理知识的ML，并在贝叶斯环境中引入了许多用于灰色盒子建模的方法。讨论的主要ML工具将是高斯过程回归，我们将证明如何通过约束，平均功能和内核设计以及最终在状态空间设置中通过约束来合并物理假设/模型。将展示一系列SHM应用程序，从负载监视离岸和航空航天结构的负载任务到长跨度桥梁的性能监控。

我们考虑了从一个示例轨迹中学习$ dx_t = f（x_t）dt+sigma（x_t）dw_t $的形式的随机微分方程的问题。这个问题比学习确定性动力学系统更具挑战性，因为一个示例轨迹仅提供有关未知功能$ f $，$ \ sigma $的间接信息，而随机过程$ dw_t $代表漂移，扩散和随机强迫术语，强迫术语，，分别。我们为此问题提出了一个简单的基于内核的解决方案，可以分解如下：（1）表示时间添加映射$ x_t \ rightarrow x_ {t+dt} $作为计算图，其中$ f $，$ \ \ Sigma $和$ DW_T $作为未知功能和随机变量出现。 （2）通过在未知函数上使用高斯过程（GP）先验的最大后验估计（给定数据）来完成图（近似未知的函数和随机变量）。 （3）从具有随机交叉验证的数据中学习GP先验的协方差函数（内核）。数值实验说明了我们方法的功效，鲁棒性和范围。