非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

在结构健康监测中使用机器学习的情况变得越来越普遍，因为许多固有的任务（例如回归和分类）在开发基于条件的评估中自然而然地属于其职责。本章介绍了物理知识的机器学习概念，其中人们适应ML算法来说明工程师通常会试图建模或评估的结构。本章将演示将基于物理学的模型与数据驱动的模型相结合的灰色盒模型如何在SHM设置中提高预测能力。此处证明的方法的特殊优势是模型的推广能力，并具有在不同制度中增强的预测能力。这是一项需要评估的关键问题，或者监视数据不涵盖结构将经历的操作条件。本章将概述物理知识的ML，并在贝叶斯环境中引入了许多用于灰色盒子建模的方法。讨论的主要ML工具将是高斯过程回归，我们将证明如何通过约束，平均功能和内核设计以及最终在状态空间设置中通过约束来合并物理假设/模型。将展示一系列SHM应用程序，从负载监视离岸和航空航天结构的负载任务到长跨度桥梁的性能监控。

在科学技术的许多领域中，从数据中提取理事物理学是一个关键挑战。方程发现的现有技术取决于输入和状态测量。但是，实际上，我们只能访问输出测量。我们在这里提出了一个新的框架，用于从输出测量中学习动态系统的物理学；这本质上将物理发现问题从确定性转移到随机域。提出的方法将输入模拟为随机过程，并将随机演算，稀疏学习算法和贝叶斯统计的概念融合在一起。特别是，我们将稀疏性结合起来，促进尖峰和平板先验，贝叶斯法和欧拉·马鲁山（Euler Maruyama）计划，以从数据中识别统治物理。最终的模型高效，可以进行稀疏，嘈杂和不完整的输出测量。在涉及完整状态测量和部分状态测量的几个数值示例中说明了所提出方法的功效和鲁棒性。获得的结果表明，拟议方法仅从产出测量中识别物理学的潜力。

机器学习方法的最新进展以及扫描探针显微镜（SPMS）的可编程接口的新兴可用性使自动化和自动显微镜在科学界的关注方面推向了最前沿。但是，启用自动显微镜需要开发特定于任务的机器学习方法，了解物理发现与机器学习之间的相互作用以及完全定义的发现工作流程。反过来，这需要平衡领域科学家的身体直觉和先验知识与定义实验目标和机器学习算法的奖励，这些算法可以将它们转化为特定的实验协议。在这里，我们讨论了贝叶斯活跃学习的基本原理，并说明了其对SPM的应用。我们从高斯过程作为一种简单的数据驱动方法和对物理模型的贝叶斯推断作为基于物理功能的扩展的贝叶斯推断，再到更复杂的深内核学习方法，结构化的高斯过程和假设学习。这些框架允许使用先验数据，在光谱数据中编码的特定功能以及在实验过程中表现出的物理定律的探索。讨论的框架可以普遍应用于结合成像和光谱，SPM方法，纳米识别，电子显微镜和光谱法以及化学成像方法的所有技术，并且对破坏性或不可逆测量的影响特别影响。

Stellar photospheric activity is known to limit the detection and characterisation of extra-solar planets. In particular, the study of Earth-like planets around Sun-like stars requires data analysis methods that can accurately model the stellar activity phenomena affecting radial velocity (RV) measurements. Gaussian Process Regression Networks (GPRNs) offer a principled approach to the analysis of simultaneous time-series, combining the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian Processes. Using HARPS-N solar spectroscopic observations encompassing three years, we demonstrate that this framework is capable of jointly modelling RV data and traditional stellar activity indicators. Although we consider only the simplest GPRN configuration, we are able to describe the behaviour of solar RV data at least as accurately as previously published methods. We confirm the correlation between the RV and stellar activity time series reaches a maximum at separations of a few days, and find evidence of non-stationary behaviour in the time series, associated with an approaching solar activity minimum.

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

使用机器学习结构的增强机械常微分方程（ODE）模型是一种新颖的方法，可以通过测量数据创建专业知识和现实的高精度，低维模型。我们的探索性研究侧重于培训具有限制循环的物理非线性动力系统的通用微分方程（UDE）模型：勃起振动振荡和电动非线性振荡器的空心罐。我们考虑通过数值模拟产生培训数据的示例，而我们还将建议的建模概念应用于物理实验，允许我们研究各种复杂性的问题。要收集培训数据，因此使用基于控制的延续的方法，因为它不仅捕获稳定，而且使用观察到的系统的不稳定限制周期。此功能使得可以提取有关观察系统的更多信息，而不是标准，开环方法允许。我们使用神经网络和高斯过程作为通用近似器，以及机械模型，对UDE建模方法的准确性和稳健性进行了关键评估。我们还突出显示可能在培训过程中遇到的潜在问题，指示当前建模框架的限制。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

A framework for creating and updating digital twins for dynamical systems from a library of physics-based functions is proposed. The sparse Bayesian machine learning is used to update and derive an interpretable expression for the digital twin. Two approaches for updating the digital twin are proposed. The first approach makes use of both the input and output information from a dynamical system, whereas the second approach utilizes output-only observations to update the digital twin. Both methods use a library of candidate functions representing certain physics to infer new perturbation terms in the existing digital twin model. In both cases, the resulting expressions of updated digital twins are identical, and in addition, the epistemic uncertainties are quantified. In the first approach, the regression problem is derived from a state-space model, whereas in the latter case, the output-only information is treated as a stochastic process. The concepts of It\^o calculus and Kramers-Moyal expansion are being utilized to derive the regression equation. The performance of the proposed approaches is demonstrated using highly nonlinear dynamical systems such as the crack-degradation problem. Numerical results demonstrated in this paper almost exactly identify the correct perturbation terms along with their associated parameters in the dynamical system. The probabilistic nature of the proposed approach also helps in quantifying the uncertainties associated with updated models. The proposed approaches provide an exact and explainable description of the perturbations in digital twin models, which can be directly used for better cyber-physical integration, long-term future predictions, degradation monitoring, and model-agnostic control.

高斯工艺（GPS）模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然（ML-II）的经典方法产生了高参数的点估计，并继续成为培训GPS的默认方法。然而，这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外，基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程，其中核心函数的超参数使用嵌套采样（NS）被边缘化，这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物（SM）粒子的回归任务，并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下，还发现嵌套的抽样在汉密尔顿蒙特卡罗（HMC）上提供了速度优势，广泛认为是基于MCMC推断的金标准。

语境。斑点检测是天文学中的常见问题。一个例子是在恒星种群建模中，其中从观察结果推断出星系中恒星年龄和金属性的分布。在这种情况下，斑点可能对应于原位的恒星与从卫星中吸收的恒星相对应，而BLOB检测的任务是解散这些组件。当分布带来重大不确定性时，就会出现一个困难，就像从未解决的恒星系统的建模光谱中推断出的恒星种群的情况一样。目前没有不确定性检测BLOB检测的令人满意的方法。目标。我们介绍了一种在恒星系统综合光谱的恒星种群建模的背景下开发的不确定性感知斑点检测方法。方法。我们为经典的blob检测方法的经典laplacian方法的不确定性感知版本开发了理论和计算工具，我们称之为ULOG。这确定了考虑各种尺度的重要斑点。作为将ULOG应用于恒星种群建模的先决条件，我们引入了一种有效计算光谱建模不确定性的方法。该方法基于截断的奇异值分解和马尔可夫链蒙特卡洛采样（SVD-MCMC）。结果。我们将方法应用于星团M54的数据。我们表明，SVD-MCMC推断与标准MCMC的推断相匹配，但计算速度更快。我们将ULOG应用于推断的M54年龄/金属性分布，识别其恒星中的2或3个显着不同的种群。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

在过去的三十年中，结构性健康监测（SHM）一直是一个活跃的研究领域，并且在此期间积累了许多关键进展，如文献所示。但是，由于损害状态数据，操作和环境波动，可重复性问题以及边界条件的变化，SHM仍然面临挑战。这些问题在被捕获的功能中是不一致的，并且可能会对实际实施产生巨大影响，但更重要的是对技术的概括。基于人群的SHM旨在通过使用从相似结构组收集的数据对缺失信息进行建模和传输信息来解决其中的一些问题。在这项工作中，从四个健康的，名义上相同的全尺度复合直升机叶片收集了振动数据。制造差异（例如，几何形状和/或材料属性的略有差异），在其结构动力学上显示为可变性，这对于基于振动数据的机器学习而对SHM来说可能非常有问题。这项工作旨在通过使用高斯过程的混合物来定义叶片的频率响应函数的通用模型来解决此变异性。

功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控，维护，设计和规划方面证明是有用的。然而，在实践中，测量并不总是对应于理想曲线：电源缩减将显示为（附加）功能组件。这种多值关系不能通过常规回归建模，并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法，可以在缩减电力数据中推断多值关系。使用基于人群的方法，将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型，以便在整个人口中提供精确的实际功率数据表示。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

具有微分方程的机械模型是机器学习科学应用的关键组成部分。这种模型中的推论通常在计算上是要求的，因为它涉及重复求解微分方程。这里的主要问题是数值求解器很难与标准推理技术结合使用。概率数字中的最新工作已经开发了一类新的用于普通微分方程（ODE）的求解器，该方程式直接用贝叶斯过滤词来表达解决方案过程。我们在这里表明，这允许将此类方法与概念和数值易于宽容地结合在一起，并在ODE本身中与潜在力模型结合在一起。然后，可以在潜在力和ode溶液上执行近似贝叶斯推断，并在一个线性复杂度传递中进行扩展的卡尔曼滤波器 /更平滑的线性复杂度，也就是说，以计算单个ODE解决方案为代价。我们通过培训表明了算法的表达和性能，以及其他训练中的非参数SIRD模型。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

各种科学和工程领域使用参数化机制模型。工程师和科学家通常可以假设几个竞争模型来解释特定的过程或现象。考虑一个模特歧视设置，我们希望找到最佳机械，动态模型候选者和最佳模型参数估计。通常，若干竞争机械模型可以解释可用数据，因此通过找到最大化模型预测发散的实验设置，可以通过找到最大化模型预测发散的实验设置来实现最佳地收集额外数据的动态实验。我们争论文献中有两种主要方法，用于解决最佳设计问题：（i）分析方法，使用线性和高斯近似来找设计目标的闭合表达式，以及（ii）数据驱动方法，这通常依赖于计算密集的蒙特卡罗技术。 olofsson等人。 （ICML 35,2018）介绍了高斯工艺（GP）替代模型来杂交的分析和数据驱动方法，这允许计算的实验设计，以识别黑盒式模型。在这项研究中，我们证明我们可以扩展现有的动态实验设计方法，以纳入更广泛的问题不确定性。我们还延伸了Olofsson等人。 （2018）使用GP代理模型来辨别动态黑盒式模型的方法。我们在文献中的着名案例研究中评估了我们的方法，并探讨了使用GP代理到近似基于梯度的方法的后果。

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。