具有微分方程的机械模型是机器学习科学应用的关键组成部分。这种模型中的推论通常在计算上是要求的，因为它涉及重复求解微分方程。这里的主要问题是数值求解器很难与标准推理技术结合使用。概率数字中的最新工作已经开发了一类新的用于普通微分方程（ODE）的求解器，该方程式直接用贝叶斯过滤词来表达解决方案过程。我们在这里表明，这允许将此类方法与概念和数值易于宽容地结合在一起，并在ODE本身中与潜在力模型结合在一起。然后，可以在潜在力和ode溶液上执行近似贝叶斯推断，并在一个线性复杂度传递中进行扩展的卡尔曼滤波器 /更平滑的线性复杂度，也就是说，以计算单个ODE解决方案为代价。我们通过培训表明了算法的表达和性能，以及其他训练中的非参数SIRD模型。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

我们开发了一种基于嘈杂观测值的时空动力学模型的完全贝叶斯学习和校准的方法。通过将观察到的数据与机械系统的模拟计算机实验融合信息来实现校准。联合融合使用高斯和非高斯州空间方法以及高斯工艺回归。假设动态系统受到有限的输入收集的控制，高斯过程回归通过许多训练运行来了解这些参数的效果，从而推动了时空状态空间组件的随机创新。这可以在空间和时间上对动态进行有效的建模。通过减少的高斯过程和共轭模型规范，我们的方法适用于大规模校准和反问题。我们的方法是一般，可扩展的，并且能够学习具有潜在模型错误指定的各种动力系统。我们通过解决普通和部分非线性微分方程的分析中产生的反问题来证明这种灵活性，此外，还可以在网络上生成时空动力学的黑盒计算机模型。

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

动机：我们考虑通过过渡率矩阵$ Q $ indeClation-ratix $ q $描述动态系统的连续时间马尔可夫链，这取决于参数$ \ theta $。以时间为$ t $计算常态概率分布需要矩阵指数$ \ exp（tq）$，并推断$ \ theta $从数据需要它的衍生$ \ partial \ exp \！（tq）/ \ partial \ theta $ 。两者都在挑战，在状态空间和Q $的大小巨大时计算。当状态空间由几个交互离散变量的值的所有组合组成时，可能会发生这种情况。通常它甚至不可能储存$ q $。但是，当$ Q ​​$可以作为张量产品的总和写入时，计算$ \ exp（TQ）$可通过均匀化方法变得可行，这不需要显式存储$ q $。结果：在这里，我们提供了一种用于计算$ \ Partial \ exp \！（TQ）/ \ Partial \ Theta $，差异化均匀化方法的类似算法。我们展示了我们对流行病蔓延的随机SIR模型的算法，我们认为$ Q $可以作为张量产品的总和。我们在奥地利的Covid-19流行病的第一波浪潮中估计了每月感染和恢复利率，并在全面的贝叶斯分析中量化了他们的不确定性。可用性：实现和数据在https://github.com/spang-lab/tensir中获得。

最近的机器学习进展已直接从数据中直接提出了对未知连续时间系统动力学的黑盒估计。但是，较早的作品基于近似ODE解决方案或点估计。我们提出了一种新型的贝叶斯非参数模型，该模型使用高斯工艺直接从数据中直接从数据中推断出未知ODE系统的后代。我们通过脱钩的功能采样得出稀疏的变异推断，以表示矢量场后代。我们还引入了一种概率的射击增强，以从任意长的轨迹中有效推断。该方法证明了计算矢量场后代的好处，预测不确定性得分优于多个ODE学习任务的替代方法。

流行病学中的数学模型是一种不可或缺的工具，可以确定传染病的动态和重要特征。除了他们的科学价值之外，这些模型通常用于在正在进行的爆发期间提供政治决策和干预措施。然而，通过将复杂模型连接到真实数据来可靠地推断正在进行的爆发的动态仍然很难，并且需要费力的手动参数拟合或昂贵的优化方法，这些方法必须从划痕中重复给定模型的每个应用。在这项工作中，我们用专门的神经网络的流行病学建模的新组合来解决这个问题。我们的方法需要两个计算阶段：在初始训练阶段中，描述该流行病的数学模型被用作神经网络的教练，该主管是关于全球可能疾病动态的全球知识。在随后的推理阶段，训练有素的神经网络处理实际爆发的观察到的数据，并且揭示了模型的参数，以便实际地再现观察到的动态并可可靠地预测未来的进展。通过其灵活的框架，我们的仿真方法适用于各种流行病学模型。此外，由于我们的方法是完全贝叶斯的，它旨在纳入所有可用的关于合理参数值的先前知识，并返回这些参数上的完整关节后部分布。我们的方法在德国的早期Covid-19爆发阶段的应用表明，我们能够获得可靠的概率估计对重要疾病特征，例如生成时间，未检测到的感染部分，症状发作前的传播可能性，以及报告延迟非常适中的现实观测。

物理启发的潜力模型为纯粹的数据驱动工具提供可解释的替代品，用于动态系统的推断。它们携带微分方程的结构和高斯过程的灵活性，产生可解释的参数和动态施加的潜在功能。然而，与这些模型相关联的现有推理技术依赖于在分析形式中很少可用的后内核术语的精确计算。大多数与从业者相关的应用程序，例如Hill方程或扩散方程，因此是棘手的。在本文中，我们通过提出对一般类非线性和抛物面部分微分方程潜力模型的变分解决方案来克服这些计算问题。此外，我们表明，神经操作员方法可以将我们的模型扩展到数千个实例，实现快速，分布式计算。我们通过在几个任务中实现竞争性能，展示了我们框架的效力和灵活性，其中核的核心不同程度的遗传性。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

解决扩大流行病学推断对复杂和异质模型的挑战，我们引入了泊松近似可能性（PAL）方法。 PAL是从有限人口，随机隔室模型的近似滤波方程中得出的，并且较大的人口限制驱动了最大PAL估计器的一致性。我们的理论结果似乎是基于大量的部分观察到的关于大量人群限制的部分随机隔室模型的第一个基于可能性的参数估计一致性结果。与基于仿真的方法（例如近似贝叶斯计算和顺序蒙特卡洛）相比，PALS易于实现，仅涉及基本算术操作，而无需调整参数。并快速评估，不需要模型的模拟，并且具有与人口规模无关的计算成本。通过示例，我们演示了PAL的如何：嵌入延迟的接受粒子马尔可夫链蒙特卡洛中以促进贝叶斯的推断；用于拟合流感的年龄结构化模型，利用Stan的自动分化；并应用于校准麻疹的空间元群模型。

在科学技术的许多领域中，从数据中提取理事物理学是一个关键挑战。方程发现的现有技术取决于输入和状态测量。但是，实际上，我们只能访问输出测量。我们在这里提出了一个新的框架，用于从输出测量中学习动态系统的物理学；这本质上将物理发现问题从确定性转移到随机域。提出的方法将输入模拟为随机过程，并将随机演算，稀疏学习算法和贝叶斯统计的概念融合在一起。特别是，我们将稀疏性结合起来，促进尖峰和平板先验，贝叶斯法和欧拉·马鲁山（Euler Maruyama）计划，以从数据中识别统治物理。最终的模型高效，可以进行稀疏，嘈杂和不完整的输出测量。在涉及完整状态测量和部分状态测量的几个数值示例中说明了所提出方法的功效和鲁棒性。获得的结果表明，拟议方法仅从产出测量中识别物理学的潜力。

Mathematical models of cognition are often memoryless and ignore potential fluctuations of their parameters. However, human cognition is inherently dynamic, regardless of the reference time scale. Thus, we propose to augment mechanistic cognitive models with a temporal dimension and estimate the resulting dynamics from a superstatistics perspective. In its simplest form, such a model entails a hierarchy between a low-level observation model and a high-level transition model. The observation model describes the local behavior of a system, and the transition model specifies how the parameters of the observation model evolve over time. To overcome the estimation challenges resulting from the complexity of superstatistical models, we develop and validate a simulation-based deep learning method for Bayesian inference, which can recover both time-varying and time-invariant parameters. We first benchmark our method against two existing frameworks capable of estimating time-varying parameters. We then apply our method to fit a dynamic version of the diffusion decision model to long time series of human response times data. Our results show that the deep learning approach is very efficient in capturing the temporal dynamics of the model. Furthermore, we show that the erroneous assumption of static or homogeneous parameters will hide important temporal information.

逆问题本质上是普遍存在的，几乎在科学和工程的几乎所有领域都出现，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法，通过将逆问题提出为统计框架。但是，当推断具有大幅度的离散表示的字段（所谓的“维度的诅咒”）和/或仅以先前获取的解决方案的形式可用时。在这项工作中，我们提出了一种新的方法，可以使用深层生成模型进行有效，准确的贝叶斯反转。具体而言，我们证明了如何使用生成对抗网络（GAN）在贝叶斯更新中学到的近似分布，并在GAN的低维度潜在空间中重新解决所得的推断问题，从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学，并且被证明可以通过可靠的不确定性估计得出准确的结果，即使没有有关基础噪声模型的信息，这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性，包括合成和实验观察到的数据。

语境。斑点检测是天文学中的常见问题。一个例子是在恒星种群建模中，其中从观察结果推断出星系中恒星年龄和金属性的分布。在这种情况下，斑点可能对应于原位的恒星与从卫星中吸收的恒星相对应，而BLOB检测的任务是解散这些组件。当分布带来重大不确定性时，就会出现一个困难，就像从未解决的恒星系统的建模光谱中推断出的恒星种群的情况一样。目前没有不确定性检测BLOB检测的令人满意的方法。目标。我们介绍了一种在恒星系统综合光谱的恒星种群建模的背景下开发的不确定性感知斑点检测方法。方法。我们为经典的blob检测方法的经典laplacian方法的不确定性感知版本开发了理论和计算工具，我们称之为ULOG。这确定了考虑各种尺度的重要斑点。作为将ULOG应用于恒星种群建模的先决条件，我们引入了一种有效计算光谱建模不确定性的方法。该方法基于截断的奇异值分解和马尔可夫链蒙特卡洛采样（SVD-MCMC）。结果。我们将方法应用于星团M54的数据。我们表明，SVD-MCMC推断与标准MCMC的推断相匹配，但计算速度更快。我们将ULOG应用于推断的M54年龄/金属性分布，识别其恒星中的2或3个显着不同的种群。

随机微分方程（SDE）用于描述各种复杂的随机动力学系统。学习SDE中的隐藏物理学对于揭示对这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活且可扩展的框架，用于训练人工神经网络，以学习代表SDE中隐藏物理的本构方程。所提出的随机物理学的神经普通微分方程框架（Spinode）通过已知的SDE结构（即已知的物理学）传播随机性，以产生一组确定性的ODE，以描述随机状态的统计矩的时间演变。然后，Spinode使用ODE求解器预测矩轨迹。 Spinode通过将预测的矩与从数据估计的矩匹配来学习隐藏物理的神经网络表示。利用了自动分化和微型批次梯度下降的最新进展，并利用了伴随灵敏度，以建立神经网络的未知参数。我们在三个基准内案例研究上展示了Spinod，并分析了框架的数值鲁棒性和稳定性。 Spinode提供了一个有希望的新方向，用于系统地阐明具有乘法噪声的多元随机动力学系统的隐藏物理。

神经密度估计值证明在各种研究领域进行高效的仿真贝叶斯推理方面具有显着强大。特别是，Bayesflow框架使用两步方法来实现在仿真程序隐式地定义似然函数的设置中的摊销参数估计。但是当模拟是现实差的差异时，这种推断是多么忠实？在本文中，我们概念化了基于模拟的推论中出现的模型误操作的类型，并系统地研究了这些误操作下的Bayesflow框架的性能。我们提出了一个增强优化目标，它对潜伏数据空间上的概率结构施加了概率结构，并利用了最大平均差异（MMD）来检测推理期间的可能灾难性的误操作，破坏了所获得的结果的有效性。我们验证了许多人工和现实的误操作的检测标准，从玩具共轭模型到复杂的决策和疾病爆发动态的复杂模型应用于实际数据。此外，我们表明后部推理误差随着真实数据生成分布与潜在摘要空间中的典型模拟集之间的常数而增加。因此，我们展示了MMD的双重实用性作为检测模型误操作的方法和作为验证摊销贝叶斯推理的忠实性的代理。

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

了解Covid-19的传播是众多研究的主题，突出了可靠的流行模型的重要性。在这里，我们使用带有时间协变量的潜在霍克斯工艺引入了一种新型的流行模型，用于建模感染。与其他模型不同，我们通过基础霍克斯过程驱动的概率分布进行对报告的案例进行建模。通过霍克斯过程对感染进行建模，使我们能够估计受感染的人感染的人。我们提出了一个内核密度颗粒滤波器（KDPF），以推断潜在病例和繁殖数，并在不久的将来预测新病例。计算工作与感染的数量成正比，使使用粒子滤波器类型算法（例如KDPF）成为可能。我们证明了拟议的算法对合成数据集的性能，而Covid-19报告了英国各个地方当局的病例，并将我们的模型基于替代方法。