在生物制造4.0的关键需求的驱动下，我们引入了一种概率知识图杂交模型，该模型表征了基于风险和科学的生物处理机制的理解。它可以忠实地捕获重要特性，包括非线性反应，部分观察到的状态和非平稳动力学。考虑到非常有限的实际过程观测值，我们得出了后验分布量化模型估计不确定性。为了避免评估顽固的似然，使用顺序蒙特卡洛（ABC-SMC）的近似贝叶斯计算采样可用于近似后验分布。在高随机和模型不确定性下，匹配输出轨迹在计算上昂贵。因此，我们创建了一个线性高斯动态贝叶斯网络（LG-DBN）基于辅助可能性的ABC-SMC方法。通过与可以捕获关键相互作用和变化的LG-DBN可能性驱动的摘要统计数据，所提出的算法可以加速混合模型推断，支持过程监测并促进机制学习和稳健的控制。

由细胞疗法制造的关键挑战驱动，包括高复杂性，高不确定性和非常有限的过程数据，我们提出了一个名为“Hybrid-RL”的随机优化框架，以有效地指导过程开发和控制。我们首先创建生物过程概率知识图，该知识图是一种混合模型，其特征在于了解生物制造过程机制和量化固有的随机性，例如批量到批量变化和生物过程噪声。它可以捕获关键特征，包括非线性反应，时变动力学和部分观察到的生物过程状态。该混合模型可以利用现有的机制模型，并促进从过程数据的学习。给定有限处理数据，计算采样方法用于生成量化模型估计不确定性的后样本。然后，我们介绍了混合模型的贝叶斯强化学习（RL），占固有的随机性和模型不确定性，以指导最佳，强大，可解释的决策，这可以克服细胞治疗制造的关键挑战。在实证研究中，细胞治疗制造实施例用于证明所提出的Hybrid-RL框架可以优于经典的确定性机械模型辅助过程优化。

生物制药制造业是一个快速增长的行业，几乎对所有药品分支机构产生了影响。在具有许多相互依赖因素的复杂生物过程动力学的情况下，生物制造过程需要密切监测和控制，并且由于实验的高成本以及个性化的生物毒品的新颖性，因此数据非常有限。我们开发了一种新型的基于模型的增强学习框架，该框架可以在低数据表环境中实现人级控制。该模型使用动态的贝叶斯网络来捕获因素之间的因果关系，并预测不同输入的影响如何通过生物处理机制的途径传播。这使得在模型风险上既可以解释又有坚固的过程控制策略的设计。我们提出了一种计算有效的，可证明的收敛随机梯度方法，用于优化此类策略。验证是在具有多维，连续状态变量的现实应用程序上进行的。

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。

流行病学中的数学模型是一种不可或缺的工具，可以确定传染病的动态和重要特征。除了他们的科学价值之外，这些模型通常用于在正在进行的爆发期间提供政治决策和干预措施。然而，通过将复杂模型连接到真实数据来可靠地推断正在进行的爆发的动态仍然很难，并且需要费力的手动参数拟合或昂贵的优化方法，这些方法必须从划痕中重复给定模型的每个应用。在这项工作中，我们用专门的神经网络的流行病学建模的新组合来解决这个问题。我们的方法需要两个计算阶段：在初始训练阶段中，描述该流行病的数学模型被用作神经网络的教练，该主管是关于全球可能疾病动态的全球知识。在随后的推理阶段，训练有素的神经网络处理实际爆发的观察到的数据，并且揭示了模型的参数，以便实际地再现观察到的动态并可可靠地预测未来的进展。通过其灵活的框架，我们的仿真方法适用于各种流行病学模型。此外，由于我们的方法是完全贝叶斯的，它旨在纳入所有可用的关于合理参数值的先前知识，并返回这些参数上的完整关节后部分布。我们的方法在德国的早期Covid-19爆发阶段的应用表明，我们能够获得可靠的概率估计对重要疾病特征，例如生成时间，未检测到的感染部分，症状发作前的传播可能性，以及报告延迟非常适中的现实观测。

粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子，它们可以作为某些随机过程的真实后验分布的代理。在这项工作中，我们提出了连续的潜在粒子过滤器，该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明，在推理任务中，连续时间粒子滤波在推理任务中的卓越性能，例如似然估计和各种随机过程的顺序预测。

非线性状态空间模型是一种强大的工具，可以在复杂时间序列中描述动态结构。在一个流的媒体设置中，当一次处理一个样本的情况下，状态的同时推断及其非线性动力学在实践中提出了重大挑战。我们开发了一个小说在线学习框架，利用变分推理和顺序蒙特卡罗，这使得灵活和准确的贝叶斯联合过滤。我们的方法提供了滤波后的近似，这可以任意地接近针对广泛的动态模型和观察模型的真正滤波分布。具体地，所提出的框架可以使用稀疏高斯过程有效地近似于动态的后验，允许潜在动力学的可解释模型。每个样本的恒定时间复杂性使我们的方法能够适用于在线学习场景，适用于实时应用。

无似然方法是对可以模拟的隐式模型执行推断的必不可少的工具，但相应的可能性是棘手的。但是，常见的无可能方法不能很好地扩展到大量模型参数。一种有前途的无可能推理的有前途的方法涉及通过仅根据据信为低维成分提供信息的摘要统计数据来估计低维边缘后期，然后在某种程度上结合了低维近似值。在本文中，我们证明，对于看似直观的汇总统计选择，这种低维近似值在实践中可能是差的。我们描述了一个理想化的低维汇总统计量，原则上适用于边际估计。但是，在实践中很难直接近似理想的选择。因此，我们提出了一种替代的边际估计方法，该方法更容易实施和自动化。考虑到初始选择的低维摘要统计量可能仅对边缘后验位置有用，新方法通过使用所有摘要统计数据来确保全局可识别性来提高性能，从而提高性能使用低维摘要统计量进行精确的低维近似。我们表明，该方法的后部可以分别基于低维和完整的摘要统计数据将其表示为后验分布的对数库。在几个示例中说明了我们方法的良好性能。

变分推理（VI）与贝叶斯非线性滤波相结合，为潜在时间序列建模产生最先进的结果。最近的工作中的一个身体专注于序贯蒙特卡罗（SMC）及其变体，例如，前向滤波后仿真（FFBSI）。虽然这些研究成功了，但严重的问题仍然存在于粒子退化和偏见的渐变估计中。在本文中，我们提出了Enemble Kalman变分目标（ENKO），VI的混合方法和集合卡尔曼滤波器（ENKF），以推断出状态空间模型（SSMS）。我们所提出的方法可以有效地识别潜在动力学，因为其粒子多样性和无偏梯度估计值。我们展示了我们的ENKO在三个基准非线性系统识别任务的预测能力和粒子效率方面优于基于SMC的方法。

利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常，许多初始状态归因于“燃烧”并移除，而链条的其余部分是“变薄”，如果还需要压缩。在本文中，我们考虑回顾性地从样本路径中选择固定基数的状态的问题，使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法，这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python，R和Matlab中的Stein细化包中提供。

基于我们先前关于绿色仿真辅助政策梯度（GS-PG）的研究，重点是基于轨迹的重复使用，在本文中，我们考虑了无限 - 马尔可夫马尔可夫决策过程，并创建了一种新的重要性采样策略梯度优化的方法来支持动态决策制造。现有的GS-PG方法旨在从完整的剧集或过程轨迹中学习，这将其适用性限制在低数据状态和灵活的在线过程控制中。为了克服这一限制，提出的方法可以选择性地重复使用最相关的部分轨迹，即，重用单元基于每步或每次派遣的历史观察。具体而言，我们创建了基于混合的可能性比率（MLR）策略梯度优化，该优化可以利用不同行为政策下产生的历史状态行动转变中的信息。提出的减少差异经验重播（VRER）方法可以智能地选择和重复使用最相关的过渡观察，改善策略梯度估计并加速最佳政策的学习。我们的实证研究表明，它可以改善优化融合并增强最先进的政策优化方法的性能，例如Actor-Critic方法和近端政策优化。

我们开发了一种基于嘈杂观测值的时空动力学模型的完全贝叶斯学习和校准的方法。通过将观察到的数据与机械系统的模拟计算机实验融合信息来实现校准。联合融合使用高斯和非高斯州空间方法以及高斯工艺回归。假设动态系统受到有限的输入收集的控制，高斯过程回归通过许多训练运行来了解这些参数的效果，从而推动了时空状态空间组件的随机创新。这可以在空间和时间上对动态进行有效的建模。通过减少的高斯过程和共轭模型规范，我们的方法适用于大规模校准和反问题。我们的方法是一般，可扩展的，并且能够学习具有潜在模型错误指定的各种动力系统。我们通过解决普通和部分非线性微分方程的分析中产生的反问题来证明这种灵活性，此外，还可以在网络上生成时空动力学的黑盒计算机模型。

推断基于实验观察的随机模型的参数是科学方法的核心。特别具有挑战性的设置是当模型强烈不确定时，即当不同的参数集产生相同的观察时。这在许多实际情况下出现，例如在推断无线电源的距离和功率时（是源关闭和弱或远远强，且强大且强大？）或估计电生理实验的放大器增益和底层脑活动。在这项工作中，我们通过利用由辅助观察集共享全局参数传达的附加信息来阐明这种不确定性的新方法。我们的方法基于对贝叶斯分层模型的标准化流程扩展了基于仿真的推断（SBI）的最新进展。我们通过模拟和实际EEG数据将其应用于可用于分析解决方案的激励示例，以便将其验证我们的提案，然后将其从计算神经科学逆变众所周知的非线性模型。

强化学习（RL）控制器在控制社区中产生了兴奋。 RL控制器相对于现有方法的主要优点是它们能够优化不确定的系统，独立于明确假设过程不确定性。最近对工程应用的关注是针对安全RL控制器的发展。以前的作品已经提出了通过从随机模型预测控制领域的限制收紧来解释约束满足的方法。在这里，我们将这些方法扩展到植物模型不匹配。具体地，我们提出了一种利用离线仿真模型的高斯过程的数据驱动方法，并使用相关的后部不确定预测来解释联合机会限制和植物模型不匹配。该方法通过案例研究反对非线性模型预测控制的基准测试。结果证明了方法理解过程不确定性的能力，即使在植物模型错配的情况下也能满足联合机会限制。

A framework for creating and updating digital twins for dynamical systems from a library of physics-based functions is proposed. The sparse Bayesian machine learning is used to update and derive an interpretable expression for the digital twin. Two approaches for updating the digital twin are proposed. The first approach makes use of both the input and output information from a dynamical system, whereas the second approach utilizes output-only observations to update the digital twin. Both methods use a library of candidate functions representing certain physics to infer new perturbation terms in the existing digital twin model. In both cases, the resulting expressions of updated digital twins are identical, and in addition, the epistemic uncertainties are quantified. In the first approach, the regression problem is derived from a state-space model, whereas in the latter case, the output-only information is treated as a stochastic process. The concepts of It\^o calculus and Kramers-Moyal expansion are being utilized to derive the regression equation. The performance of the proposed approaches is demonstrated using highly nonlinear dynamical systems such as the crack-degradation problem. Numerical results demonstrated in this paper almost exactly identify the correct perturbation terms along with their associated parameters in the dynamical system. The probabilistic nature of the proposed approach also helps in quantifying the uncertainties associated with updated models. The proposed approaches provide an exact and explainable description of the perturbations in digital twin models, which can be directly used for better cyber-physical integration, long-term future predictions, degradation monitoring, and model-agnostic control.

基因组学的主要目标是正确捕获基因调节网络（GRN）的复杂动力学行为。这包括推断基因之间的复杂相互作用，这些基因可用于广泛的基因组学分析，包括诊断或预后疾病以及为诸如癌症等慢性疾病的有效治疗方法。布尔网络已成为成功捕获GRN行为的成功类型。在大多数实用的环境中，应通过有限且时间稀疏的基因组数据来实现GRN的推论。 GRN中的大量基因会导致大量可能的拓扑候选空间，由于计算资源的限制，通常无法详尽地搜索。本文使用贝叶斯优化和基于内核的方法为GRN提供了可扩展有效的拓扑推断。所提出的方法不是对可能的拓扑结构进行详尽的搜索，而是构建具有拓扑启发的内核函数的高斯过程（GP），以说明可能性函数的相关性。然后，使用GP模型的后验分布，贝叶斯优化有效地搜索具有最高可能性值的拓扑，通过在勘探和剥削之间进行最佳平衡。通过使用众所周知的哺乳动物细胞周期网络的综合数值实验来证明所提出的方法的性能。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。

高斯流程是许多灵活的统计和机器学习模型的关键组成部分。但是，由于需要倒转和存储完整的协方差矩阵，它们表现出立方计算的复杂性和高内存约束。为了解决这个问题，已经考虑了高斯流程专家的混合物，其中数据点被分配给独立专家，从而通过允许基于较小的局部协方差矩阵来降低复杂性。此外，高斯流程专家的混合物大大富含模型的灵活性，从而允许诸如非平稳性，异方差和不连续性等行为。在这项工作中，我们基于嵌套的蒙特卡洛采样器构建了一种新颖的推理方法，以同时推断门控网络和高斯工艺专家参数。与重要性采样相比，这大大改善了推断，尤其是在固定高斯流程不合适的情况下，同时仍然完全平行。