本文提出了最新的方法学进步，以检查一般类贝叶斯分层模型（BHM）的基于模拟的推理（SBI），同时检查模型错误指定。我们的方法基于两个步骤的框架。首先，推断出作为BHM第二层的潜在函数被推断，并用于诊断可能的模型错误指定。其次，通过SBI推断受信任模型的目标参数。第一步中使用的仿真被回收以进行分数压缩，这是第二步所必需的。作为概念的证明，我们将框架应用于基于Lotka-Volterra方程的猎物预言模型，并涉及复杂的观察过程。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

我们引入了一个计算有效的数据驱动框架，适合量化物理参数中的不确定性和计算机模型的模型公式，以微分方程为代表。我们构建了物理知识的先验，它们是多输出的GP先验，它们在协方差函数中编码模型的结构。我们将其扩展到一个完全贝叶斯的框架中，该框架量化了物理参数和模型预测的不确定性。由于物理模型通常是对实际过程的不完美描述，因此我们允许该模型通过考虑差异函数来偏离观察到的数据。为了获得后验分布，我们使用汉密尔顿蒙特卡洛采样。我们在使用血液动力学模型的仿真研究中证明了我们的方法，这些模型是时间依赖的微分方程。与我们的建模选择更复杂的模型模拟数据，目的是根据已知的数学连接学习物理参数。为了证明我们的方法的灵活性（使用热方程式的示例），还包括一个时空依赖的微分方程，其中还包括我们考虑偏见的数据收购过程的情况。最后，我们使用医学试验中获得的实际数据符合血液动力学模型。

基于仿真的推理（SBI）正在迅速将自己确立为一种标准的机器学习技术，用于分析宇宙学调查中的数据。尽管通过学习模型对密度估计的质量持续改进，但这种技术对真实数据的应用完全依赖于远远超出培训分布的神经网络的概括能力，这主要是不受限制的。由于科学家创建的模拟的不完美，以及产生所有可能参数组合的巨大计算费用，因此，宇宙学中的SBI方法很容易受到此类概括性问题的影响。在这里，我们讨论了这两个问题的效果，并展示如何使用贝叶斯神经网络框架进行训练SBI可以减轻偏见，并在培训集外产生更可靠的推理。我们介绍了CosmosWag，这是平均随机重量的首次应用，并将其应用于经过训练的SBI，以推断宇宙微波背景。

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent an approximate posterior distribution and uses this for optimisation of a variational lower bound. We develop stochastic backpropagation -rules for gradient backpropagation through stochastic variables -and derive an algorithm that allows for joint optimisation of the parameters of both the generative and recognition models. We demonstrate on several real-world data sets that by using stochastic backpropagation and variational inference, we obtain models that are able to generate realistic samples of data, allow for accurate imputations of missing data, and provide a useful tool for high-dimensional data visualisation.

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

数字双胞胎是代表个人的计算机模型，例如组件，患者或过程。在许多情况下，我们希望从其数据中获取有关个人的知识，同时纳入不完美的物理知识，并从其他人那里学习。在本文中，我们介绍并演示了一种完全贝叶斯的方法，用于在每个人的物理参数中吸引人的物理参数的环境中学习数字双胞胎。对于每个人，该方法基于模型差异的贝叶斯校准。通过以高斯过程为模型的差异，不完美的低预后物理模型被解释了。利用贝叶斯分层模型的想法，通过在层次结构中的新级别连接数字双胞胎的联合概率模型。对于物理参数，可以将方法视为使用单个模型中的先验分布，该分布是关节模型中相应超参数的后部。为了学习个人之间的不完善物理，引入了两种方法，一种假设所有个人都具有相同的差异，并且可以看作是使用所有个人从所有个人那里学到的先前对代表差异的高斯过程参数的知识。基于与物理知识的先验，汉密尔顿蒙特卡洛方法相关的最新进展，并将其用于反问题，我们设置了一种推理方法，该方法允许我们的方法适用于基于部分微分方程和不在的单个数据的物理模型的计算可行性对齐。该方法在两个合成案例研究中得到了证明，这是文献中以前使用的玩具示例，该示例扩展到更多个体，并基于与高血压治疗相关的心血管微分方程模型。

本文开发了一个贝叶斯图形模型，用于融合不同类型的计数数据。激励的应用是从不同治疗方法收集的各种高维特征的细菌群落研究。在这样的数据集中，社区之间没有明确的对应关系，每个对应都与不同的因素相对应，从而使数据融合具有挑战性。我们引入了一种灵活的多项式高斯生成模型，用于共同建模此类计数数据。该潜在变量模型通过共同的多元高斯潜在空间共同表征了观察到的数据，该空间参数化了转录组计数的多项式概率集。潜在变量的协方差矩阵诱导所有转录本之间共同依赖性的协方差矩阵，有效地融合了多个数据源。我们提出了一种可扩展的可扩展性变异期望最大化（EM）算法，用于推断模型的潜在变量和参数。推断的潜在变量为可视化数据提供了常见的维度降低，而推断的参数则提供了预测性的后验分布。除了证明变异性程序的模拟研究外，我们还将模型应用于细菌微生物组数据集。

利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常，许多初始状态归因于“燃烧”并移除，而链条的其余部分是“变薄”，如果还需要压缩。在本文中，我们考虑回顾性地从样本路径中选择固定基数的状态的问题，使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法，这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python，R和Matlab中的Stein细化包中提供。

语境。斑点检测是天文学中的常见问题。一个例子是在恒星种群建模中，其中从观察结果推断出星系中恒星年龄和金属性的分布。在这种情况下，斑点可能对应于原位的恒星与从卫星中吸收的恒星相对应，而BLOB检测的任务是解散这些组件。当分布带来重大不确定性时，就会出现一个困难，就像从未解决的恒星系统的建模光谱中推断出的恒星种群的情况一样。目前没有不确定性检测BLOB检测的令人满意的方法。目标。我们介绍了一种在恒星系统综合光谱的恒星种群建模的背景下开发的不确定性感知斑点检测方法。方法。我们为经典的blob检测方法的经典laplacian方法的不确定性感知版本开发了理论和计算工具，我们称之为ULOG。这确定了考虑各种尺度的重要斑点。作为将ULOG应用于恒星种群建模的先决条件，我们引入了一种有效计算光谱建模不确定性的方法。该方法基于截断的奇异值分解和马尔可夫链蒙特卡洛采样（SVD-MCMC）。结果。我们将方法应用于星团M54的数据。我们表明，SVD-MCMC推断与标准MCMC的推断相匹配，但计算速度更快。我们将ULOG应用于推断的M54年龄/金属性分布，识别其恒星中的2或3个显着不同的种群。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.

即使在实践中无法计算其可能性，基于模拟的推断也能够学习模型的参数。一类方法使用用不同参数模拟的数据来推断摊销估计器，以获得似然到证据比，或等效的后函数。我们表明，可以在模型参数和模拟数据之间的相互信息最大化方面配制这种方法。我们使用此等价来重新诠释摊销推理的现有方法，并提出了两种依赖于互信息的下限的新方法。我们使用人工神经网络用于后部预测的采样轨迹，将框架应用于随机过程和混沌动态系统的推动。我们的方法提供了一个统一的框架，利用了相互信息估计的功率进行推理。

The Bayesian approach to solving inverse problems relies on the choice of a prior. This critical ingredient allows the formulation of expert knowledge or physical constraints in a probabilistic fashion and plays an important role for the success of the inference. Recently, Bayesian inverse problems were solved using generative models as highly informative priors. Generative models are a popular tool in machine learning to generate data whose properties closely resemble those of a given database. Typically, the generated distribution of data is embedded in a low-dimensional manifold. For the inverse problem, a generative model is trained on a database that reflects the properties of the sought solution, such as typical structures of the tissue in the human brain in magnetic resonance (MR) imaging. The inference is carried out in the low-dimensional manifold determined by the generative model which strongly reduces the dimensionality of the inverse problem. However, this proceeding produces a posterior that admits no Lebesgue density in the actual variables and the accuracy reached can strongly depend on the quality of the generative model. For linear Gaussian models we explore an alternative Bayesian inference based on probabilistic generative models which is carried out in the original high-dimensional space. A Laplace approximation is employed to analytically derive the required prior probability density function induced by the generative model. Properties of the resulting inference are investigated. Specifically, we show that derived Bayes estimates are consistent, in contrast to the approach employing the low-dimensional manifold of the generative model. The MNIST data set is used to construct numerical experiments which confirm our theoretical findings.

最近，经验可能性已在贝叶斯框架下广泛应用。马尔可夫链蒙特卡洛（MCMC）方法经常用于从感兴趣参数的后验分布中采样。然而，可能性支持的复杂性，尤其是非凸性的性质，在选择适当的MCMC算法时建立了巨大的障碍。这种困难限制了在许多应用中基于贝叶斯的经验可能性（贝叶赛）方法的使用。在本文中，我们提出了一个两步的大都会黑斯廷斯算法，以从贝耶斯后期进行采样。我们的建议是在层次上指定的，其中确定经验可能性的估计方程用于根据其余参数的建议值提出一组参数的值。此外，我们使用经验可能性讨论贝叶斯模型的选择，并将我们的两步大都会黑斯廷斯算法扩展到可逆的跳跃马尔可夫链蒙特卡洛手术程序，以便从最终的后验中采样。最后，提出了我们提出的方法的几种应用。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法，以提取和确定系统中未知的非线性项的贡献，可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别，最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型，并与系统的线性动态组件结合使用。然后，通过推断过滤和平滑分布，可以提取系统的内部状态和非线性恢复力。在这些状态下，可以构建非线性模型。在模拟案例研究和实验基准数据集中，该方法被证明是有效的。

对脑灰质细胞结构的有效表征具有定量敏感性对SOMA密度和体积的敏感性仍然是扩散MRI（DMRI）中的未解决的攻击。解决与细胞建筑特征的DMRI信号相关的问题呼吁通过少数生理相关参数和用于反相模型的算法来定义描述脑组织的数学模型。为了解决这个问题，我们提出了一个新的前向模型，特别是一个新的方程式系统，需要几个相对稀疏的B-shell。然后，我们从贝叶斯分析中应用现代工具，称为无似然推论（LFI）来颠覆我们所提出的模型。与文献中的其他方法相比，我们的算法不仅产生了最能描述给定的观察数据点$ x_0 $的参数向量$ \ theta $的估计，而且还产生了全面的后分发$ p（\ theta | x_0）超过参数空间。这使得模型反演的描述能够更丰富地描述，提供估计参数的可信间隔的指示符以及模型可能呈现不确定性的参数区域的完整表征。我们近似使用深神经密度估计器的后部分布，称为标准化流，并使用来自前向模型的一组重复模拟来拟合它们。我们使用DMIPY验证我们的模拟方法，然后在两个公共可用数据集上应用整个管道。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。