贝叶斯工作流程通常需要引入滋扰参数，但对于核心科学建模，需要访问边缘后部密度。在这项工作中，我们使用掩盖的自回归流量和内核密度估计器封装边缘后部，使我们能够计算边际kullback-leibler脱离器和边缘贝叶斯模型尺寸，此外还可以生成样品和计算边际对数概率。我们将其应用于暗能量调查的局部宇宙学示例和全局21cm信号实验。除了计算边缘贝叶斯统计数据外，这项工作对于在贝叶斯实验设计，复杂的先验建模和似然仿真中进一步应用也很重要。该技术可在PIP可容纳的代码人造黄油中公开获得。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

引力波（GW）检测现在是普遍的，并且随着GW探测器的全球网络的灵敏度，我们将观察每年瞬态GW事件的$ \ MATHCAL {O}（100）美元。用于估计其源参数的目前的方法采用最佳敏感但是计算昂贵的贝叶斯推理方法，其中典型的分析在6小时和5天之间取。对于二元中子星和中子星黑洞系统提示，预计在1秒 - 1分钟的时间尺度和用于提醒EM随访观察员的最快方法，可以提供估计在$ \ mathcal {o }（1）$分钟，在有限的关键源参数范围内。在这里，我们表明，在二进制黑洞信号上预先培训的条件变形Autiachoder可以返回贝叶斯后概率估计。仅针对给定的先前参数空间执行一次训练程序，然后可以将所得培训的机器能够生成描述后部分配$ \ SIM 6 $幅度的样本比现有技术更快。

从间接检测实验中寻找暗物质湮灭的间接检测实验的解释需要计算昂贵的宇宙射线传播模拟。在这项工作中，我们提出了一种基于经常性神经网络的新方法，可显着加速二次和暗物质银宇射线反滴角的模拟，同时实现优异的准确性。这种方法允许在宇宙射线传播模型的滋扰参数上进行高效的分析或边缘化，以便为各种暗物质模型进行参数扫描。我们确定重要的采样，具体适用于确保仅在训练有素的参数区域中评估网络。我们使用最新AMS-02 Antiproton数据在几种模型的弱相互作用的大规模粒子上呈现导出的限制。与传统方法相比，全训练网络与此工作一起作为Darkraynet释放，并通过至少两个数量级来实现运行时的加速。

数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器（VAE）。统一激发了扩展的监督方案，该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围，例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $，它包含在方向上的海报。最后，系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中，（1）系统，（2）覆盖范围和（3）拟合优度的成分通常并非全部可用，或者至少有一个受到严格限制。相比之下，拟议的扩展监督培训和摊销标准化流量可容纳所有三个，用于在产品空间上定义的任意统计分布的变异推理，例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $，没有基本数据复杂性的基本障碍。因此，它具有当代（Astro-）粒子物理学家的统计工具箱的巨大潜力。

从观察到的调查数据中，宇宙学的正向建模方法使在宇宙开头重建初始条件成为可能。但是，参数空间的高维度仍然构成挑战，探索完整的后部，传统算法（例如汉密尔顿蒙特卡洛（HMC））由于产生相关样本而在计算上效率低下发散（损失）功能。在这里，我们开发了一种称为变异自动采样（VBS）的混合方案，以通过学习用于蒙特卡洛采样的建议分布的变异近似来减轻这两种算法的缺点，并将其与HMC结合。变异分布被参数化为正常化的流量，并通过即时生成的样品学习，而从中提取的建议则减少了MCMC链中的自动相关长度。我们的归一化流程使用傅立叶空间卷积和元素的操作来扩展到高维度。我们表明，经过短暂的初始热身和训练阶段，VBS比简单的VI方法产生了更好的样品质量，并将采样阶段的相关长度缩短了10-50倍，仅使用HMC探索初始的后验64 $^3 $和128 $^3 $维度问题的条件，高信噪比数据观察的收益较大。

如今，贝叶斯推论的应用非常流行。在此框架中，通过其边际可能性或其商（称为贝叶斯因素）进行比较模型。但是，边际可能性取决于先前的选择。对于模型选择，与参数估计问题不同，即使是分散的先验也可能非常有用。此外，当先验不当时，相应模型的边际可能性就不确定。在这项工作中，我们讨论了边际可能性及其在模型选择中的作用的先验敏感性问题。我们还评论了使用非信息性先验，这在实践中是非常普遍的选择。讨论了一些实际建议，并描述了文献中提出的许多可能的解决方案，以设计用于模型选择的客观先验。其中一些还允许使用不当先验。还提出了边际似然方法与众所周知的信息标准之间的联系。我们通过说明性的数值示例描述了主要问题和可能的解决方案，还提供了一些相关的代码。其中之一涉及外球星的现实应用。

基于仿真的推理（SBI）正在迅速将自己确立为一种标准的机器学习技术，用于分析宇宙学调查中的数据。尽管通过学习模型对密度估计的质量持续改进，但这种技术对真实数据的应用完全依赖于远远超出培训分布的神经网络的概括能力，这主要是不受限制的。由于科学家创建的模拟的不完美，以及产生所有可能参数组合的巨大计算费用，因此，宇宙学中的SBI方法很容易受到此类概括性问题的影响。在这里，我们讨论了这两个问题的效果，并展示如何使用贝叶斯神经网络框架进行训练SBI可以减轻偏见，并在培训集外产生更可靠的推理。我们介绍了CosmosWag，这是平均随机重量的首次应用，并将其应用于经过训练的SBI，以推断宇宙微波背景。

神经密度估计值证明在各种研究领域进行高效的仿真贝叶斯推理方面具有显着强大。特别是，Bayesflow框架使用两步方法来实现在仿真程序隐式地定义似然函数的设置中的摊销参数估计。但是当模拟是现实差的差异时，这种推断是多么忠实？在本文中，我们概念化了基于模拟的推论中出现的模型误操作的类型，并系统地研究了这些误操作下的Bayesflow框架的性能。我们提出了一个增强优化目标，它对潜伏数据空间上的概率结构施加了概率结构，并利用了最大平均差异（MMD）来检测推理期间的可能灾难性的误操作，破坏了所获得的结果的有效性。我们验证了许多人工和现实的误操作的检测标准，从玩具共轭模型到复杂的决策和疾病爆发动态的复杂模型应用于实际数据。此外，我们表明后部推理误差随着真实数据生成分布与潜在摘要空间中的典型模拟集之间的常数而增加。因此，我们展示了MMD的双重实用性作为检测模型误操作的方法和作为验证摊销贝叶斯推理的忠实性的代理。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

推断基于实验观察的随机模型的参数是科学方法的核心。特别具有挑战性的设置是当模型强烈不确定时，即当不同的参数集产生相同的观察时。这在许多实际情况下出现，例如在推断无线电源的距离和功率时（是源关闭和弱或远远强，且强大且强大？）或估计电生理实验的放大器增益和底层脑活动。在这项工作中，我们通过利用由辅助观察集共享全局参数传达的附加信息来阐明这种不确定性的新方法。我们的方法基于对贝叶斯分层模型的标准化流程扩展了基于仿真的推断（SBI）的最新进展。我们通过模拟和实际EEG数据将其应用于可用于分析解决方案的激励示例，以便将其验证我们的提案，然后将其从计算神经科学逆变众所周知的非线性模型。

贝叶斯分析中的先验者通常编码信息域知识，这些知识可用于使推理过程更有效。但是，有时，先验可能是给定数据集的参数值的代表性的，这可能导致参数空间探索效率低下，甚至是错误的推论，尤其是对于嵌套采样（NS）算法。在这种情况下，仅仅在某些应用中扩大了先验可能是不合适的或不可能的。因此，我们以前对该问题的解决方案（称为后验电源（PR））在保持产品固定的同时重新定义了先前和可能性，以使后验推断和证据估计保持不变，但是NS过程的效率显着提高。 PR在其最实用的形式中提高了某些功率beta的提高，该beta是作为一个辅助变量引入的，必须根据具体情况确定，通常是通过根据某些预定的“退火时间表”降低beta的统一性来确定的。 '直到产生的推论会收敛到一致的解决方案。在这里，我们提出了一种非常简单但功能强大的替代贝叶斯方法，其中beta被视为从数据与问题的原始参数一起从数据推断出来的超参数，然后边缘化以获得最终推断。我们通过数值示例表明，这种贝叶斯PR（BPR）方法为使用NS的贝叶斯推断中未代表性的先验问题提供了一种非常健壮，自我适应和计算有效的“手持”解决方案。此外，与原始PR方法不同，我们表明，即使对于代表性的PRIORS，BPR也相对于标准嵌套采样而具有可忽略的计算间接费用，这表明它应在所有NS分析中用作默认值。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

桥梁采样是一种强大的蒙特卡洛方法，用于估计标准化常数的比率。引入了各种方法以提高其效率。这些方法旨在通过对它们应用适当的转换而不更改标准化常数来增加密度之间的重叠。在本文中，我们首先给出了最佳桥梁估计器的渐近相对平方误差（RMSE）的新估计器，通过等效地估计两个密度之间的$ f $差异。然后，我们利用此框架，并根据二元式转换提出$ f $ -gan桥估计器（$ f $ -GB），该框架将一个密度映射到另一个密度，并最小化最佳桥梁估计器的渐近RMSE相对于密度。通过使用$ f $ gan之间的密度之间的特定$ f $ divergence来选择这种转换。从某种意义上说，在任何给定的候选转换中，$ f $ -GB估算器可以渐近地实现比桥梁估算器低于或等于由任何其他转换的密度低的RMSE，我们显示出$ f $ -GB是最佳的。数值实验表明，$ f $ -GB在模拟和现实世界中的现有方法优于现有方法。此外，我们讨论了桥梁估计器如何自然来自$ f $ divergence估计的问题。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

有条件神经密度估计器的仿真推断是解决科学逆问题的强大方法。然而，这些方法通常将底层向前模型视为一个黑匣子，没有办法利用等物学，例如协调。协调在科学模型中是常见的，然而将它们直接集成到表达推导网络中（例如标准化流动）并不简单。我们在这里描述了在参数和数据的联合转换下掺入协调的替代方法。我们的方法 - 称为组等级神经后后估计（GNPE） - 基于自始终标准化数据的“姿势”，同时估计在参数上后部。它是独立的架构，并适用于精确和近似的协调。作为现实世界的应用，我们使用GNPE从引力波观测到Astrophysical Block Block Systems的摊销推理。我们表明GNPE实现了最先进的准确性，同时减少了三个数量级的推理时间。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。