有条件神经密度估计器的仿真推断是解决科学逆问题的强大方法。然而，这些方法通常将底层向前模型视为一个黑匣子，没有办法利用等物学，例如协调。协调在科学模型中是常见的，然而将它们直接集成到表达推导网络中（例如标准化流动）并不简单。我们在这里描述了在参数和数据的联合转换下掺入协调的替代方法。我们的方法 - 称为组等级神经后后估计（GNPE） - 基于自始终标准化数据的“姿势”，同时估计在参数上后部。它是独立的架构，并适用于精确和近似的协调。作为现实世界的应用，我们使用GNPE从引力波观测到Astrophysical Block Block Systems的摊销推理。我们表明GNPE实现了最先进的准确性，同时减少了三个数量级的推理时间。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

快速，高度准确，可靠的引力波浪的推动，可以实现实时多信使天文学。目前贝叶斯推理方法虽然高度准确可靠，但很慢。深度学习模型已经表明了引力波的推理任务非常快速，但由于神经网络的黑箱性质，它们的产出本质上是可疑的。在这项工作中，我们通过应用了多头卷积神经网络产生的近似后验的重要性抽样加入贝叶斯推论和深度学习。神经网络参数化Von Mises-Fisher和天空坐标和高斯分布的天空坐标和两个群众，用于给定Ligo和Virgo探测器的模拟重力波注射。我们为看不见的引力波事件产生跨ysmaps，这是几分钟内使用贝叶斯推理产生的高等类似的预测。此外，我们可以检测神经网络的差，并迅速向它们标记。

神经密度估计值证明在各种研究领域进行高效的仿真贝叶斯推理方面具有显着强大。特别是，Bayesflow框架使用两步方法来实现在仿真程序隐式地定义似然函数的设置中的摊销参数估计。但是当模拟是现实差的差异时，这种推断是多么忠实？在本文中，我们概念化了基于模拟的推论中出现的模型误操作的类型，并系统地研究了这些误操作下的Bayesflow框架的性能。我们提出了一个增强优化目标，它对潜伏数据空间上的概率结构施加了概率结构，并利用了最大平均差异（MMD）来检测推理期间的可能灾难性的误操作，破坏了所获得的结果的有效性。我们验证了许多人工和现实的误操作的检测标准，从玩具共轭模型到复杂的决策和疾病爆发动态的复杂模型应用于实际数据。此外，我们表明后部推理误差随着真实数据生成分布与潜在摘要空间中的典型模拟集之间的常数而增加。因此，我们展示了MMD的双重实用性作为检测模型误操作的方法和作为验证摊销贝叶斯推理的忠实性的代理。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

我们介绍了深度学习模型，以估计黑洞兼并的二元组件的群众，$（m_1，m_2）$，以及合并后巧妙剩余滞留的三个天体性质，即最终旋转，$ a_f $，以及ringdown振荡的频率和阻尼时间为基础$ \ ell = m = 2 $酒吧模式，$（\ OMEGA_R，\ OMEGA_I）$。我们的神经网络将修改的$ \ texttt {wavenet} $架构与对比学习和标准化流相结合。我们将这些模型验证在先前分布通过闭合的分析表达描述后的高斯缀合物的先前家庭。确认我们的模型产生统计上一致的结果，我们使用它们来估计五个二进制黑洞的天体物理参数$（m_1，m_2，a_f，\ oomega_r，\ omega_i）：$ \ texttt {gw150914}，\ texttt {gw170104 }，\ texttt {gw170814}，\ texttt {gw190521} $和$ \ texttt {gw190630} $。我们使用$ \ texttt {pycbc推理} $直接比较传统的贝叶斯方法进行参数估计与我们的深度学习的后部分布。我们的研究结果表明，我们的神经网络模型预测编码物理相关性的后分布，以及我们的数据驱动的中值结果和90美元\％$置信区间与引力波贝叶斯分析产生的数据相似。此方法需要单个V100 $ \ TextTT {NVIDIA} $ GPU，以在每次事件中生成2毫秒内的中位值和后部分布。这个神经网络和使用的教程，可在$ \ texttt {scounty} $ \ texttt {scounty hub} $。

引力波（GW）检测现在是普遍的，并且随着GW探测器的全球网络的灵敏度，我们将观察每年瞬态GW事件的$ \ MATHCAL {O}（100）美元。用于估计其源参数的目前的方法采用最佳敏感但是计算昂贵的贝叶斯推理方法，其中典型的分析在6小时和5天之间取。对于二元中子星和中子星黑洞系统提示，预计在1秒 - 1分钟的时间尺度和用于提醒EM随访观察员的最快方法，可以提供估计在$ \ mathcal {o }（1）$分钟，在有限的关键源参数范围内。在这里，我们表明，在二进制黑洞信号上预先培训的条件变形Autiachoder可以返回贝叶斯后概率估计。仅针对给定的先前参数空间执行一次训练程序，然后可以将所得培训的机器能够生成描述后部分配$ \ SIM 6 $幅度的样本比现有技术更快。

推断基于实验观察的随机模型的参数是科学方法的核心。特别具有挑战性的设置是当模型强烈不确定时，即当不同的参数集产生相同的观察时。这在许多实际情况下出现，例如在推断无线电源的距离和功率时（是源关闭和弱或远远强，且强大且强大？）或估计电生理实验的放大器增益和底层脑活动。在这项工作中，我们通过利用由辅助观察集共享全局参数传达的附加信息来阐明这种不确定性的新方法。我们的方法基于对贝叶斯分层模型的标准化流程扩展了基于仿真的推断（SBI）的最新进展。我们通过模拟和实际EEG数据将其应用于可用于分析解决方案的激励示例，以便将其验证我们的提案，然后将其从计算神经科学逆变众所周知的非线性模型。

远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战，在这些挑战中，训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入，则预处理的深神经网络（在我们的情况下是有条件的正常化流量）几乎没有成本的后验样品。然而，这种方法的准确性取决于高保真训练数据的可用性，由于地球的异质结构，由于地球物理逆问题很少存在。此外，准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此，我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标，我们不是标准的高斯潜在分布，我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后，通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题，但通过地震成像示例，我们表明我们的校正步骤可提高摊销变异推理的鲁棒性，以相对于源实验数量的变化，噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像，并评估其不确定性，其成本大致与五个反度迁移相同。

无似然推理涉及在给定的数据和模拟器模型的情况下推断参数值。模拟器是计算机代码，它采用参数，执行随机计算并输出模拟数据。在这项工作中，我们将模拟器视为一个函数，其输入为（1）参数和（2）伪随机绘制的向量。我们试图推断出以观察结果为条件的所有这些输入。这是具有挑战性的，因为最终的后验可能是高维且涉及强大的依赖性。我们使用归一化流量（柔性参数密度族）近似后验。训练数据是通过具有较大带宽值Epsilon的非似然重要性采样来生成的，这使得目标与先验相似。培训数据通过使用它来训练更新的归一流流程来“蒸馏”。该过程是迭代的，使用更新的流程作为重要性采样建议，并慢慢降低epsilon，从而使目标变得更接近后部。与大多数其他无似然的方法不同，我们避免将数据减少到低维汇总统计数据，因此可以实现更准确的结果。我们在两个充满挑战的排队和流行病学示例中说明了我们的方法。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms can produce computationally unfaithful posterior approximations. Our results show that all benchmarked algorithms -- (Sequential) Neural Posterior Estimation, (Sequential) Neural Ratio Estimation, Sequential Neural Likelihood and variants of Approximate Bayesian Computation -- can yield overconfident posterior approximations, which makes them unreliable for scientific use cases and falsificationist inquiry. Failing to address this issue may reduce the range of applicability of simulation-based inference. For this reason, we argue that research efforts should be made towards theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembling posterior surrogates provides more reliable approximations and mitigates the issue.

我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器（VAE）。统一激发了扩展的监督方案，该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围，例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $，它包含在方向上的海报。最后，系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中，（1）系统，（2）覆盖范围和（3）拟合优度的成分通常并非全部可用，或者至少有一个受到严格限制。相比之下，拟议的扩展监督培训和摊销标准化流量可容纳所有三个，用于在产品空间上定义的任意统计分布的变异推理，例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $，没有基本数据复杂性的基本障碍。因此，它具有当代（Astro-）粒子物理学家的统计工具箱的巨大潜力。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。