快速，高度准确，可靠的引力波浪的推动，可以实现实时多信使天文学。目前贝叶斯推理方法虽然高度准确可靠，但很慢。深度学习模型已经表明了引力波的推理任务非常快速，但由于神经网络的黑箱性质，它们的产出本质上是可疑的。在这项工作中，我们通过应用了多头卷积神经网络产生的近似后验的重要性抽样加入贝叶斯推论和深度学习。神经网络参数化Von Mises-Fisher和天空坐标和高斯分布的天空坐标和两个群众，用于给定Ligo和Virgo探测器的模拟重力波注射。我们为看不见的引力波事件产生跨ysmaps，这是几分钟内使用贝叶斯推理产生的高等类似的预测。此外，我们可以检测神经网络的差，并迅速向它们标记。

引力波（GW）检测现在是普遍的，并且随着GW探测器的全球网络的灵敏度，我们将观察每年瞬态GW事件的$ \ MATHCAL {O}（100）美元。用于估计其源参数的目前的方法采用最佳敏感但是计算昂贵的贝叶斯推理方法，其中典型的分析在6小时和5天之间取。对于二元中子星和中子星黑洞系统提示，预计在1秒 - 1分钟的时间尺度和用于提醒EM随访观察员的最快方法，可以提供估计在$ \ mathcal {o }（1）$分钟，在有限的关键源参数范围内。在这里，我们表明，在二进制黑洞信号上预先培训的条件变形Autiachoder可以返回贝叶斯后概率估计。仅针对给定的先前参数空间执行一次训练程序，然后可以将所得培训的机器能够生成描述后部分配$ \ SIM 6 $幅度的样本比现有技术更快。

我们介绍了深度学习模型，以估计黑洞兼并的二元组件的群众，$（m_1，m_2）$，以及合并后巧妙剩余滞留的三个天体性质，即最终旋转，$ a_f $，以及ringdown振荡的频率和阻尼时间为基础$ \ ell = m = 2 $酒吧模式，$（\ OMEGA_R，\ OMEGA_I）$。我们的神经网络将修改的$ \ texttt {wavenet} $架构与对比学习和标准化流相结合。我们将这些模型验证在先前分布通过闭合的分析表达描述后的高斯缀合物的先前家庭。确认我们的模型产生统计上一致的结果，我们使用它们来估计五个二进制黑洞的天体物理参数$（m_1，m_2，a_f，\ oomega_r，\ omega_i）：$ \ texttt {gw150914}，\ texttt {gw170104 }，\ texttt {gw170814}，\ texttt {gw190521} $和$ \ texttt {gw190630} $。我们使用$ \ texttt {pycbc推理} $直接比较传统的贝叶斯方法进行参数估计与我们的深度学习的后部分布。我们的研究结果表明，我们的神经网络模型预测编码物理相关性的后分布，以及我们的数据驱动的中值结果和90美元\％$置信区间与引力波贝叶斯分析产生的数据相似。此方法需要单个V100 $ \ TextTT {NVIDIA} $ GPU，以在每次事件中生成2毫秒内的中位值和后部分布。这个神经网络和使用的教程，可在$ \ texttt {scounty} $ \ texttt {scounty hub} $。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

有条件神经密度估计器的仿真推断是解决科学逆问题的强大方法。然而，这些方法通常将底层向前模型视为一个黑匣子，没有办法利用等物学，例如协调。协调在科学模型中是常见的，然而将它们直接集成到表达推导网络中（例如标准化流动）并不简单。我们在这里描述了在参数和数据的联合转换下掺入协调的替代方法。我们的方法 - 称为组等级神经后后估计（GNPE） - 基于自始终标准化数据的“姿势”，同时估计在参数上后部。它是独立的架构，并适用于精确和近似的协调。作为现实世界的应用，我们使用GNPE从引力波观测到Astrophysical Block Block Systems的摊销推理。我们表明GNPE实现了最先进的准确性，同时减少了三个数量级的推理时间。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

我们介绍了第一个机器学习引力波搜索模拟数据挑战（MLGWSC-1）的结果。在这一挑战中，参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声，并发出了20秒的持续时间，其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现，最好的基于机器学习的算法能够以每月1个的错误警报率（FAR）的速度（FAR）实现基于匹配过滤的生产分析的敏感距离的95％。相反，对于真实的噪音，领先的机器学习搜索获得了70％。为了更高的范围，敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明，当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术，机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率，在这些区域中，建模的搜索在计算上很昂贵。根据我们的发现，我们汇编了我们认为，将机器学习搜索提升到重力波信号检测中的宝贵工具，我们认为这是最重要的研究领域。

迄今为止，引力波发现的所有科学主张都依赖于候选观测值的离线统计分析，以量化相对于背景过程的重要性。 Ligo实验中这种离线检测管道中的当前基础是匹配的滤波器算法，该算法产生了基于信噪比的基于信噪比的统计量，用于对候选观测进行排名。现有的基于深度学习的尝试检测引力波，这些尝试在信号灵敏度和计算效率（计算效率）中都表现出了输出概率分数。但是，概率分数不容易集成到发现工作流程中，从而将深度学习的使用限制为迄今为止的非发现的应用程序。在本文中，引入了深度学习信噪比（DEEPSNR）检测管道，该检测管道使用了一种新方法来从深度学习分类器中生成信噪比排名统计量，从而为使用提供了第一个使用的基础在面向发现的管道中的深度学习算法。通过从第一次观察运行中识别二进制黑洞合并候选者与噪声源相对于噪声源来证明DeepSNR的性能。使用Ligo检测器响应的高保真模拟用于在物理观察物方面介绍深度学习模型的第一个灵敏度估计。还研究了在各种实验方面的DeepSNR的鲁棒性。结果为DeepSNR用于在更广泛的背景下的引力波和罕见信号的科学发现铺平了道路，从而有可能检测到昏迷的信号和从未被观察到的现象。

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms can produce computationally unfaithful posterior approximations. Our results show that all benchmarked algorithms -- (Sequential) Neural Posterior Estimation, (Sequential) Neural Ratio Estimation, Sequential Neural Likelihood and variants of Approximate Bayesian Computation -- can yield overconfident posterior approximations, which makes them unreliable for scientific use cases and falsificationist inquiry. Failing to address this issue may reduce the range of applicability of simulation-based inference. For this reason, we argue that research efforts should be made towards theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembling posterior surrogates provides more reliable approximations and mitigates the issue.

由于耗时的光曲线计算和高维参数空间中的病理可能性景观，通过基于标准的采样方法对二进制微透镜曲线进行建模可能具有挑战性。在这项工作中，我们提出了魔术，这是一个机器学习框架，可有效，准确地推断出具有现实数据质量的二进制事件的微透镜参数。在魔术中，将二进制微透镜参数分为两组，并通过不同的神经网络分别推断。魔术的关键特征是引入神经控制的微分方程，该方程提供了通过不规则采样和较大数据差距处理光曲线的能力。基于模拟的光曲线，我们表明魔术可以在二进制质量比和分离上达到几％的分数不确定性。我们还在真实的微透镜事件中测试魔术。即使引入了较大的数据差距，魔术也能够找到退化的解决方案。由于不规则的采样在天文学调查中很常见，因此我们的方法还对涉及时间序列的其他研究具有影响。

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

神经网络最近显示出对无似然推理的希望，从而为经典方法提供了魔力的速度。但是，当从独立重复估计参数时，当前的实现是次优的。在本文中，我们使用决策理论框架来争辩说，如果这些模型的模拟很简单，则理想地放置了置换不变的神经网络，可用于为任意模型构造贝叶斯估计器。我们说明了这些估计量在传统空间模型以及高度参数化的空间发射模型上的潜力，并表明它们在其网络设计中不适当地说明复制的神经估计量相当大。同时，它们比基于传统可能性的估计量具有很高的竞争力和更快的速度。我们将估计量应用于红海中海面温度的空间分析，在训练之后，我们获得参数估计值，并通过引导采样对估计值进行不确定性定量，从一秒钟的数百个空间场中获取。

我们建议使用贝叶斯推理和深度神经网络的技术，将地震成像中的不确定性转化为图像上执行的任务的不确定性，例如地平线跟踪。地震成像是由于带宽和孔径限制，这是一个不良的逆问题，由于噪声和线性化误差的存在而受到阻碍。但是，许多正规化方法，例如变形域的稀疏性促进，已设计为处理这些错误的不利影响，但是，这些方法具有偏向解决方案的风险，并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法，以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络（CNN）并评估这些不确定性，样品是从CNN权重的后验分布中得出的，用于参数化图像。与传统先验相比，文献中认为，这些CNN引入了灵活的感应偏见，这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题，即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外，最大的后验估计值容易过度拟合外，访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性，以便在跟踪的视野上不确定性。例如，它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。

从观察到的调查数据中，宇宙学的正向建模方法使在宇宙开头重建初始条件成为可能。但是，参数空间的高维度仍然构成挑战，探索完整的后部，传统算法（例如汉密尔顿蒙特卡洛（HMC））由于产生相关样本而在计算上效率低下发散（损失）功能。在这里，我们开发了一种称为变异自动采样（VBS）的混合方案，以通过学习用于蒙特卡洛采样的建议分布的变异近似来减轻这两种算法的缺点，并将其与HMC结合。变异分布被参数化为正常化的流量，并通过即时生成的样品学习，而从中提取的建议则减少了MCMC链中的自动相关长度。我们的归一化流程使用傅立叶空间卷积和元素的操作来扩展到高维度。我们表明，经过短暂的初始热身和训练阶段，VBS比简单的VI方法产生了更好的样品质量，并将采样阶段的相关长度缩短了10-50倍，仅使用HMC探索初始的后验64 $^3 $和128 $^3 $维度问题的条件，高信噪比数据观察的收益较大。

高斯工艺（GPS）模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然（ML-II）的经典方法产生了高参数的点估计，并继续成为培训GPS的默认方法。然而，这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外，基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程，其中核心函数的超参数使用嵌套采样（NS）被边缘化，这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物（SM）粒子的回归任务，并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下，还发现嵌套的抽样在汉密尔顿蒙特卡罗（HMC）上提供了速度优势，广泛认为是基于MCMC推断的金标准。

数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器（VAE）。统一激发了扩展的监督方案，该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围，例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $，它包含在方向上的海报。最后，系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中，（1）系统，（2）覆盖范围和（3）拟合优度的成分通常并非全部可用，或者至少有一个受到严格限制。相比之下，拟议的扩展监督培训和摊销标准化流量可容纳所有三个，用于在产品空间上定义的任意统计分布的变异推理，例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $，没有基本数据复杂性的基本障碍。因此，它具有当代（Astro-）粒子物理学家的统计工具箱的巨大潜力。

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.