Upcoming astronomical surveys will observe billions of galaxies across cosmic time, providing a unique opportunity to map the many pathways of galaxy assembly to an incredibly high resolution. However, the huge amount of data also poses an immediate computational challenge: current tools for inferring parameters from the light of galaxies take $\gtrsim 10$ hours per fit. This is prohibitively expensive. Simulation-based Inference (SBI) is a promising solution. However, it requires simulated data with identical characteristics to the observed data, whereas real astronomical surveys are often highly heterogeneous, with missing observations and variable uncertainties determined by sky and telescope conditions. Here we present a Monte Carlo technique for treating out-of-distribution measurement errors and missing data using standard SBI tools. We show that out-of-distribution measurement errors can be approximated by using standard SBI evaluations, and that missing data can be marginalized over using SBI evaluations over nearby data realizations in the training set. While these techniques slow the inference process from $\sim 1$ sec to $\sim 1.5$ min per object, this is still significantly faster than standard approaches while also dramatically expanding the applicability of SBI. This expanded regime has broad implications for future applications to astronomical surveys.

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

本文介绍了用于增量平滑和映射（NF-ISAM）的归一化流，这是一种新型算法，用于通过非线性测量模型和非高斯因素来推断SLAM问题中完整的后验分布。NF-ISAM利用了神经网络的表达能力，并将正常的流量训练以建模和对完整的后部进行采样。通过利用贝叶斯树，NF-ISAM启用了类似于ISAM2的有效增量更新，尽管在更具挑战性的非高斯环境中。我们证明了NF-ISAM使用数据关联模棱两可的仅范围的SLAM问题来证明NF-ISAM比最先进的点和分布估计算法的优势。NF-ISAM在描述连续变量（例如位置）和离散变量（例如数据关联）的后验信仰方面提出了卓越的准确性。

引力波（GW）检测现在是普遍的，并且随着GW探测器的全球网络的灵敏度，我们将观察每年瞬态GW事件的$ \ MATHCAL {O}（100）美元。用于估计其源参数的目前的方法采用最佳敏感但是计算昂贵的贝叶斯推理方法，其中典型的分析在6小时和5天之间取。对于二元中子星和中子星黑洞系统提示，预计在1秒 - 1分钟的时间尺度和用于提醒EM随访观察员的最快方法，可以提供估计在$ \ mathcal {o }（1）$分钟，在有限的关键源参数范围内。在这里，我们表明，在二进制黑洞信号上预先培训的条件变形Autiachoder可以返回贝叶斯后概率估计。仅针对给定的先前参数空间执行一次训练程序，然后可以将所得培训的机器能够生成描述后部分配$ \ SIM 6 $幅度的样本比现有技术更快。

贝叶斯分析中的先验者通常编码信息域知识，这些知识可用于使推理过程更有效。但是，有时，先验可能是给定数据集的参数值的代表性的，这可能导致参数空间探索效率低下，甚至是错误的推论，尤其是对于嵌套采样（NS）算法。在这种情况下，仅仅在某些应用中扩大了先验可能是不合适的或不可能的。因此，我们以前对该问题的解决方案（称为后验电源（PR））在保持产品固定的同时重新定义了先前和可能性，以使后验推断和证据估计保持不变，但是NS过程的效率显着提高。 PR在其最实用的形式中提高了某些功率beta的提高，该beta是作为一个辅助变量引入的，必须根据具体情况确定，通常是通过根据某些预定的“退火时间表”降低beta的统一性来确定的。 '直到产生的推论会收敛到一致的解决方案。在这里，我们提出了一种非常简单但功能强大的替代贝叶斯方法，其中beta被视为从数据与问题的原始参数一起从数据推断出来的超参数，然后边缘化以获得最终推断。我们通过数值示例表明，这种贝叶斯PR（BPR）方法为使用NS的贝叶斯推断中未代表性的先验问题提供了一种非常健壮，自我适应和计算有效的“手持”解决方案。此外，与原始PR方法不同，我们表明，即使对于代表性的PRIORS，BPR也相对于标准嵌套采样而具有可忽略的计算间接费用，这表明它应在所有NS分析中用作默认值。

在神经密度估计的进展之后，近年来，已经取得了相当大的进步，该方法是基于模拟的推断（SBI）方法，能够对随机仿真模型进行柔性，黑盒，近似贝叶斯的推断。尽管已经证明神经SBI方法可以提供准确的后近似值，但建立这些结果的仿真研究仅考虑了明确指定的问题 - 即模型和数据生成过程完全重合的地方。但是，在模型错误指定的情况下，这种算法的行为很少受到关注。在这项工作中，我们提供了对神经SBI算法在存在各种模型错误指定的情况下的行为的首次全面研究。我们发现，错误指定会对性能产生深远的影响。探索了一些缓解策略，但是未经测试的方法在所有情况下都可以防止失败。我们得出的结论是，如果要依靠神经SBI算法来得出准确的科学结论，则需要新的方法来解决模型错误指定。

矮星系是小的，以暗物质为主导的星系，其中一些嵌入了银河系中。他们缺乏重型物质（例如，恒星和气体）使它们成为探测暗物质特性的完美测试床 - 了解这些系统中的空间暗物质分布可用于限制影响形成和进化的微物理暗物质相互作用我们宇宙中的结构。我们介绍了一种新方法，该方法利用基于模拟的推理和基于图的机器学习，以推断出恒星的可观察到的恒星重力与这些系统结合的可观察到的矮星系的暗物质密度曲线。我们的方法旨在解决基于动态牛仔裤建模的既定方法的一些局限性。我们表明，这种新颖的方法可以对暗物质概况施加更强的约束，因此，有可能权衡与暗物质晕圈小规模结构（例如核心核心差异）相关的一些持续的难题。

Simulation-based inference (SBI) solves statistical inverse problems by repeatedly running a stochastic simulator and inferring posterior distributions from model-simulations. To improve simulation efficiency, several inference methods take a sequential approach and iteratively adapt the proposal distributions from which model simulations are generated. However, many of these sequential methods are difficult to use in practice, both because the resulting optimisation problems can be challenging and efficient diagnostic tools are lacking. To overcome these issues, we present Truncated Sequential Neural Posterior Estimation (TSNPE). TSNPE performs sequential inference with truncated proposals, sidestepping the optimisation issues of alternative approaches. In addition, TSNPE allows to efficiently perform coverage tests that can scale to complex models with many parameters. We demonstrate that TSNPE performs on par with previous methods on established benchmark tasks. We then apply TSNPE to two challenging problems from neuroscience and show that TSNPE can successfully obtain the posterior distributions, whereas previous methods fail. Overall, our results demonstrate that TSNPE is an efficient, accurate, and robust inference method that can scale to challenging scientific models.

贝叶斯工作流程通常需要引入滋扰参数，但对于核心科学建模，需要访问边缘后部密度。在这项工作中，我们使用掩盖的自回归流量和内核密度估计器封装边缘后部，使我们能够计算边际kullback-leibler脱离器和边缘贝叶斯模型尺寸，此外还可以生成样品和计算边际对数概率。我们将其应用于暗能量调查的局部宇宙学示例和全局21cm信号实验。除了计算边缘贝叶斯统计数据外，这项工作对于在贝叶斯实验设计，复杂的先验建模和似然仿真中进一步应用也很重要。该技术可在PIP可容纳的代码人造黄油中公开获得。

数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器（VAE）。统一激发了扩展的监督方案，该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围，例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $，它包含在方向上的海报。最后，系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中，（1）系统，（2）覆盖范围和（3）拟合优度的成分通常并非全部可用，或者至少有一个受到严格限制。相比之下，拟议的扩展监督培训和摊销标准化流量可容纳所有三个，用于在产品空间上定义的任意统计分布的变异推理，例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $，没有基本数据复杂性的基本障碍。因此，它具有当代（Astro-）粒子物理学家的统计工具箱的巨大潜力。

快速，高度准确，可靠的引力波浪的推动，可以实现实时多信使天文学。目前贝叶斯推理方法虽然高度准确可靠，但很慢。深度学习模型已经表明了引力波的推理任务非常快速，但由于神经网络的黑箱性质，它们的产出本质上是可疑的。在这项工作中，我们通过应用了多头卷积神经网络产生的近似后验的重要性抽样加入贝叶斯推论和深度学习。神经网络参数化Von Mises-Fisher和天空坐标和高斯分布的天空坐标和两个群众，用于给定Ligo和Virgo探测器的模拟重力波注射。我们为看不见的引力波事件产生跨ysmaps，这是几分钟内使用贝叶斯推理产生的高等类似的预测。此外，我们可以检测神经网络的差，并迅速向它们标记。

我们提出了因子图（NSFG）的嵌套采样，这是一种新型的嵌套采样方法，用于近似推断在因子图上表达的后验分布。执行这种推理是同时定位和映射（SLAM）的关键步骤。尽管高斯近似通常效果很好，但在其他更具挑战性的SLAM情况下，后验分布是非高斯的，不能用标准分布明确表示。我们的技术适用于后验分布基本上非高斯（例如多模式）的设置，因此需要更具表现力的表示。 NSFG利用嵌套采样方法直接采样后部以表示没有参数密度模型的分布。尽管嵌套采样方法以其在采样多模式分布方面的强大能力而闻名，但该方法在猛击因子图中的应用并不简单。 NSFG利用因子图的结构来构建有效采样的信息的先验分布，并为嵌套采样方法提供显着的计算益处。我们提出了模拟实验，这些实验表明NSFG比最先进的采样技术更快地计算出更快的数量级解决方案。同样，我们将NSFG与最先进的高斯和非高斯大满贯方法进行了比较，并证明NSFG在描述非高斯后代方面更加强大。

高斯工艺（GPS）模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然（ML-II）的经典方法产生了高参数的点估计，并继续成为培训GPS的默认方法。然而，这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外，基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程，其中核心函数的超参数使用嵌套采样（NS）被边缘化，这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物（SM）粒子的回归任务，并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下，还发现嵌套的抽样在汉密尔顿蒙特卡罗（HMC）上提供了速度优势，广泛认为是基于MCMC推断的金标准。

从间接检测实验中寻找暗物质湮灭的间接检测实验的解释需要计算昂贵的宇宙射线传播模拟。在这项工作中，我们提出了一种基于经常性神经网络的新方法，可显着加速二次和暗物质银宇射线反滴角的模拟，同时实现优异的准确性。这种方法允许在宇宙射线传播模型的滋扰参数上进行高效的分析或边缘化，以便为各种暗物质模型进行参数扫描。我们确定重要的采样，具体适用于确保仅在训练有素的参数区域中评估网络。我们使用最新AMS-02 Antiproton数据在几种模型的弱相互作用的大规模粒子上呈现导出的限制。与传统方法相比，全训练网络与此工作一起作为Darkraynet释放，并通过至少两个数量级来实现运行时的加速。

从降压和嘈杂的测量值（例如MRI和低剂量计算机断层扫描（CT））中重建图像是数学上不良的反问题。我们提出了一种基于期望传播（EP）技术的易于使用的重建方法。我们将蒙特卡洛（MC）方法，马尔可夫链蒙特卡洛（MCMC）和乘数（ADMM）算法的交替方向方法纳入EP方法，以解决EP中遇到的棘手性问题。我们在复杂的贝叶斯模型上演示了图像重建的方法。我们的技术应用于伽马相机扫描中的图像。我们仅将EPMC，EP-MCMC，EP-ADMM方法与MCMC进行比较。指标是更好的图像重建，速度和参数估计。在真实和模拟数据中使用伽马相机成像进行的实验表明，我们提出的方法在计算上比MCMC昂贵，并且产生相对更好的图像重建。

远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战，在这些挑战中，训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入，则预处理的深神经网络（在我们的情况下是有条件的正常化流量）几乎没有成本的后验样品。然而，这种方法的准确性取决于高保真训练数据的可用性，由于地球的异质结构，由于地球物理逆问题很少存在。此外，准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此，我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标，我们不是标准的高斯潜在分布，我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后，通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题，但通过地震成像示例，我们表明我们的校正步骤可提高摊销变异推理的鲁棒性，以相对于源实验数量的变化，噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像，并评估其不确定性，其成本大致与五个反度迁移相同。

We consider the problem of estimating the interacting neighborhood of a Markov Random Field model with finite support and homogeneous pairwise interactions based on relative positions of a two-dimensional lattice. Using a Bayesian framework, we propose a Reversible Jump Monte Carlo Markov Chain algorithm that jumps across subsets of a maximal range neighborhood, allowing us to perform model selection based on a marginal pseudoposterior distribution of models. To show the strength of our proposed methodology we perform a simulation study and apply it to a real dataset from a discrete texture image analysis.

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms can produce computationally unfaithful posterior approximations. Our results show that all benchmarked algorithms -- (Sequential) Neural Posterior Estimation, (Sequential) Neural Ratio Estimation, Sequential Neural Likelihood and variants of Approximate Bayesian Computation -- can yield overconfident posterior approximations, which makes them unreliable for scientific use cases and falsificationist inquiry. Failing to address this issue may reduce the range of applicability of simulation-based inference. For this reason, we argue that research efforts should be made towards theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembling posterior surrogates provides more reliable approximations and mitigates the issue.