无似然方法是对可以模拟的隐式模型执行推断的必不可少的工具，但相应的可能性是棘手的。但是，常见的无可能方法不能很好地扩展到大量模型参数。一种有前途的无可能推理的有前途的方法涉及通过仅根据据信为低维成分提供信息的摘要统计数据来估计低维边缘后期，然后在某种程度上结合了低维近似值。在本文中，我们证明，对于看似直观的汇总统计选择，这种低维近似值在实践中可能是差的。我们描述了一个理想化的低维汇总统计量，原则上适用于边际估计。但是，在实践中很难直接近似理想的选择。因此，我们提出了一种替代的边际估计方法，该方法更容易实施和自动化。考虑到初始选择的低维摘要统计量可能仅对边缘后验位置有用，新方法通过使用所有摘要统计数据来确保全局可识别性来提高性能，从而提高性能使用低维摘要统计量进行精确的低维近似。我们表明，该方法的后部可以分别基于低维和完整的摘要统计数据将其表示为后验分布的对数库。在几个示例中说明了我们方法的良好性能。

重要的加权是调整蒙特卡洛集成以说明错误分布中抽取的一种一般方法，但是当重要性比的右尾巴较重时，最终的估计值可能是高度可变的。当目标分布的某些方面无法通过近似分布捕获，在这种情况下，可以通过修改极端重要性比率来获得更稳定的估计。我们提出了一种新的方法，该方法使用拟合模拟重要性比率的上尾的广义帕累托分布来稳定重要性权重。该方法在经验上的性能要比现有方法稳定重要性采样估计值更好，包括稳定的有效样本量估计，蒙特卡洛误差估计和收敛诊断。提出的帕累托$ \ hat {k} $有限样本收敛率诊断对任何蒙特卡洛估计器都有用。

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

我们提出了一种使用边缘似然的分布式贝叶斯模型选择的一般方法，其中数据集被分开在非重叠子集中。这些子集仅由个别工人本地访问，工人之间没有共享数据。我们近似通过在每个子集的每个子集上从后部采样通过Monte Carlo采样的完整数据的模型证据。结果使用一种新的方法来组合，该方法校正使用所产生的样本的汇总统计分裂。我们的鸿沟和征服方法使贝叶斯模型在大型数据设置中选择，利用所有可用信息，而是限制工人之间的沟通。我们派生了理论误差界限，这些错误界限量化了计算增益与精度损失之间的结果。当我们的真实世界实验所示，令人尴尬的平行性质在大规模数据集时产生了重要的速度。此外，我们展示了如何在可逆跳转设置中扩展建议的方法以在可逆跳转设置中进行模型选择，该跳转设置在一个运行中探讨多个特征组合。

这是模型选择和假设检测的边缘似然计算的最新介绍和概述。计算概率模型（或常量比率）的常规规定常数是许多统计数据，应用数学，信号处理和机器学习中的许多应用中的基本问题。本文提供了对主题的全面研究。我们突出了不同技术之间的局限性，优势，连接和差异。还描述了使用不正确的前沿的问题和可能的解决方案。通过理论比较和数值实验比较一些最相关的方法。

剩下的交叉验证（LOO-CV）是一种估计样本外预测准确性的流行方法。但是，由于需要多次拟合模型，因此计算LOO-CV标准在计算上可能很昂贵。在贝叶斯的情况下，重要性采样提供了一种可能的解决方案，但是经典方法可以轻松地产生差异是无限的估计器，从而使它们可能不可靠。在这里，我们提出和分析一种新型混合估计量来计算贝叶斯Loo-CV标准。我们的方法保留了经典方法的简单性和计算便利性，同时保证了所得估计器的有限差异。提供了理论和数值结果，以说明提高的鲁棒性和效率。在高维问题中，计算益处尤为重要，可以为更广泛的模型执行贝叶斯loo-CV。所提出的方法可以在标准概率编程软件中很容易实现，并且计算成本大致相当于拟合原始模型一次。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

无似然推理涉及在给定的数据和模拟器模型的情况下推断参数值。模拟器是计算机代码，它采用参数，执行随机计算并输出模拟数据。在这项工作中，我们将模拟器视为一个函数，其输入为（1）参数和（2）伪随机绘制的向量。我们试图推断出以观察结果为条件的所有这些输入。这是具有挑战性的，因为最终的后验可能是高维且涉及强大的依赖性。我们使用归一化流量（柔性参数密度族）近似后验。训练数据是通过具有较大带宽值Epsilon的非似然重要性采样来生成的，这使得目标与先验相似。培训数据通过使用它来训练更新的归一流流程来“蒸馏”。该过程是迭代的，使用更新的流程作为重要性采样建议，并慢慢降低epsilon，从而使目标变得更接近后部。与大多数其他无似然的方法不同，我们避免将数据减少到低维汇总统计数据，因此可以实现更准确的结果。我们在两个充满挑战的排队和流行病学示例中说明了我们的方法。

近似贝叶斯计算（ABC）使复杂模型中的统计推断能够计算，其可能性难以计算，但易于模拟。 ABC通过接受/拒绝机制构建到后部分布的内核类型近似，该机制比较真实和模拟数据的摘要统计信息。为了避免对汇总统计数据的需求，我们直接将经验分布与通过分类获得的Kullback-Leibler（KL）发散估计值进行比较。特别是，我们将灵活的机器学习分类器混合在ABC中以自动化虚假/真实数据比较。我们考虑传统的接受/拒绝内核以及不需要ABC接受阈值的指数加权方案。我们的理论结果表明，我们的ABC后部分布集中在真实参数周围的速率取决于分类器的估计误差。我们得出了限制后形状的结果，并找到了一个正确缩放的指数内核，渐近常态持有。我们展示了我们对模拟示例以及在股票波动率估计的背景下的真实数据的有用性。

We consider the problem of estimating the interacting neighborhood of a Markov Random Field model with finite support and homogeneous pairwise interactions based on relative positions of a two-dimensional lattice. Using a Bayesian framework, we propose a Reversible Jump Monte Carlo Markov Chain algorithm that jumps across subsets of a maximal range neighborhood, allowing us to perform model selection based on a marginal pseudoposterior distribution of models. To show the strength of our proposed methodology we perform a simulation study and apply it to a real dataset from a discrete texture image analysis.

神经密度估计值证明在各种研究领域进行高效的仿真贝叶斯推理方面具有显着强大。特别是，Bayesflow框架使用两步方法来实现在仿真程序隐式地定义似然函数的设置中的摊销参数估计。但是当模拟是现实差的差异时，这种推断是多么忠实？在本文中，我们概念化了基于模拟的推论中出现的模型误操作的类型，并系统地研究了这些误操作下的Bayesflow框架的性能。我们提出了一个增强优化目标，它对潜伏数据空间上的概率结构施加了概率结构，并利用了最大平均差异（MMD）来检测推理期间的可能灾难性的误操作，破坏了所获得的结果的有效性。我们验证了许多人工和现实的误操作的检测标准，从玩具共轭模型到复杂的决策和疾病爆发动态的复杂模型应用于实际数据。此外，我们表明后部推理误差随着真实数据生成分布与潜在摘要空间中的典型模拟集之间的常数而增加。因此，我们展示了MMD的双重实用性作为检测模型误操作的方法和作为验证摊销贝叶斯推理的忠实性的代理。

在使用多模式贝叶斯后部分布时，马尔可夫链蒙特卡罗（MCMC）算法难以在模式之间移动，并且默认变分或基于模式的近似推动将低估后不确定性。并且，即使找到最重要的模式，难以评估后部的相对重量。在这里，我们提出了一种使用MCMC，变分或基于模式的模式的并行运行的方法，以便尽可能多地击中多种模式或分离的区域，然后使用贝叶斯堆叠来组合这些用于构建分布的加权平均值的可扩展方法。通过堆叠从多模式后分布的堆叠，最小化交叉验证预测误差的结果，并且代表了比变分推断更好的不确定度，但它不一定是相当于渐近的，以完全贝叶斯推断。我们呈现理论一致性，其中堆叠推断逼近来自未衰退的模型和非混合采样器的真实数据生成过程，预测性能优于完全贝叶斯推断，因此可以被视为祝福而不是模型拼写下的诅咒。我们展示了几个模型家庭的实际实施：潜在的Dirichlet分配，高斯过程回归，分层回归，马蹄素变量选择和神经网络。

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

在神经密度估计的进展之后，近年来，已经取得了相当大的进步，该方法是基于模拟的推断（SBI）方法，能够对随机仿真模型进行柔性，黑盒，近似贝叶斯的推断。尽管已经证明神经SBI方法可以提供准确的后近似值，但建立这些结果的仿真研究仅考虑了明确指定的问题 - 即模型和数据生成过程完全重合的地方。但是，在模型错误指定的情况下，这种算法的行为很少受到关注。在这项工作中，我们提供了对神经SBI算法在存在各种模型错误指定的情况下的行为的首次全面研究。我们发现，错误指定会对性能产生深远的影响。探索了一些缓解策略，但是未经测试的方法在所有情况下都可以防止失败。我们得出的结论是，如果要依靠神经SBI算法来得出准确的科学结论，则需要新的方法来解决模型错误指定。

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。

离散数据丰富，并且通常作为计数或圆形数据而出现。甚至对于线性回归模型，缀合格前沿和闭合形式的后部通常是不可用的，这需要近似诸如MCMC的后部推理。对于广泛的计数和圆形数据回归模型，我们介绍了能够闭合后部推理的共轭前沿。密钥后和预测功能可通过直接蒙特卡罗模拟来计算。至关重要的是，预测分布是离散的，以匹配数据的支持，并且可以在多个协变量中进行共同评估或模拟。这些工具广泛用途是线性回归，非线性模型，通过基础扩展，以及模型和变量选择。多种仿真研究表明计算，预测性建模和相对于现有替代方案的选择性的显着优势。

如今，贝叶斯推论的应用非常流行。在此框架中，通过其边际可能性或其商（称为贝叶斯因素）进行比较模型。但是，边际可能性取决于先前的选择。对于模型选择，与参数估计问题不同，即使是分散的先验也可能非常有用。此外，当先验不当时，相应模型的边际可能性就不确定。在这项工作中，我们讨论了边际可能性及其在模型选择中的作用的先验敏感性问题。我们还评论了使用非信息性先验，这在实践中是非常普遍的选择。讨论了一些实际建议，并描述了文献中提出的许多可能的解决方案，以设计用于模型选择的客观先验。其中一些还允许使用不当先验。还提出了边际似然方法与众所周知的信息标准之间的联系。我们通过说明性的数值示例描述了主要问题和可能的解决方案，还提供了一些相关的代码。其中之一涉及外球星的现实应用。

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

神经网络最近显示出对无似然推理的希望，从而为经典方法提供了魔力的速度。但是，当从独立重复估计参数时，当前的实现是次优的。在本文中，我们使用决策理论框架来争辩说，如果这些模型的模拟很简单，则理想地放置了置换不变的神经网络，可用于为任意模型构造贝叶斯估计器。我们说明了这些估计量在传统空间模型以及高度参数化的空间发射模型上的潜力，并表明它们在其网络设计中不适当地说明复制的神经估计量相当大。同时，它们比基于传统可能性的估计量具有很高的竞争力和更快的速度。我们将估计量应用于红海中海面温度的空间分析，在训练之后，我们获得参数估计值，并通过引导采样对估计值进行不确定性定量，从一秒钟的数百个空间场中获取。

利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常，许多初始状态归因于“燃烧”并移除，而链条的其余部分是“变薄”，如果还需要压缩。在本文中，我们考虑回顾性地从样本路径中选择固定基数的状态的问题，使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法，这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python，R和Matlab中的Stein细化包中提供。