潜在位置网络模型是网络科学的多功能工具;应用程序包括集群实体,控制因果混淆,并在未观察的图形上定义前提。估计每个节点的潜在位置通常是贝叶斯推理问题的群体,吉布斯内的大都市是最流行的近似后分布的工具。然而,众所周知,GIBBS内的大都市对于大型网络而言是低效;接受比计算成本昂贵,并且所得到的后绘高度相关。在本文中,我们提出了一个替代的马尔可夫链蒙特卡罗战略 - 使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义 - 利用后部分布的功能形式进行更有效的后退计算。我们展示了这些战略在吉布斯和综合网络上的其他算法中优于大都市,以及学区的教师和工作人员的真正信息共享网络。
translated by 谷歌翻译
Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) algorithm that avoids the random walk behavior and sensitivity to correlated parameters that plague many MCMC methods by taking a series of steps informed by first-order gradient information. These features allow it to converge to high-dimensional target distributions much more quickly than simpler methods such as random walk Metropolis or Gibbs sampling. However, HMC's performance is highly sensitive to two user-specified parameters: a step size and a desired number of steps L. In particular, if L is too small then the algorithm exhibits undesirable random walk behavior, while if L is too large the algorithm wastes computation. We introduce the No-U-Turn Sampler (NUTS), an extension to HMC that eliminates the need to set a number of steps L. NUTS uses a recursive algorithm to build a set of likely candidate points that spans a wide swath of the target distribution, stopping automatically when it starts to double back and retrace its steps. Empirically, NUTS perform at least as efficiently as and sometimes more efficiently than a well tuned standard HMC method, without requiring user intervention or costly tuning runs. We also derive a method for adapting the step size parameter on the fly based on primal-dual averaging. NUTS can thus be used with no hand-tuning at all. NUTS is also suitable for applications such as BUGS-style automatic inference engines that require efficient "turnkey" sampling algorithms.
translated by 谷歌翻译
贝叶斯变量选择是用于数据分析的强大工具,因为它为可变选择提供了原则性的方法,该方法可以说明事先信息和不确定性。但是,贝叶斯变量选择的广泛采用受到计算挑战的阻碍,尤其是在具有大量协变量P或非偶联的可能性的困难政权中。为了扩展到大型P制度,我们引入了一种有效的MCMC方案,其每次迭代的成本在P中是均等的。此外,我们还显示了如何将该方案扩展到用于计数数据的广义线性模型,这些模型在生物学,生态学,经济学,经济学,经济学,经济学,经济学,经济学,经济学上很普遍超越。特别是,我们设计有效的算法,用于二项式和负二项式回归中的可变选择,其中包括逻辑回归作为一种特殊情况。在实验中,我们证明了方法的有效性,包括对癌症和玉米基因组数据。
translated by 谷歌翻译
最近介绍基于梯度的MCMC用于离散空间具有巨大的希望,并带来了新离散的可能性的诱人可能性,即MALA和HMC等著名的连续方法。为了实现这一目标,我们介绍了几个在概念上受到MALA启发的分离大都会杂货样本,并在贝叶斯推理和基于能量的建模中表现出了一系列具有挑战性的采样问题。从方法上讲,我们确定了为什么对预处理的MALA的离散类似物通常是棘手的,激发了我们基于辅助变量和“高斯整体技巧”引入一种新型的预处理。
translated by 谷歌翻译
We consider the problem of estimating the interacting neighborhood of a Markov Random Field model with finite support and homogeneous pairwise interactions based on relative positions of a two-dimensional lattice. Using a Bayesian framework, we propose a Reversible Jump Monte Carlo Markov Chain algorithm that jumps across subsets of a maximal range neighborhood, allowing us to perform model selection based on a marginal pseudoposterior distribution of models. To show the strength of our proposed methodology we perform a simulation study and apply it to a real dataset from a discrete texture image analysis.
translated by 谷歌翻译
离散数据丰富,并且通常作为计数或圆形数据而出现。甚至对于线性回归模型,缀合格前沿和闭合形式的后部通常是不可用的,这需要近似诸如MCMC的后部推理。对于广泛的计数和圆形数据回归模型,我们介绍了能够闭合后部推理的共轭前沿。密钥后和预测功能可通过直接蒙特卡罗模拟来计算。至关重要的是,预测分布是离散的,以匹配数据的支持,并且可以在多个协变量中进行共同评估或模拟。这些工具广泛用途是线性回归,非线性模型,通过基础扩展,以及模型和变量选择。多种仿真研究表明计算,预测性建模和相对于现有替代方案的选择性的显着优势。
translated by 谷歌翻译
最近,经验可能性已在贝叶斯框架下广泛应用。马尔可夫链蒙特卡洛(MCMC)方法经常用于从感兴趣参数的后验分布中采样。然而,可能性支持的复杂性,尤其是非凸性的性质,在选择适当的MCMC算法时建立了巨大的障碍。这种困难限制了在许多应用中基于贝叶斯的经验可能性(贝叶赛)方法的使用。在本文中,我们提出了一个两步的大都会黑斯廷斯算法,以从贝耶斯后期进行采样。我们的建议是在层次上指定的,其中确定经验可能性的估计方程用于根据其余参数的建议值提出一组参数的值。此外,我们使用经验可能性讨论贝叶斯模型的选择,并将我们的两步大都会黑斯廷斯算法扩展到可逆的跳跃马尔可夫链蒙特卡洛手术程序,以便从最终的后验中采样。最后,提出了我们提出的方法的几种应用。
translated by 谷歌翻译
Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.
translated by 谷歌翻译
贝叶斯结构学习允许从数据推断贝叶斯网络结构,同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中,我们为贝叶斯结构学习(DIBS)提出了一般,完全可微分的框架,其在潜在概率图表表示的连续空间中运行。与现有的工作相反,DIBS对局部条件分布的形式不可知,并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理,例如,具有由神经网络编码的非线性依赖性。使用DIBS,我们设计了一种高效,通用的变分推理方法,用于近似结构模型的分布。在模拟和现实世界数据的评估中,我们的方法显着优于关节后部推理的相关方法。
translated by 谷歌翻译
汉密尔顿蒙特卡罗(HMC)方法广泛用于利用高效率和良好的空间尺寸的效率和良好可扩展性,将样品从非正式化的目标密度绘制。然而,当目标分布是多式化的时,HMC奋斗,因为沿着模拟路径的势能函数(即负面日志密度函数)的最大增加是由初始动能的界限,这遵循$ \ Chi_d的一半^ 2 $分布,其中d是空间尺寸。在本文中,我们开发了一个汉密尔顿蒙特卡罗方法,其中构造的路径可以穿过高潜在的能量屏障。该方法不需要预先知道目标分布的模式。我们的方法通过连续改变模拟粒子的质量而在构造哈密顿路径时,我们的方法能够频繁跳跃。因此,该方法可以被认为是HMC和钢化转变方法的组合。与其他回火方法相比,我们的方法在GIBBS采样器设置中具有独特的优势,其中目标分布在每个步骤中发生变化。我们为我们的方法制定了实用的调整策略,并证明它可以使用法线和传感器网络定位问题的混合物来构建靶向高维的Markov链的全局混合马尔可夫链。
translated by 谷歌翻译
当采样贝叶斯推断时,一种流行的方法是使用汉密尔顿蒙特卡洛(HMC),特别是No-U-Turn采样器(NUTS),该采样器(NUTS)自动决定汉密尔顿轨迹的结束时间。但是,HMC和螺母可能需要众多目标密度的数值梯度,并且在实践中可能会缓慢。我们建议使用HMC和坚果解决贝叶斯推理问题的汉密尔顿神经网络(HNNS)。一旦训练,HNN不需要在采样过程中的目标密度的数值梯度。此外,它们满足了重要的特性,例如完美的时间可逆性和哈密顿保护性,使其非常适合在HMC和坚果中使用,因为可以显示平稳性。我们还提出了一个称为潜在HNN(L-HNN)的HNN扩展,该扩展能够预测潜在的可变输出。与HNN相比,L-HNN提供了提高表达性和减少的集成误差。最后,我们在具有在线错误监测方案的螺母中使用L-HNN,以防止低概率密度区域的样本退化。我们证明了在螺母中的L-HNN,并在线错误监视了一些涉及复杂,重尾和高本地狂热概率密度的示例。总体而言,具有在线错误监控的坚果中的L-HNN令人满意地推断了这些概率密度。与传统的螺母相比,在线错误监控的螺母中,L-HNN需要1--2个目标密度的数值梯度,并通过数量级提高了每个梯度的有效样本量(ESS)。
translated by 谷歌翻译
贝叶斯变量选择是用于数据分析的强大工具,因为它为可变选择提供了原则性的方法,该方法可以说明事先信息和不确定性。但是,贝叶斯变量选择的更广泛采用受到计算挑战的阻碍,尤其是在具有大量协变量或非偶联的可能性的困难政权中。在生物学,生态学,经济学及其他方面普遍存在的计数数据的广义线性模型代表了一个重要的特殊情况。在这里,我们介绍了一种有效的MCMC方案,用于利用脾气暴躁的Gibbs采样(Zanella and Roberts,2019年)中的二项式和负二项式回归中的可变选择,其中包括逻辑回归作为一种特殊情况。在实验中,我们证明了我们的方法的有效性,包括对拥有一千万变量的癌症数据。
translated by 谷歌翻译
One of the core problems of modern statistics is to approximate difficult-to-compute probability densities. This problem is especially important in Bayesian statistics, which frames all inference about unknown quantities as a calculation involving the posterior density. In this paper, we review variational inference (VI), a method from machine learning that approximates probability densities through optimization. VI has been used in many applications and tends to be faster than classical methods, such as Markov chain Monte Carlo sampling. The idea behind VI is to first posit a family of densities and then to find the member of that family which is close to the target. Closeness is measured by Kullback-Leibler divergence. We review the ideas behind mean-field variational inference, discuss the special case of VI applied to exponential family models, present a full example with a Bayesian mixture of Gaussians, and derive a variant that uses stochastic optimization to scale up to massive data. We discuss modern research in VI and highlight important open problems. VI is powerful, but it is not yet well understood. Our hope in writing this paper is to catalyze statistical research on this class of algorithms.
translated by 谷歌翻译
回归模型用于各种应用,为来自不同领域的研究人员提供强大的科学工具。线性或简单的参数,模型通常不足以描述输入变量与响应之间的复杂关系。通过诸如神经网络的灵活方法可以更好地描述这种关系,但这导致不太可解释的模型和潜在的过度装备。或者,可以使用特定的参数非线性函数,但是这种功能的规范通常是复杂的。在本文中,我们介绍了一种灵活的施工方法,高度灵活的非线性参数回归模型。非线性特征是分层的,类似于深度学习,但对要考虑的可能类型的功能具有额外的灵活性。这种灵活性,与变量选择相结合,使我们能够找到一小部分重要特征,从而可以更具可解释的模型。在可能的功能的空间内,考虑了贝叶斯方法,基于它们的复杂性引入功能的前沿。采用遗传修改模式跳跃马尔可夫链蒙特卡罗算法来执行贝叶斯推理和估计模型平均的后验概率。在各种应用中,我们说明了我们的方法如何用于获得有意义的非线性模型。此外,我们将其预测性能与多个机器学习算法进行比较。
translated by 谷歌翻译
在使用多模式贝叶斯后部分布时,马尔可夫链蒙特卡罗(MCMC)算法难以在模式之间移动,并且默认变分或基于模式的近似推动将低估后不确定性。并且,即使找到最重要的模式,难以评估后部的相对重量。在这里,我们提出了一种使用MCMC,变分或基于模式的模式的并行运行的方法,以便尽可能多地击中多种模式或分离的区域,然后使用贝叶斯堆叠来组合这些用于构建分布的加权平均值的可扩展方法。通过堆叠从多模式后分布的堆叠,最小化交叉验证预测误差的结果,并且代表了比变分推断更好的不确定度,但它不一定是相当于渐近的,以完全贝叶斯推断。我们呈现理论一致性,其中堆叠推断逼近来自未衰退的模型和非混合采样器的真实数据生成过程,预测性能优于完全贝叶斯推断,因此可以被视为祝福而不是模型拼写下的诅咒。我们展示了几个模型家庭的实际实施:潜在的Dirichlet分配,高斯过程回归,分层回归,马蹄素变量选择和神经网络。
translated by 谷歌翻译
这是模型选择和假设检测的边缘似然计算的最新介绍和概述。计算概率模型(或常量比率)的常规规定常数是许多统计数据,应用数学,信号处理和机器学习中的许多应用中的基本问题。本文提供了对主题的全面研究。我们突出了不同技术之间的局限性,优势,连接和差异。还描述了使用不正确的前沿的问题和可能的解决方案。通过理论比较和数值实验比较一些最相关的方法。
translated by 谷歌翻译
我们提出了一种使用边缘似然的分布式贝叶斯模型选择的一般方法,其中数据集被分开在非重叠子集中。这些子集仅由个别工人本地访问,工人之间没有共享数据。我们近似通过在每个子集的每个子集上从后部采样通过Monte Carlo采样的完整数据的模型证据。结果使用一种新的方法来组合,该方法校正使用所产生的样本的汇总统计分裂。我们的鸿沟和征服方法使贝叶斯模型在大型数据设置中选择,利用所有可用信息,而是限制工人之间的沟通。我们派生了理论误差界限,这些错误界限量化了计算增益与精度损失之间的结果。当我们的真实世界实验所示,令人尴尬的平行性质在大规模数据集时产生了重要的速度。此外,我们展示了如何在可逆跳转设置中扩展建议的方法以在可逆跳转设置中进行模型选择,该跳转设置在一个运行中探讨多个特征组合。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
在本文中,我们描述了使用汉密尔顿蒙特卡洛方法从基于经验可能性的后验进行采样的{\ tt r}软件包。基于经验可能性的方法论已在最近的许多感兴趣问题的贝叶斯建模中使用。该半摩擦过程可以轻松地将非参数分布估计器的灵活性与参数模型的可解释性结合在一起。该模型是通过估计基于方程的约束来指定的。从贝叶斯的经验可能性(贝耶斯)后部提取推断是具有挑战性的。可能性是数值计算的,因此不存在后部的闭合表达。此外,对于任何有限尺寸的样本,可能性的支持是非凸,这阻碍了许多马尔可夫链蒙特卡洛(MCMC)程序的快速混合。最近已经表明,使用对数经验可能性梯度的性质,可以设计有效的汉密尔顿蒙特卡洛(HMC)算法来从贝内斯尔后部采样。该软件包要求用户仅指定估计方程,先验及其各自的梯度。从参数后部绘制的MCMC样本,并获得了用户所需的各种细节。
translated by 谷歌翻译
最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中,其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中,我们涵盖了非线性方法,例如主曲线,多维缩放,局部线性方法,ISOMAP,基于图形的方法和扩散映射,基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关,特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中,以使数据适合传统技术,例如群集和分类技术。可以说,这是算法机器学习方法与统计建模(所谓的随机块建模)之间的对比度。在论文中,我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $,即可视化中。提出了三种方法:基于第一部分,第二和第三部分中的方法,$ t $ -sne,UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎,另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。
translated by 谷歌翻译