Hamiltonian Monte Carlo (HMC) sampling methods provide a mechanism for defining distant proposals with high acceptance probabilities in a Metropolis-Hastings framework, enabling more efficient exploration of the state space than standard random-walk proposals. The popularity of such methods has grown significantly in recent years. However, a limitation of HMC methods is the required gradient computation for simulation of the Hamiltonian dynamical system-such computation is infeasible in problems involving a large sample size or streaming data. Instead, we must rely on a noisy gradient estimate computed from a subset of the data. In this paper, we explore the properties of such a stochastic gradient HMC approach. Surprisingly, the natural implementation of the stochastic approximation can be arbitrarily bad. To address this problem we introduce a variant that uses second-order Langevin dynamics with a friction term that counteracts the effects of the noisy gradient, maintaining the desired target distribution as the invariant distribution. Results on simulated data validate our theory. We also provide an application of our methods to a classification task using neural networks and to online Bayesian matrix factorization.

我们重新审视汉密尔顿随机微分方程（SDES）的理论属性，为贝叶斯后部采样，我们研究了来自数值SDE仿真的两种类型的误差：在数据附带的上下文中，离散化误差和由于噪声渐变估计而导致的错误。我们的主要结果是对迷你批次通过差分操作员分裂镜片影响的新颖分析，修改了先前的文献结果。Hamiltonian SDE的随机分量与梯度噪声分离，我们没有常规假设。这导致识别收敛瓶颈：在考虑迷你批次时，最佳可实现的错误率是$ \ mathcal {o}（\ eta ^ 2）$，带有$ \ eta $是集成器步长。我们的理论结果得到了贝叶斯神经网络各种回归和分类任务的实证研究。

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) algorithm that avoids the random walk behavior and sensitivity to correlated parameters that plague many MCMC methods by taking a series of steps informed by first-order gradient information. These features allow it to converge to high-dimensional target distributions much more quickly than simpler methods such as random walk Metropolis or Gibbs sampling. However, HMC's performance is highly sensitive to two user-specified parameters: a step size and a desired number of steps L. In particular, if L is too small then the algorithm exhibits undesirable random walk behavior, while if L is too large the algorithm wastes computation. We introduce the No-U-Turn Sampler (NUTS), an extension to HMC that eliminates the need to set a number of steps L. NUTS uses a recursive algorithm to build a set of likely candidate points that spans a wide swath of the target distribution, stopping automatically when it starts to double back and retrace its steps. Empirically, NUTS perform at least as efficiently as and sometimes more efficiently than a well tuned standard HMC method, without requiring user intervention or costly tuning runs. We also derive a method for adapting the step size parameter on the fly based on primal-dual averaging. NUTS can thus be used with no hand-tuning at all. NUTS is also suitable for applications such as BUGS-style automatic inference engines that require efficient "turnkey" sampling algorithms.

从非正规化概率分布的抽样是机器学习中的基本问题，包括贝叶斯建模，潜在因子推断和基于能源的模型训练。在几十年的研究之后，尽管收敛缓慢，但MCMC的变化仍然是抽样的默认方法。辅助神经模型可以学习加速MCMC，但训练额外模型的开销可能是禁止的。我们通过具有非牛顿势头的新的汉密尔顿动态提出了对这个问题的根本不同的方法。与MCMC蒙特卡洛等MCMC接近相比，不需要随机步骤。相反，在扩展状态空间中提出的确定性动态精确地对能量函数指定的目标分布，在ergodicity的假设下。或者，可以将动态解释为在没有训练的情况下对指定的能量模型进行采样的标准化流程。所提出的能量采样哈密尔顿（ESH）动态有一个简单的形式，可以用现有的颂歌解决，但我们推出了一个专业的求解器，它表现出更好的性能。 ESH Dynamics会收敛于其MCMC竞争对手的速度更快，更稳定地培训神经网络能量模型。

潜在位置网络模型是网络科学的多功能工具;应用程序包括集群实体，控制因果混淆，并在未观察的图形上定义前提。估计每个节点的潜在位置通常是贝叶斯推理问题的群体，吉布斯内的大都市是最流行的近似后分布的工具。然而，众所周知，GIBBS内的大都市对于大型网络而言是低效;接受比计算成本昂贵，并且所得到的后绘高度相关。在本文中，我们提出了一个替代的马尔可夫链蒙特卡罗战略 - 使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义 - 利用后部分布的功能形式进行更有效的后退计算。我们展示了这些战略在吉布斯和综合网络上的其他算法中优于大都市，以及学区的教师和工作人员的真正信息共享网络。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

当采样贝叶斯推断时，一种流行的方法是使用汉密尔顿蒙特卡洛（HMC），特别是No-U-Turn采样器（NUTS），该采样器（NUTS）自动决定汉密尔顿轨迹的结束时间。但是，HMC和螺母可能需要众多目标密度的数值梯度，并且在实践中可能会缓慢。我们建议使用HMC和坚果解决贝叶斯推理问题的汉密尔顿神经网络（HNNS）。一旦训练，HNN不需要在采样过程中的目标密度的数值梯度。此外，它们满足了重要的特性，例如完美的时间可逆性和哈密顿保护性，使其非常适合在HMC和坚果中使用，因为可以显示平稳性。我们还提出了一个称为潜在HNN（L-HNN）的HNN扩展，该扩展能够预测潜在的可变输出。与HNN相比，L-HNN提供了提高表达性和减少的集成误差。最后，我们在具有在线错误监测方案的螺母中使用L-HNN，以防止低概率密度区域的样本退化。我们证明了在螺母中的L-HNN，并在线错误监视了一些涉及复杂，重尾和高本地狂热概率密度的示例。总体而言，具有在线错误监控的坚果中的L-HNN令人满意地推断了这些概率密度。与传统的螺母相比，在线错误监控的螺母中，L-HNN需要1--2个目标密度的数值梯度，并通过数量级提高了每个梯度的有效样本量（ESS）。

引入后二十年多，退火重要性采样（AIS）仍然是边际可能性估计的最有效方法之一。它依赖于一系列分布序列在可聊天的初始分布和利益的目标分布之间插值，我们从大约使用非均匀的马尔可夫链中模拟了分布。为了获得边际可能性的重要性采样估计，AIS引入了扩展的目标分布，以重新持续马尔可夫链提案。尽管已经大量努力通过更改AIS使用的提案分布，通过更改中间分布和相应的马尔可夫内核，但不被评估的问题是AIS使用方便但次优的扩展目标分布。这可能会阻碍其性能。我们在这里利用基于分数的生成建模（SGM）的最新进展来近似与Langevin和Hamiltonian Dynamics离散化相对应的AIS建议的最佳扩展目标分布。我们在许多合成基准分布和变异自动编码器上展示了这些新颖的，可区分的AIS程序。

随机梯度算法在大规模学习和推理问题中广泛用于优化和采样。但是，实际上，调整这些算法通常是使用启发式和反复试验而不是严格的，可概括的理论来完成的。为了解决理论和实践之间的这一差距，我们通过表征具有固定步长的非常通用的预处理随机梯度算法的迭代术的大样本行为来对调整参数的效果进行新的见解。在优化设置中，我们的结果表明，具有较大固定步长的迭代平均值可能会导致（局部）M-静态器的统计效率近似。在抽样环境中，我们的结果表明，通过适当的调整参数选择，限制固定协方差可以与Bernstein匹配 - 后验的von Mises限制，对模型错误指定后验的调整或MLE的渐近分布；而幼稚的调整极限与这些都不相对应。此外，我们认为可以在数据集对固定数量的通行证后获得基本独立的样本。我们使用模拟和真实数据通过多个实验来验证渐近样结果。总体而言，我们证明具有恒定步长的正确调整的随机梯度算法为获得点估计或后部样品提供了计算上有效且统计上健壮的方法。

随机梯度马尔可夫链Monte Carlo（SGMCMC）是一种流行的可扩展贝叶斯推断算法。然而，这些算法包括诸如步进尺寸或批量尺寸，这些算法基于所获得的后样品影响估计器的准确性。因此，必须由从业者调整这些超级参数，目前没有具体的和自动化方式来调整它们存在。基于接受率的标准MCMC调整方法不能用于SGMCMC，从而需要替代工具和诊断。我们提出了一种基于新的基于强盗的算法，通过最小化真正的后后部和蒙特卡罗近似之间的斯坦坦差异来调谐SGMCMC近似度。我们提供支持这种方法的理论结果，并评估各种基于Stein的差异。我们通过对模拟和实际数据集的实验支持我们的结果，并发现该方法对于各种应用程序实用。

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。

我们根据二阶Langevin动力学的集合近似提出了一种采样方法。对数目标密度的附加辅助动量变量中附加了二次项，并引入了阻尼驱动的汉密尔顿动力学。所得的随机微分方程对于Gibbs度量不变，而目标坐标的边际坐标。根据动力学定律，基于协方差的预处理不会改变此不变性属性，并且被引入以加速融合到吉布斯度量。可以通过合奏方法近似产生的平均场动力学。这导致无梯度和仿射不变的随机动力学系统。数值结果证明了其作为贝叶斯反问题中数值采样器的基础的潜力。

最近介绍基于梯度的MCMC用于离散空间具有巨大的希望，并带来了新离散的可能性的诱人可能性，即MALA和HMC等著名的连续方法。为了实现这一目标，我们介绍了几个在概念上受到MALA启发的分离大都会杂货样本，并在贝叶斯推理和基于能量的建模中表现出了一系列具有挑战性的采样问题。从方法上讲，我们确定了为什么对预处理的MALA的离散类似物通常是棘手的，激发了我们基于辅助变量和“高斯整体技巧”引入一种新型的预处理。

在本章中，我们确定了基本的几何结构，这些几何结构是采样，优化，推理和自适应决策问题的基础。基于此识别，我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明，在这些领域中自然出现了广泛的几何理论，范围从测量过程，信息差异，泊松几何和几何整合。具体而言，我们解释了（i）如何利用汉密尔顿系统的符合性几何形状，使我们能够构建（加速）采样和优化方法，（ii）希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器，（iii）（iii）（iii）保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中，我们强调了这些领域之间的丰富联系。例如，推论借鉴了抽样和优化，并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述，而不是技术讨论，可以在本文中的参考文献中找到。

我们介绍了一种新颖的几何形状不可逆的扰动，该扰动加速了langevin算法的贝叶斯计算的收敛性。有充分的文献证明，兰格文动力学存在扰动，该动力学在加速其收敛的同时保留其不变度的度量。不可逆的扰动和可逆扰动（例如Riemannian歧管Langevin Dynamics（RMLD））已被单独显示以改善Langevin Samplers的性能。我们同时考虑了这两种扰动，通过呈现一种新型的RMLD不可逆扰动形式，该形式由基础几何形状告知。通过数值示例，我们表明，这种新的不可逆扰动可以改善估计性性能，而不是不可逆的扰动，而这些扰动不会考虑到几何。此外，我们证明，不可逆转的扰动通常可以与Langevin算法的随机梯度版本结合使用。最后，尽管连续的不可逆扰动不能损害兰格文估计器的性能，但考虑离散化时，情况有时会更加复杂。为此，我们描述了一个离散的示例，其中不可逆性增加了所得估计量的偏差和差异。

汉密尔顿蒙特卡罗（HMC）方法广泛用于利用高效率和良好的空间尺寸的效率和良好可扩展性，将样品从非正式化的目标密度绘制。然而，当目标分布是多式化的时，HMC奋斗，因为沿着模拟路径的势能函数（即负面日志密度函数）的最大增加是由初始动能的界限，这遵循$ \ Chi_d的一半^ 2 $分布，其中d是空间尺寸。在本文中，我们开发了一个汉密尔顿蒙特卡罗方法，其中构造的路径可以穿过高潜在的能量屏障。该方法不需要预先知道目标分布的模式。我们的方法通过连续改变模拟粒子的质量而在构造哈密顿路径时，我们的方法能够频繁跳跃。因此，该方法可以被认为是HMC和钢化转变方法的组合。与其他回火方法相比，我们的方法在GIBBS采样器设置中具有独特的优势，其中目标分布在每个步骤中发生变化。我们为我们的方法制定了实用的调整策略，并证明它可以使用法线和传感器网络定位问题的混合物来构建靶向高维的Markov链的全局混合马尔可夫链。

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

我们提出了离散的Langevin提案（DLP），这是一种简单且可扩展的基于梯度的建议，用于对复杂的高维离散分布进行采样。与基于Gibbs采样的方法相反，DLP能够单个步骤并行更新所有坐标，并且更改的幅度由步骤尺寸控制。这允许在高维且密切相关的变量的空间中进行廉价，有效的探索。我们通过证明其固定分布的渐近偏置对于对数季度分布而言是零，并且对于接近对数季度的分布而言，我们证明了DLP的效率为零。使用DLP，我们开发了几种采样算法的变体，包括未经调整的，大都市调整后的，随机和预处理版本。DLP在各种任务上都优于许多受欢迎的替代方案，包括ISING模型，受限的Boltzmann机器，基于深层的基于能量的模型，二进制神经网络和语言生成。

我们研究Livingstone＆Zanella（2021）中引入的一阶级本地平衡的大都市 - 黑斯廷斯算法（2021）。要在类中选择特定算法，用户必须选择平衡函数$ g：\ mathbb {r} \ to \ mathbb {r} $满足$ g（t）= tg（1 / t）$，以及噪声分布提案增量。课程中的流行选择是Metropolis调整的Langevin算法，最近推出的Barker提案。我们首先建立一个普遍限制的最佳验收率为57％，并为N $ N $的缩放，因为维度在$ G $的温和平滑假设下的所有成员之间的无限程度倾向于无限算法的目标分布是产品形式。特别地，我们通过预期的平方跳跃距离来获得类中任意算法的渐近效率的显式表达式。然后，我们考虑如何在各种约束下优化此表达式。我们为Barker提案提供了最佳的噪声分布选择，在高斯噪声分布​​下的平衡功能的最佳选择，以及整个类中的一阶本地平衡算法的最佳选择，结果取决于特定的目标分布。数值模拟确认了我们的理论发现，特别表明，Barker提案中的双模噪声分布选择产生了比原始高斯版本始终如一的效率的实用算法。