汉密尔顿蒙特卡洛（HMC）是抽样中的流行方法。尽管有很多关于各个方面的方法研究这种方法的作品，但一个有趣的问题是如何选择其集成时间以实现加速。在这项工作中，我们考虑通过HMC通过时间变化的集成时间来加速从分布$ \ pi（x）\ propto \ exp（-f（x））$采样的过程。当潜在的$ f $为$ l $ -smooth和$ m $ - $ -Strongly凸，即\ \ \用于从日志平滑且强烈的log-concove目标分配$ \ pi $进行采样时，已知在恒定的集成时间下，理想HMC需要获得$ \ epsilon $ wasserstein-2距离到目标$ \ pi $ is $ o（\ kappa \ log \ frac \ frac {1} {\ epsilon}）$的迭代数量kappa：= \ frac {l} {m} $是条件号。我们提出了一个基于Chebyshev多项式根源的时变整合时间的方案。我们表明，在二次潜在$ f $的情况下，即当目标$ \ pi $是高斯分布时，理想的HMC只需$ o（\ sqrt {\ kappa} \ log \ frac） {1} {\ epsilon}）$迭代数量到达Wasserstein-2距离小于$ \ epsilon $;对条件编号的依赖性的这种改善类似于优化的加速。 HMC随着建议的集成时间的设计和分析是建立在Chebyshev多项式工具上的。实验发现，即使是从没有二次的平稳凸电势的分布中进行的，即使是从具有平稳凸电势的分布中进行采样的优势也是如此。

我们报告了理想的汉密尔顿蒙特卡洛采样器的可变整合时间与部分速度茶点之间的一种有趣的联系，这两者都可用于减少动力学的耗散行为。更具体地说，我们表明，在二次电势上，通过这些方式可以通过$ \ sqrt {\ kappa} $ factor在Wasserstein-2距离中提高效率，与经典的恒定整合时间相比，完全刷新了HMC。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

在本文中，我们在使用离散的Langevin扩散的三个方案中从目标密度采样的误差提供非渐近上限。第一个方案是Langevin Monte Carlo（LMC）算法，歌曲的欧拉分散化的歌曲扩散。第二个和第三种方案分别是用于可微分电位和动力学Langevin Monte Carlo的动力学Langevin Monte Carlo（KLMC），用于两次可分视电位（KLMC2）。主要焦点是在$ \ mathbb r ^ p $的目标密度上，但不一定强烈地抖动。在两种类型的平滑假设下获得计算复杂度的界限：电位具有嘴唇连续梯度，并且电位具有嘴角连续的Hessian基质。采样误差由Wassersein-$ Q $距离测量。我们倡导在计算复杂性定义中使用新的维度适应缩放，当考虑Wasserstein-$ Q $距离时。所获得的结果表明，实现小于规定值的缩放误差的迭代次数仅取决于多项尺寸。

We consider the constrained sampling problem where the goal is to sample from a distribution $\pi(x)\propto e^{-f(x)}$ and $x$ is constrained on a convex body $\mathcal{C}\subset \mathbb{R}^d$. Motivated by penalty methods from optimization, we propose penalized Langevin Dynamics (PLD) and penalized Hamiltonian Monte Carlo (PHMC) that convert the constrained sampling problem into an unconstrained one by introducing a penalty function for constraint violations. When $f$ is smooth and the gradient is available, we show $\tilde{\mathcal{O}}(d/\varepsilon^{10})$ iteration complexity for PLD to sample the target up to an $\varepsilon$-error where the error is measured in terms of the total variation distance and $\tilde{\mathcal{O}}(\cdot)$ hides some logarithmic factors. For PHMC, we improve this result to $\tilde{\mathcal{O}}(\sqrt{d}/\varepsilon^{7})$ when the Hessian of $f$ is Lipschitz and the boundary of $\mathcal{C}$ is sufficiently smooth. To our knowledge, these are the first convergence rate results for Hamiltonian Monte Carlo methods in the constrained sampling setting that can handle non-convex $f$ and can provide guarantees with the best dimension dependency among existing methods with deterministic gradients. We then consider the setting where unbiased stochastic gradients are available. We propose PSGLD and PSGHMC that can handle stochastic gradients without Metropolis-Hasting correction steps. When $f$ is strongly convex and smooth, we obtain an iteration complexity of $\tilde{\mathcal{O}}(d/\varepsilon^{18})$ and $\tilde{\mathcal{O}}(d\sqrt{d}/\varepsilon^{39})$ respectively in the 2-Wasserstein distance. For the more general case, when $f$ is smooth and non-convex, we also provide finite-time performance bounds and iteration complexity results. Finally, we test our algorithms on Bayesian LASSO regression and Bayesian constrained deep learning problems.

我们为Nesterov在概率空间中加速的梯度流提供了一个框架，以设计有效的平均田间马尔可夫链蒙特卡洛（MCMC）贝叶斯逆问题算法。在这里，考虑了四个信息指标的示例，包括Fisher-Rao Metric，Wasserstein-2 Metric，Kalman-Wasserstein Metric和Stein Metric。对于Fisher-Rao和Wasserstein-2指标，我们都证明了加速梯度流的收敛性。在实施中，我们建议使用重新启动技术的Wasserstein-2，Kalman-Wasseintein和Stein加速梯度流的抽样效率离散算法。我们还制定了一种内核带宽选择方法，该方法从布朗动物样品中学习了密度对数的梯度。与最先进的算法相比，包括贝叶斯逻辑回归和贝叶斯神经网络在内的数值实验显示了所提出方法的强度。

连续时间扩散过程的离散化是一种广泛认可的采样方法。然而，当通常需要平滑（梯度Lipschitz）时，似乎是一个相当大的限制。本文研究了通过欧拉离散化进行采样的问题，其中潜在的功能被认为是弱平滑分布的混合物，满足弱耗散。我们在Kullback-Leibler（KL）发散中建立了迭代的趋势，以达到$ \ epsilon $ - 仅在维度上的多项式依赖性的目标分布。我们在放松\citet{}erdogdu2020convergence无穷条件退化凸和庞加莱下证明收敛担保\'{E}不平等或不强烈外凸球。此外，我们还提供了$ l _ {\ beta} $ - Wasserstein度量的融合，用于平滑潜力。

当使用有限的阶梯尺寸\ citep {shi20211undanding}时，Nesterov的加速梯度（NAG）进行优化的性能比其连续的时间限制（无噪声动力学Langevin）更好。这项工作探讨了该现象的采样对应物，并提出了一个扩散过程，其离散化可以产生基于梯度的MCMC方法。更确切地说，我们将NAG的优化器重新制定为强烈凸功能（NAG-SC）作为无Hessian的高分辨率ODE，将其高分辨率系数更改为超参数，注入适当的噪声，并将其离散化。新的超参数的加速效应是量化的，它不是由时间响应创造的人造效应。取而代之的是，在连续动力学级别和离散算法级别上，在$ w_2 $距离中以$ W_2 $距离的加速度均已定量确定。在对数符号和多模式案例中的经验实验也证明了这一加速度。

Hamiltonian Monte Carlo（HMC）是Markov链算法，用于从具有密度$ e^{ - f（x）} $的高维分布中进行采样，可访问$ f $的梯度。一种特殊的感兴趣的情况是带有协方差矩阵$ \ sigma $的$ d $二维高斯分布，在这种情况下$ f（x）= x^\ top \ top \ sigma^{ - 1} x $。我们表明，HMC可以使用$ \ wideTilde {o}（\ sqrt {\ kappa} d^{1/4} \ log（1/\ varepsilon），使用$ \ varepsilon $ -close在总变化距离中取样。）$渐变查询，其中$ \ kappa $是$ \ sigma $的条件号。我们的算法对哈密顿动力学使用了长时间和随机的整合时间。这与最近的结果（并受到了）的形成对比，该结果给出了$ \ widetilde \ omega（\ kappa d^{1/2}）$查询的HMC较低限制，即使是高斯案例，也有固定的集成时间。

A novel randomized time integrator is suggested for unadjusted Hamiltonian Monte Carlo (uHMC) in place of the usual Verlet integrator; namely, a stratified Monte Carlo (sMC) integrator which involves a minor modification to Verlet, and hence, is easy to implement. For target distributions of the form $\mu(dx) \propto e^{-U(x)} dx$ where $U: \mathbb{R}^d \to \mathbb{R}_{\ge 0}$ is both $K$-strongly convex and $L$-gradient Lipschitz, and initial distributions $\nu$ with finite second moment, coupling proofs reveal that an $\varepsilon$-accurate approximation of the target distribution $\mu$ in $L^2$-Wasserstein distance $\boldsymbol{\mathcal{W}}^2$ can be achieved by the uHMC algorithm with sMC time integration using $O\left((d/K)^{1/3} (L/K)^{5/3} \varepsilon^{-2/3} \log( \boldsymbol{\mathcal{W}}^2(\mu, \nu) / \varepsilon)^+\right)$ gradient evaluations; whereas without additional assumptions the corresponding complexity of the uHMC algorithm with Verlet time integration is in general $O\left((d/K)^{1/2} (L/K)^2 \varepsilon^{-1} \log( \boldsymbol{\mathcal{W}}^2(\mu, \nu) / \varepsilon)^+ \right)$. Duration randomization, which has a similar effect as partial momentum refreshment, is also treated. In this case, without additional assumptions on the target distribution, the complexity of duration-randomized uHMC with sMC time integration improves to $O\left(\max\left((d/K)^{1/4} (L/K)^{3/2} \varepsilon^{-1/2},(d/K)^{1/3} (L/K)^{4/3} \varepsilon^{-2/3} \right) \right)$ up to logarithmic factors. The improvement due to duration randomization turns out to be analogous to that of time integrator randomization.

在本文中，我们考虑从一类具有薄尾部的分布式采样，支持$ \ mathbb {r} ^ d $，并制作两个主要贡献。首先，我们提出了一种具有优化步骤（MAO）的新的大都市算法，其非常适合这种目标。我们的算法能够从分布中采样，其中Metropolic调整的Langevin算法（MALA）不收敛或缺乏理论保证。其次，我们在毛泽东混合时间上获得上限。我们的结果是通过模拟多目标分布的支持。

我们提出了有效的Langevin Monte Carlo算法，用于采样分布，具有非平滑凸复合电位，这是连续可区分的函数和可能非滑动函数的总和。我们设计了这种算法利用涉及Bregman Diverences的凸入分析和优化方法的最新进展，即Bregman-Moreau Indervices和Bregman接近运营商，以及Langevin Monte Carlo Carlo Algorithms Relycents Realists Remincecent Rely Mirror降落。所提出的算法将现有的Langevin Monte Carlo算法分为两个方面 - 能够用镜下下降的算法进行非平滑分布进行采样，并使用更一般的Bregman- Moreau Invelope代替Moreau Invelope，以代替光滑的信封潜力的非平滑部分。提出的方案的一个特殊情况是让人想起布雷格曼近端梯度算法。通过各种抽样任务说明了所提出的方法的效率，在这些任务中，现有的Langevin Monte Carlo方法的性能较差。

马尔可夫链Monte Carlo（MCMC）为难以相干后望的渐近一致的估计提供，因为迭代的数量趋于无穷大。但是，在大数据应用中，MCMC可计算地计算地昂贵。这催化了对诸如MCMC等近似MCMC的采样方法的兴趣，这对渐近一致性进行了改善的计算速度。在本文中，我们提出了基于马尔可夫链耦合的估计，以评估这种渐近偏置的采样方法的质量。估计器给出了渐近偏置抽样方法的限制分布与利息的原始目标分布之间的韦斯特·距离的经验上限。我们为我们的上限建立了理论担保，并表明我们的估算变量能够在高维度方面保持有效。我们将质量措施应用于随机梯度MCMC，变分贝叶斯和LAPPAlt近似为高数据，并在50000维度中以4500维度和贝叶斯线性回归近似MCMC。

如今，重球（HB）是非凸优化中最流行的动量方法之一。已经广泛观察到，将重球动态纳入基于梯度的方法中可以加速现代机器学习模型的训练过程。但是，建立其加速理论基础的进展显然远远落后于其经验成功。现有的可证明的加速结果是二次或近二次功能，因为当前显示HB加速度的技术仅限于Hessian固定时的情况。在这项工作中，我们开发了一些新技术，这些新技术有助于表现出二次超越二次的加速度，这是通过分析在两个连续时间点上如何变化的Hessian的变化来实现的，从而影响了收敛速度。基于我们的技术结果，一类Polyak- \ l {} Ojasiewicz（PL）优化问题可以通过HB确定可证明的加速度。此外，我们的分析证明了适应性设置动量参数的好处。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

最近对基于置换的SGD的接地结果进行了证实了广泛观察到的现象：随机排列提供更快的收敛性，而不是更换采样。但是，是随机的最佳状态吗？我们表明这一点在很大程度上取决于我们正在优化的功能，并且最佳和随机排放之间的收敛差距可能因指数而异。我们首先表明，对于具有光滑的第二衍生物的1维强凸功能，与随机相比，存在令人指导的收敛性的排列。但是，对于一般强凸的功能，随机排列是最佳的。最后，我们表明，对于二次，强凸的功能，与随机相比，存在易于构建的置换，从而导致加速会聚。我们的研究结果表明，最佳排列的一般收敛性表征不能捕获各个函数类的细微差别，并且可能错误地表明一个人不能比随机更好。

最近出现了变异推断，成为大规模贝叶斯推理中古典马尔特·卡洛（MCMC）的流行替代品。变异推断的核心思想是贸易统计准确性以达到计算效率。它旨在近似后部，以降低计算成本，但可能损害其统计准确性。在这项工作中，我们通过推论模型选择中的案例研究研究了这种统计和计算权衡。侧重于具有对角和低级精度矩阵的高斯推论模型（又名变异近似族），我们在两个方面启动了对权衡的理论研究，贝叶斯后期推断误差和频繁的不确定性不确定定量误差。从贝叶斯后推理的角度来看，我们表征了相对于精确后部的变异后部的误差。我们证明，鉴于固定的计算预算，较低的推论模型会产生具有较高统计近似误差的变异后期，但计算误差较低。它减少了随机优化的方差，进而加速收敛。从频繁的不确定性定量角度来看，我们将变异后部的精度矩阵视为不确定性估计值。我们发现，相对于真实的渐近精度，变异近似遭受了来自数据的采样不确定性的附加统计误差。此外，随着计算预算的增加，这种统计误差成为主要因素。结果，对于小型数据集，推论模型不必全等级即可达到最佳估计误差。我们最终证明了在经验研究之间的这些统计和计算权衡推论，从而证实了理论发现。

我们开发了一个框架，用于随机二次问题的平均分析和衍生算法在此分析下最佳。这产生了一类实现加速的新方法，给出了Hessian的特征值分布的模型。我们为统一，Marchenko-Pastur和指数分布开发显式算法。这些方法是基于势头的算法，其超参数可以估计，而无需了解Hessian的最小奇异值，相反，与Nesterov加速和Polyak动量等经典加速方法相比。通过对二次和逻辑回归问题的经验基准，我们确定了所提出的方法改善古典（最坏情况）加速方法的制度。

我们考虑光滑的凸孔concave双线性耦合的鞍点问题，$ \ min _ {\ mathbf {x}}} \ max _ {\ mathbf {y Mathbf {y}} 〜f（\ mathbf {x}} }，\ mathbf {y}） - g（\ mathbf {y}）$，其中一个人可以访问$ f $，$ g $的随机一阶oracles以及biinear耦合函数$ h $。基于标准的随机外部分析，我们提出了随机\ emph {加速梯度 - extragradient（ag-eg）}下降的算法，该算法在一般随机设置中结合了外部和Nesterov的加速度。该算法利用计划重新启动以接收一种良好的非震动收敛速率，该算法与\ citet {ibrahim202020linear}和\ citet {zhang2021lower}相匹配，并在其相应的设置中，还有一个额外的统计误差期限，以及\ citet {zhang2021lower}最多达到恒定的预取子。这是在鞍点优化中实现这种相对成熟的最佳表征的第一个结果。

在本文中，我们提出了一种确定性变分推理方法，通过最小化内核差异来产生低差异点，也称为最大均值差异或MMD。基于Wang Et的一般能量变分推理框架。 al。 （2021），最小化内核差异被转换为通过显式欧拉方案求解动态颂音系统。我们将结果算法EVI-MMD命名，并通过其中统一化常数的常规规定常量规定的实例，并以培训数据的形式明确地已知的示例。与分布近似，数值集成和生成式学习中的应用中的替代方法相比，其性能令人满意。 EVI-MMD算法克服了现有MMD-DESCLITHMS的瓶颈，主要适用于两个样本问题。可以在EVI框架下开发具有更复杂结构和潜在优势的算法。