在本说明中，我们建立了种群极限的下降引理，反映了Stein变异梯度方法〜（MSVGD）。此下降引理不依赖MSVGD的路径信息，而是对镜像分布的简单假设$ \ nabla \ psi _ {\＃} \ pi \ propto \ propto \ exp（-v）$。我们的分析表明，MSVGD可以应用于非平滑$ V $的更广泛的约束采样问题。我们还研究人口的复杂性限制了MSVGD的尺寸$ d $。

Stein变异梯度下降（SVGD）是一种从目标密度采样的算法，该算法已知，该算法已知到乘法常数。尽管SVGD在实践中是一种流行的算法，但其理论研究仅限于最近的一些作品。我们研究了SVGD在人口限制（即具有无限数量的粒子）中的收敛性，以从不满意Talagrand的不平等T1的非concave目标分布中采样。我们首先建立算法的收敛性。然后，我们建立了一个依赖于维的复杂性，该复杂性是基于二键的Stein差异（KSD）。与现有作品不同，我们不认为KSD沿算法的轨迹界定。我们的方法依靠将SVGD解释为概率度量空间的梯度下降。

在这项工作中，我们通过alpha log-determinant（log-det）在两个不同的环境中的Hilbert-schmidt操作员之间的alpha log-determinant（log-det）差异介绍了正式化的kullback-leibler和r \'enyi的分歧（log-det）差异以及在繁殖内核希尔伯特空间（RKHS）上定义的高斯措施； （ii）具有平方的可集成样品路径的高斯工艺。对于特征性内核，第一个设置导致在完整的，可分开的度量空间上进行任意borel概率度量之间的差异。我们表明，Hilbert-Schmidt Norm中的Alpha Log-Det差异是连续的，这使我们能够将大量定律应用于希尔伯特太空值的随机变量。因此，我们表明，在这两种情况下，都可以使用有限的依赖性gram矩阵/高斯措施和有限的样本数据来始终如一地从其有限维版本中始终有效地估算其有限差异版本在所有情况下，无独立的}样品复杂性。 RKHS方法论在两种情况下的理论分析中都起着核心作用。数值实验说明了数学公式。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

连续时间扩散过程的离散化是一种广泛认可的采样方法。然而，当通常需要平滑（梯度Lipschitz）时，似乎是一个相当大的限制。本文研究了通过欧拉离散化进行采样的问题，其中潜在的功能被认为是弱平滑分布的混合物，满足弱耗散。我们在Kullback-Leibler（KL）发散中建立了迭代的趋势，以达到$ \ epsilon $ - 仅在维度上的多项式依赖性的目标分布。我们在放松\citet{}erdogdu2020convergence无穷条件退化凸和庞加莱下证明收敛担保\'{E}不平等或不强烈外凸球。此外，我们还提供了$ l _ {\ beta} $ - Wasserstein度量的融合，用于平滑潜力。

We consider the constrained sampling problem where the goal is to sample from a distribution $\pi(x)\propto e^{-f(x)}$ and $x$ is constrained on a convex body $\mathcal{C}\subset \mathbb{R}^d$. Motivated by penalty methods from optimization, we propose penalized Langevin Dynamics (PLD) and penalized Hamiltonian Monte Carlo (PHMC) that convert the constrained sampling problem into an unconstrained one by introducing a penalty function for constraint violations. When $f$ is smooth and the gradient is available, we show $\tilde{\mathcal{O}}(d/\varepsilon^{10})$ iteration complexity for PLD to sample the target up to an $\varepsilon$-error where the error is measured in terms of the total variation distance and $\tilde{\mathcal{O}}(\cdot)$ hides some logarithmic factors. For PHMC, we improve this result to $\tilde{\mathcal{O}}(\sqrt{d}/\varepsilon^{7})$ when the Hessian of $f$ is Lipschitz and the boundary of $\mathcal{C}$ is sufficiently smooth. To our knowledge, these are the first convergence rate results for Hamiltonian Monte Carlo methods in the constrained sampling setting that can handle non-convex $f$ and can provide guarantees with the best dimension dependency among existing methods with deterministic gradients. We then consider the setting where unbiased stochastic gradients are available. We propose PSGLD and PSGHMC that can handle stochastic gradients without Metropolis-Hasting correction steps. When $f$ is strongly convex and smooth, we obtain an iteration complexity of $\tilde{\mathcal{O}}(d/\varepsilon^{18})$ and $\tilde{\mathcal{O}}(d\sqrt{d}/\varepsilon^{39})$ respectively in the 2-Wasserstein distance. For the more general case, when $f$ is smooth and non-convex, we also provide finite-time performance bounds and iteration complexity results. Finally, we test our algorithms on Bayesian LASSO regression and Bayesian constrained deep learning problems.

我们提出了有效的Langevin Monte Carlo算法，用于采样分布，具有非平滑凸复合电位，这是连续可区分的函数和可能非滑动函数的总和。我们设计了这种算法利用涉及Bregman Diverences的凸入分析和优化方法的最新进展，即Bregman-Moreau Indervices和Bregman接近运营商，以及Langevin Monte Carlo Carlo Algorithms Relycents Realists Remincecent Rely Mirror降落。所提出的算法将现有的Langevin Monte Carlo算法分为两个方面 - 能够用镜下下降的算法进行非平滑分布进行采样，并使用更一般的Bregman- Moreau Invelope代替Moreau Invelope，以代替光滑的信封潜力的非平滑部分。提出的方案的一个特殊情况是让人想起布雷格曼近端梯度算法。通过各种抽样任务说明了所提出的方法的效率，在这些任务中，现有的Langevin Monte Carlo方法的性能较差。

机器学习中的许多问题都可以表达为在措施空间上优化凸功能。本文研究了这种无限维度的镜子下降算法的收敛性。通过定向衍生物来定义布雷格曼的差异，我们得出了相对平滑且强烈凸成的功能对的方案的收敛。将我们的结果应用于联合分布和kullback-leibler（kl）差异，我们表明，在连续设置中，Sinkhorn的熵最佳传输的原始迭代对应于镜子下降，我们获得了其（sub）线性收敛的新证明。我们还表明，期望最大化（EM）始终可以正式写作作为镜下下降，并且在固定混合物时优化潜在分布时，我们得出了趋同的收敛速率。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

我们为随机梯度Langevin Dynamics（SGLD）建立了一个急剧的均匀误差估计，该算法是一种流行的采样算法。在温和的假设下，我们获得了一个均匀的$ o（\ eta^2）$，限制了SGLD迭代与langevin扩散之间的KL差异，其中$ \ eta $是步骤尺寸（或学习率）。我们的分析也适用于不同的步骤尺寸。基于此，我们能够以wasserstein或总变异距离来获得SGLD迭代和Langevin扩散不变分布之间的距离的$ O（\ eta）$。

We consider the problem of estimating the optimal transport map between a (fixed) source distribution $P$ and an unknown target distribution $Q$, based on samples from $Q$. The estimation of such optimal transport maps has become increasingly relevant in modern statistical applications, such as generative modeling. At present, estimation rates are only known in a few settings (e.g. when $P$ and $Q$ have densities bounded above and below and when the transport map lies in a H\"older class), which are often not reflected in practice. We present a unified methodology for obtaining rates of estimation of optimal transport maps in general function spaces. Our assumptions are significantly weaker than those appearing in the literature: we require only that the source measure $P$ satisfies a Poincar\'e inequality and that the optimal map be the gradient of a smooth convex function that lies in a space whose metric entropy can be controlled. As a special case, we recover known estimation rates for bounded densities and H\"older transport maps, but also obtain nearly sharp results in many settings not covered by prior work. For example, we provide the first statistical rates of estimation when $P$ is the normal distribution and the transport map is given by an infinite-width shallow neural network.

我们提出了一种基于langevin扩散的算法，以在球体的产物歧管上进行非凸优化和采样。在对数Sobolev不平等的情况下，我们根据Kullback-Leibler Divergence建立了有限的迭代迭代收敛到Gibbs分布的保证。我们表明，有了适当的温度选择，可以保证，次级最小值的次数差距很小，概率很高。作为一种应用，我们考虑了使用对角线约束解决半决赛程序（SDP）的burer- monteiro方法，并分析提出的langevin算法以优化非凸目标。特别是，我们为Burer建立了对数Sobolev的不平等现象 - 当没有虚假的局部最小值时，但在鞍点下，蒙蒂罗问题。结合结果，我们为SDP和最大切割问题提供了全局最佳保证。更确切地说，我们证明了Langevin算法在$ \ widetilde {\ omega}（\ epsilon^{ - 5}）$ tererations $ tererations $ \ widetilde {\ omega}（\ omega}中，具有很高的概率。

我们为Nesterov在概率空间中加速的梯度流提供了一个框架，以设计有效的平均田间马尔可夫链蒙特卡洛（MCMC）贝叶斯逆问题算法。在这里，考虑了四个信息指标的示例，包括Fisher-Rao Metric，Wasserstein-2 Metric，Kalman-Wasserstein Metric和Stein Metric。对于Fisher-Rao和Wasserstein-2指标，我们都证明了加速梯度流的收敛性。在实施中，我们建议使用重新启动技术的Wasserstein-2，Kalman-Wasseintein和Stein加速梯度流的抽样效率离散算法。我们还制定了一种内核带宽选择方法，该方法从布朗动物样品中学习了密度对数的梯度。与最先进的算法相比，包括贝叶斯逻辑回归和贝叶斯神经网络在内的数值实验显示了所提出方法的强度。

显示了最佳的收敛速率，显示了对保守随机偏微分方程的平均场限制对解决方案解决方案解决方案解决方案的收敛。作为第二个主要结果，该SPDE的定量中心极限定理再次得出，并以最佳的收敛速率得出。该结果尤其适用于在过叠层化的，浅的神经网络中与SPDES溶液中随机梯度下降动力学的平均场缩放率的收敛性。结果表明，在限制SPDE中包含波动可以提高收敛速度，并保留有关随机梯度下降的波动的信息。

给定$ n $数据点$ \ mathbb {r}^d $中的云，请考虑$ \ mathbb {r}^d $的$ m $ dimensional子空间预计点。当$ n，d $增长时，这一概率分布的集合如何？我们在零模型下考虑了这个问题。标准高斯矢量，重点是渐近方案，其中$ n，d \ to \ infty $，$ n/d \ to \ alpha \ in（0，\ infty）$，而$ m $是固定的。用$ \ mathscr {f} _ {m，\ alpha} $表示$ \ mathbb {r}^m $中的一组概率分布，在此限制中以低维度为单位，我们在此限制中建立了新的内部和外部界限$ \ mathscr {f} _ {m，\ alpha} $。特别是，我们将$ \ mathscr {f} _ {m，\ alpha} $的Wasserstein Radius表征为对数因素，并以$ M = 1 $确切确定它。我们还通过kullback-leibler差异和r \'{e} NYI信息维度证明了尖锐的界限。上一个问题已应用于无监督的学习方法，例如投影追求和独立的组件分析。我们介绍了与监督学习相关的相同问题的版本，并证明了尖锐的沃斯坦斯坦半径绑定。作为一个应用程序，我们在具有$ M $隐藏神经元的两层神经网络的插值阈值上建立了上限。

联合学习使用一组技术来有效地在拥有培训数据的几种设备上分发机器学习算法的培训。这些技术严重依赖于降低设备和中央服务器之间的通信成本 - 主要瓶颈。联合学习算法通常采用优化方法：它们是最大程度地减少培训损失的算法。在这项工作中，我们采用贝叶斯的方法来完成训练任务，并提出了Langevin算法的沟通效率变体来采样后验。后一种方法比其优化对应物更强大，并提供了更多关于\ textit {a后验分布的知识。我们在不假设目标分布强烈的对数符号的情况下分析了算法。取而代之的是，我们假设较弱的日志Sobolev不等式，它允许非概念性。

经典地，连续时间兰富文队扩散在唯一的假设下迅速迅速迅速迅速迅速，以至于$ \ PI $满足POINCAR的不平等。使用这一事实来为离散时间Langevin Monte Carlo（LMC）算法提供保证，因此由于需要与Chi Squared或R \'enyi分歧的需要，并且在很大程度上主要重点关注日志凹形目标。在这项工作中，我们为LMC提供了第一个收敛保证，假设$ \ PI $满足Lata {\ l} a - oleszkiewicz或修改的log-sobolev不等式，它在Poincar \ e和log-sobolev设置之间插值。与现有作品不同，我们的结果允许弱滑性，并且不需要凸起或耗散条件。

Quantifying the deviation of a probability distribution is challenging when the target distribution is defined by a density with an intractable normalizing constant. The kernel Stein discrepancy (KSD) was proposed to address this problem and has been applied to various tasks including diagnosing approximate MCMC samplers and goodness-of-fit testing for unnormalized statistical models. This article investigates a convergence control property of the diffusion kernel Stein discrepancy (DKSD), an instance of the KSD proposed by Barp et al. (2019). We extend the result of Gorham and Mackey (2017), which showed that the KSD controls the bounded-Lipschitz metric, to functions of polynomial growth. Specifically, we prove that the DKSD controls the integral probability metric defined by a class of pseudo-Lipschitz functions, a polynomial generalization of Lipschitz functions. We also provide practical sufficient conditions on the reproducing kernel for the stated property to hold. In particular, we show that the DKSD detects non-convergence in moments with an appropriate kernel.

度量的运输提供了一种用于建模复杂概率分布的多功能方法，并具有密度估计，贝叶斯推理，生成建模及其他方法的应用。单调三角传输地图$ \ unicode {x2014} $近似值$ \ unicode {x2013} $ rosenblatt（kr）重新安排$ \ unicode {x2014} $是这些任务的规范选择。然而，此类地图的表示和参数化对它们的一般性和表现力以及对从数据学习地图学习（例如，通过最大似然估计）出现的优化问题的属性产生了重大影响。我们提出了一个通用框架，用于通过平滑函数的可逆变换来表示单调三角图。我们建立了有关转化的条件，以使相关的无限维度最小化问题没有伪造的局部最小值，即所有局部最小值都是全球最小值。我们展示了满足某些尾巴条件的目标分布，唯一的全局最小化器与KR地图相对应。鉴于来自目标的样品，我们提出了一种自适应算法，该算法估计了基础KR映射的稀疏半参数近似。我们证明了如何将该框架应用于关节和条件密度估计，无可能的推断以及有向图形模型的结构学习，并在一系列样本量之间具有稳定的概括性能。

尽管有许多有吸引力的财产，但内核方法受到维度的诅咒受到严重影响。例如，在$ \ mathbb {r} ^ d $的内部产品内核的情况下，再现内核希尔伯特空间（RKHS）规范对于依赖于小方向子集（RIDGE函数）的功能往往非常大。相应地，使用内核方法难以学习这样的功能。这种观察结果有动力研究内核方法的概括，由此rkhs规范 - 它等同于加权$ \ ell_2 $ norm - 被加权函数$ \ ell_p $ norm替换，我们将其称为$ \ mathcal {f} _p $ norm。不幸的是，这些方法的陶油是不清楚的。内核技巧不可用，最大限度地减少这些规范要求解决无限维凸面问题。我们将随机特征近似于这些规范，表明，对于$ p> 1 $，近似于原始学习问题所需的随机功能的数量是由样本大小的多项式的上限。因此，使用$ \ mathcal {f} _p $ norms在这些情况下是易行的。我们介绍了一种基于双重均匀浓度的证明技术，这可以对超分子化模型的研究更广泛。对于$ p = 1 $，我们对随机功能的保证近似分解。我们证明了使用$ \ mathcal {f} _1 $ norm的学习是在随机减少的$ \ mathsf {np} $ - 基于噪音的半个空间问题的问题。