分发比较在许多机器学习任务中起着核心作用，例如数据分类和生成建模。在这项研究中，我们提出了一种称为希尔伯特曲线投影（HCP）距离的新型度量，以测量具有高鲁棒性和低复杂性的两个概率分布之间的距离。特别是，我们首先使用希尔伯特曲线投射两个高维概率密度，以获得它们之间的耦合，然后根据耦合在原始空间中这两个密度之间的传输距离进行计算。我们表明，HCP距离是一个适当的度量标准，对于绝对连续的概率度量，定义明确。此外，我们证明，经验HCP距离在规律性条件下以不超过$ O（n^{ - 1/2d}）$的速度收敛到其人口。为了抑制差异性的诅咒，我们还使用（可学习的）子空间投影开发了HCP距离的两个变体。合成数据和现实世界数据的实验表明，我们的HCP距离是瓦斯汀距离的有效替代，其复杂性低并克服了切成薄片的瓦斯坦距离的缺点。

切成薄片的Wasserstein（SW）距离已在不同的应用程序场景中广泛使用，因为它可以缩放到大量的支撑量，而不会受到维数的诅咒。切成薄片的瓦斯坦距离的值是通过radon变换（RT）获得的原始度量的一维表示（投影）之间运输成本的平均值。尽管估计切成薄片的瓦斯坦族的支持效率，但仍需要在高维环境中进行相对较大的预测。因此，对于与维度相比，支撑次数相对较少的应用，例如，使用微型批量方法的几个深度学习应用，radon transform的矩阵乘法中的复杂性成为主要计算瓶颈。为了解决这个问题，我们建议通过线性和随机组合少量的预测来得出预测，这些预测被称为瓶颈预测。我们通过引入层次ra transform（HRT）来解释这些投影的用法，该层rad rad transform（HRT）是通过递归应用radon变换变体构建的。然后，我们将方法制定为措施之间的新指标，该指标命名为分层切片瓦斯坦（HSW）距离。通过证明HRT的注入性，我们得出了HSW的指标。此外，我们研究了HSW的理论特性，包括其与SW变体的联系及其计算和样品复杂性。最后，我们将HSW的计算成本和生成质量与常规SW进行比较，使用包括CIFAR10，Celeba和Tiny Imagenet在内的各种基准数据集进行深层生成建模的任务。

在包括生成建模的各种机器学习应用中的两个概率措施中，已经证明了切片分歧的想法是成功的，并且包括计算两种测量的一维随机投影之间的“基地分歧”的预期值。然而，这种技术的拓扑，统计和计算后果尚未完整地确定。在本文中，我们的目标是弥合这种差距并导出切片概率分歧的各种理论特性。首先，我们表明切片保留了公制公理和分歧的弱连续性，这意味着切片分歧将共享相似的拓扑性质。然后，我们在基本发散属于积分概率度量类别的情况下精确结果。另一方面，我们在轻度条件下建立了切片分歧的样本复杂性并不依赖于问题尺寸。我们终于将一般结果应用于几个基地分歧，并说明了我们对合成和实际数据实验的理论。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

切片 - Wasserstein距离（SW）越来越多地用于机器学习应用，作为Wassersein距离的替代方案，并提供了显着的计算和统计效益。由于它被定义为随机投影的期望，因此SW通常由Monte Carlo近似。我们通过利用测量现象的浓度来采用新的视角来近似SW：在温和的假设下，高维随机向量的一维突起大致高斯。基于此观察，我们为SW开发了一个简单的确定性近似。我们的方法不需要采样许多随机投影，因此与通常的Monte Carlo近似相比，准确且易于使用。我们派生了我们的方法的非对应保证，并且显示近似误差随着数据分布的弱依赖条件下的弱依赖条件而变为零。我们验证了对合成数据集的理论发现，并说明了在生成建模问题上提出的近似。

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

传统的切成薄片的瓦斯汀定义在两个具有矢量的概率度量之间。当比较图像的两个概率度量时，从业人员首先需要使用样品矩阵和投影矩阵之间的矩阵乘法来矢量化图像，然后将它们投影到一维空间。之后，通过平均两种相应的一维投影概率度量来评估切片的瓦斯汀。但是，这种方法有两个局限性。第一个限制是，图像的空间结构不会通过矢量化步骤有效地捕获。因此，后来的切片过程变得越来越难以收集差异信息。第二个限制是内存效率低下，因为每个切片方向是具有与图像相同的尺寸的向量。为了解决这些局限性，我们提出了针对基于卷积算子的图像的概率度量，用于切成薄片的新型切片方法。我们通过将步幅，扩张和非线性激活函数纳入卷积算子来得出卷积切成薄片的Wasserstein（CSW）及其变体。我们研究了CSW的指标及其样品复杂性，其计算复杂性以及与常规切片的Wasserstein距离的联系。最后，我们证明了CSW在比较图像和训练图像上的深层生成模型中的概率度量方面的良好性能比传统切成薄片的Wasserstein相比。

作为度量度量空间的有效度量，Gromov-Wasserstein（GW）距离显示了匹配结构化数据（例如点云和图形）问题的潜力。但是，由于其较高的计算复杂性，其实践中的应用受到限制。为了克服这一挑战，我们提出了一种新颖的重要性稀疏方法，称为SPAR-GW，以有效地近似GW距离。特别是，我们的方法没有考虑密集的耦合矩阵，而是利用一种简单但有效的采样策略来构建稀疏的耦合矩阵，并使用几个计算进行更新。我们证明了所提出的SPAR-GW方法适用于GW距离，并以任意地面成本适用于GW距离，并且将复杂性从$ \ Mathcal {o}（n^4）$降低到$ \ Mathcal {o}（n^{2） +\ delta}）$对于任意的小$ \ delta> 0 $。另外，该方法可以扩展到近似GW距离的变体，包括熵GW距离，融合的GW距离和不平衡的GW距离。实验表明，在合成和现实世界任务中，我们的SPAR-GW对最先进的方法的优越性。

我们考虑人口Wasserstein Barycenter问题，用于随机概率措施支持有限一组点，由在线数据流生成。这导致了复杂的随机优化问题，其中目标是作为作为随机优化问题的解决方案给出的函数的期望。我们采用了问题的结构，并获得了这个问题的凸凹陷的随机鞍点重构。在设置随机概率措施的分布是离散的情况下，我们提出了一种随机优化算法并估计其复杂性。基于内核方法的第二个结果将前一个延伸到随机概率措施的任意分布。此外，这种新算法在许多情况下，与随机近似方法相结合的随机近似方法，具有优于随机近似方法的总复杂性。我们还通过一系列数值实验说明了我们的发展。

概率分布之间的差异措施，通常被称为统计距离，在概率理论，统计和机器学习中普遍存在。为了在估计这些距离的距离时，对维度的诅咒，最近的工作已经提出了通过带有高斯内核的卷积在测量的分布中平滑局部不规则性。通过该框架的可扩展性至高维度，我们研究了高斯平滑$ P $ -wassersein距离$ \ mathsf {w} _p ^ {（\ sigma）} $的结构和统计行为，用于任意$ p \ GEQ 1 $。在建立$ \ mathsf {w} _p ^ {（\ sigma）} $的基本度量和拓扑属性之后，我们探索$ \ mathsf {w} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，其中$ \ hat {\ mu} _n $是$ n $独立观察的实证分布$ \ mu $。我们证明$ \ mathsf {w} _p ^ {（\ sigma）} $享受$ n ^ { - 1/2} $的参数经验融合速率，这对比$ n ^ { - 1 / d} $率对于未平滑的$ \ mathsf {w} _p $ why $ d \ geq 3 $。我们的证明依赖于控制$ \ mathsf {w} _p ^ {（\ sigma）} $ by $ p $ th-sting spoollow sobolev restion $ \ mathsf {d} _p ^ {（\ sigma）} $并导出限制$ \ sqrt {n} \，\ mathsf {d} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，适用于所有尺寸$ d $。作为应用程序，我们提供了使用$ \ mathsf {w} _p ^ {（\ sigma）} $的两个样本测试和最小距离估计的渐近保证，使用$ p = 2 $的实验使用$ \ mathsf {d} _2 ^ {（\ sigma）} $。

引入了Wasserstein距离的许多变体，以减轻其原始计算负担。尤其是切成薄片的距离（SW），该距离（SW）利用了一维投影，可以使用封闭式的瓦斯汀距离解决方案。然而，它仅限于生活在欧几里得空间中的数据，而Wasserstein距离已被研究和最近在歧管上使用。我们更具体地专门地关注球体，为此定义了新颖的SW差异，我们称之为球形切片 - 拖鞋，这是朝着定义SW差异的第一步。我们的构造明显基于圆圈上瓦斯汀距离的封闭式解决方案，以及新的球形ra径。除了有效的算法和相应的实现外，我们在几个机器学习用例中说明了它的属性，这些用例中，数据的球形表示受到威胁：在球体上的密度估计，变异推理或超球体自动编码器。

概率分布之间的差异措施是统计推理和机器学习的核心。在许多应用中，在不同的空格上支持感兴趣的分布，需要在数据点之间进行有意义的对应。激励明确地将一致的双向图编码为差异措施，这项工作提出了一种用于匹配的新型不平衡的Monge最佳运输制剂，达到异构体，在不同空间上的分布。我们的配方由于公制空间之间的Gromov-Haussdrow距离而受到了原则放松，并且采用了两个周期一致的地图，将每个分布推向另一个分布。我们研究了拟议的差异的结构性，并且特别表明它将流行的循环一致的生成对抗网络（GaN）框架捕获为特殊情况，从而提供理论解释它。通过计算效率激励，然后我们将差异括起来并将映射限制为参数函数类。由此产生的核化版本被创建为广义最大差异（GMMD）。研究了GMMD的经验估计的收敛速率，并提供了支持我们理论的实验。

生成的对抗网络（GAN）在无监督学习方面取得了巨大的成功。尽管具有显着的经验表现，但关于gan的统计特性的理论研究有限。本文提供了gan的近似值和统计保证，以估算具有H \“ {o} lder空间密度的数据分布。我们的主要结果表明，如果正确选择了生成器和鉴别器网络架构，则gan是一致的估计器在较强的差异指标下的数据分布（例如Wasserstein-1距离。 ，这不受环境维度的诅咒。我们对低维数据的分析基于具有Lipschitz连续性保证的神经网络的通用近似理论，这可能具有独立的兴趣。

最近，已经显示，与流行的基于Kullback Leibler（KL）的正则化不同，基于最佳运输（OT）的最大平均差异（MMD）正则化导致了对估计样品复杂性的无维度。另一方面，分别使用总变异和基于KL的正规化来定义有趣的指标类别（GHK）等有趣的指标类别和高斯 - 赫林格 - 坎托维奇（GHK）指标。但是，如果可以使用样品有效的MMD正则化定义适当的指标，则是一个空旷的问题。在这项工作中，我们不仅弥合了这一差距，而且进一步考虑了基于积分概率指标（IPM）的通用正规化家族，其中包括MMD作为特殊情况。我们提出了新颖的IPM正规化$ P $ - WASSERSTEIN风格的OT配方，并证明它们确实诱导了指标。尽管其中一些新型指标可以解释为IPM的虚拟卷积，但有趣的是，事实证明是GW和GHK指标的IPM-Analogues。最后，我们提出了基于样品的有限公式，用于估计平方-MMD正则化度量和相应的barycenter。我们从经验上研究了拟议指标的其他理想特性，并显示了它们在各种机器学习应用中的适用性。

In this paper, we propose Wasserstein Isometric Mapping (Wassmap), a nonlinear dimensionality reduction technique that provides solutions to some drawbacks in existing global nonlinear dimensionality reduction algorithms in imaging applications. Wassmap represents images via probability measures in Wasserstein space, then uses pairwise Wasserstein distances between the associated measures to produce a low-dimensional, approximately isometric embedding. We show that the algorithm is able to exactly recover parameters of some image manifolds including those generated by translations or dilations of a fixed generating measure. Additionally, we show that a discrete version of the algorithm retrieves parameters from manifolds generated from discrete measures by providing a theoretical bridge to transfer recovery results from functional data to discrete data. Testing of the proposed algorithms on various image data manifolds show that Wassmap yields good embeddings compared with other global and local techniques.

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

我们研究了有限空间中值的静止随机过程的最佳运输。为了反映潜在流程的实向性，我们限制了对固定联轴器的关注，也称为联系。由此产生的最佳连接问题捕获感兴趣过程的长期平均行为的差异。我们介绍了最优联接的估算和最佳的加入成本，我们建立了温和条件下估算器的一致性。此外，在更强的混合假设下，我们为估计的最佳连接成本建立有限样本误差速率，其延伸了IID案件中的最佳已知结果。最后，我们将一致性和速率分析扩展到最佳加入问题的熵惩罚版本。

切成薄片的距离（SW）是一种计算有效的，理论上是Wasserstein距离的替代方案。然而，关于切片的分布，其统计特性（超出统一度量）的文献很少。为了为这一研究带来新的贡献，我们利用了Pac-bayesian理论和SW实际取决于切片分布依赖的Gibbs风险的中心观察，而Pac-Bayesian的数量范围已经设计为表征。我们提供四种类型的结果：i）在我们称为自适应切片的距离距离的豆豆泛化范围，即针对任何切片的分布定义的距离，ii）学习切片分布的过程最大歧视性的SW，通过优化我们的Pac-bayesian边界，iii）关于如何通过我们的理论来解释所谓的分布分布切片的距离，以及我们发现的经验例证。

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。