Wasserstein BaryCenter是一种原理的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输所引起的几何形状。在这项工作中，我们提出了一种新颖的可扩展算法，以近似于旨在在机器学习中的高维应用的Wassersein重构。我们所提出的算法基于Wassersein-2距离的Kantorovich双重制定以及最近的神经网络架构，输入凸神经网络，其已知参数化凸函数。我们方法的显着特征是：i）仅需要来自边缘分布的样本; ii）与现有方法不同，它代表了具有生成模型的重心，因此可以在不查询边际分布的情况下从重心产生无限样品; III）它与一个边际案例中的生成对抗性模型类似。我们通过在多个实验中将其与最先进的方法进行比较来证明我们的算法的功效。

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。

Monge Map是指两个概率分布之间的最佳运输映射，并提供了将一个分发转换为另一个的原则方法。尽管最佳运输问题的数值方法的快速发展，但计算Monge地图仍然具有挑战性，特别是对于高维问题。在本文中，我们提出了一种可扩展算法，用于计算两个概率分布之间的Monge地图。我们的算法基于最佳运输问题的弱形式，因此它仅需要来自边缘的样本而不是其分析表达式，并且可以容纳两个具有不同尺寸的分布之间的最佳运输。我们的算法适用于一般成本函数，与其他现有方法相比，用于使用样本估计Monge Maps的方法，这些方法通常用于二次成本。通过具有合成和现实数据的一系列实验来证明我们的算法的性能。

Wasserstein barycenter, built on the theory of optimal transport, provides a powerful framework to aggregate probability distributions, and it has increasingly attracted great attention within the machine learning community. However, it suffers from severe computational burden, especially for high dimensional and continuous settings. To this end, we develop a novel continuous approximation method for the Wasserstein barycenters problem given sample access to the input distributions. The basic idea is to introduce a variational distribution as the approximation of the true continuous barycenter, so as to frame the barycenters computation problem as an optimization problem, where parameters of the variational distribution adjust the proxy distribution to be similar to the barycenter. Leveraging the variational distribution, we construct a tractable dual formulation for the regularized Wasserstein barycenter problem with c-cyclical monotonicity, which can be efficiently solved by stochastic optimization. We provide theoretical analysis on convergence and demonstrate the practical effectiveness of our method on real applications of subset posterior aggregation and synthetic data.

生成的对策网络是一种流行的方法，用于通过根据已知分发的函数来建立目标分布来从数据学习分布的流行方法。经常被称为发电机的功能优化，以最小化所生成和目标分布之间的所选距离测量。这种目的的一个常用措施是Wassersein距离。然而，Wassersein距离难以计算和优化，并且在实践中，使用熵正则化技术来改善数值趋同。然而，正规化对学到的解决方案的影响仍未得到很好的理解。在本文中，我们研究了Wassersein距离的几个流行的熵正规提出如何在一个简单的基准设置中冲击解决方案，其中发电机是线性的，目标分布是高维高斯的。我们表明，熵正则化促进了解决方案稀疏化，同时更换了与秸秆角偏差的Wasserstein距离恢复了不断的解决方案。两种正则化技术都消除了Wasserstein距离所遭受的维度的诅咒。我们表明，可以从目标分布中学习最佳发电机，以$ O（1 / \ epsilon ^ 2）$ samples从目标分布中学习。因此，我们得出结论，这些正则化技术可以提高来自大量分布的经验数据的发电机的质量。

The Sinkhorn algorithm (arXiv:1306.0895) is the state-of-the-art to compute approximations of optimal transport distances between discrete probability distributions, making use of an entropically regularized formulation of the problem. The algorithm is guaranteed to converge, no matter its initialization. This lead to little attention being paid to initializing it, and simple starting vectors like the n-dimensional one-vector are common choices. We train a neural network to compute initializations for the algorithm, which significantly outperform standard initializations. The network predicts a potential of the optimal transport dual problem, where training is conducted in an adversarial fashion using a second, generating network. The network is universal in the sense that it is able to generalize to any pair of distributions of fixed dimension. Furthermore, we show that for certain applications the network can be used independently.

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

逆问题本质上是普遍存在的，几乎在科学和工程的几乎所有领域都出现，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法，通过将逆问题提出为统计框架。但是，当推断具有大幅度的离散表示的字段（所谓的“维度的诅咒”）和/或仅以先前获取的解决方案的形式可用时。在这项工作中，我们提出了一种新的方法，可以使用深层生成模型进行有效，准确的贝叶斯反转。具体而言，我们证明了如何使用生成对抗网络（GAN）在贝叶斯更新中学到的近似分布，并在GAN的低维度潜在空间中重新解决所得的推断问题，从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学，并且被证明可以通过可靠的不确定性估计得出准确的结果，即使没有有关基础噪声模型的信息，这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性，包括合成和实验观察到的数据。

在共享潜在空间中对齐两个或更多个分布的无监督任务具有许多应用，包括公平表示，批量效果缓解和无监督域适应。现有的基于流动的方法独立估计多个流动，这相当于学习多个完整的生成模型。其他方法需要对抗性学习，这可以是可以计算地昂贵和挑战的优化。因此，我们的目标是在避免对抗性学习的同时联合对齐多个分布。通过从最佳运输（OT）理论的高效对准算法的启发，我们开发了一种简单的迭代方法来构建深层和富有效力的流动。我们的方法将每次迭代分成两个子问题：1）形成分配分配的变化近似，并且2）通过基于已知的OT结果的闭合形式可逆对准映射最小化该变分近似。我们的经验结果证明了这种迭代算法以低计算成本实现了竞争分布对准，同时能够自然地处理两个以上的分布。

We consider the constrained sampling problem where the goal is to sample from a distribution $\pi(x)\propto e^{-f(x)}$ and $x$ is constrained on a convex body $\mathcal{C}\subset \mathbb{R}^d$. Motivated by penalty methods from optimization, we propose penalized Langevin Dynamics (PLD) and penalized Hamiltonian Monte Carlo (PHMC) that convert the constrained sampling problem into an unconstrained one by introducing a penalty function for constraint violations. When $f$ is smooth and the gradient is available, we show $\tilde{\mathcal{O}}(d/\varepsilon^{10})$ iteration complexity for PLD to sample the target up to an $\varepsilon$-error where the error is measured in terms of the total variation distance and $\tilde{\mathcal{O}}(\cdot)$ hides some logarithmic factors. For PHMC, we improve this result to $\tilde{\mathcal{O}}(\sqrt{d}/\varepsilon^{7})$ when the Hessian of $f$ is Lipschitz and the boundary of $\mathcal{C}$ is sufficiently smooth. To our knowledge, these are the first convergence rate results for Hamiltonian Monte Carlo methods in the constrained sampling setting that can handle non-convex $f$ and can provide guarantees with the best dimension dependency among existing methods with deterministic gradients. We then consider the setting where unbiased stochastic gradients are available. We propose PSGLD and PSGHMC that can handle stochastic gradients without Metropolis-Hasting correction steps. When $f$ is strongly convex and smooth, we obtain an iteration complexity of $\tilde{\mathcal{O}}(d/\varepsilon^{18})$ and $\tilde{\mathcal{O}}(d\sqrt{d}/\varepsilon^{39})$ respectively in the 2-Wasserstein distance. For the more general case, when $f$ is smooth and non-convex, we also provide finite-time performance bounds and iteration complexity results. Finally, we test our algorithms on Bayesian LASSO regression and Bayesian constrained deep learning problems.

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

我们考虑人口Wasserstein Barycenter问题，用于随机概率措施支持有限一组点，由在线数据流生成。这导致了复杂的随机优化问题，其中目标是作为作为随机优化问题的解决方案给出的函数的期望。我们采用了问题的结构，并获得了这个问题的凸凹陷的随机鞍点重构。在设置随机概率措施的分布是离散的情况下，我们提出了一种随机优化算法并估计其复杂性。基于内核方法的第二个结果将前一个延伸到随机概率措施的任意分布。此外，这种新算法在许多情况下，与随机近似方法相结合的随机近似方法，具有优于随机近似方法的总复杂性。我们还通过一系列数值实验说明了我们的发展。

Generative neural samplers are probabilistic models that implement sampling using feedforward neural networks: they take a random input vector and produce a sample from a probability distribution defined by the network weights. These models are expressive and allow efficient computation of samples and derivatives, but cannot be used for computing likelihoods or for marginalization. The generativeadversarial training method allows to train such models through the use of an auxiliary discriminative neural network. We show that the generative-adversarial approach is a special case of an existing more general variational divergence estimation approach. We show that any f -divergence can be used for training generative neural samplers. We discuss the benefits of various choices of divergence functions on training complexity and the quality of the obtained generative models.

本文考虑了Barycentric编码模型（BCM）下的测量估计问题，其中假定未知的度量属于有限的已知测量集的Wasserstein-2 Barycenters集合。估计该模型下的度量等同于估计未知的Barycentric坐标。我们为BCM下的测量估计提供了新颖的几何，统计和计算见解，由三个主要结果组成。我们的第一个主要结果利用了Wasserstein-2空间的Riemannian几何形状，以提供恢复Barycentric坐标的程序，作为假设对真实参考度量访问的二次优化问题的解决方案。基本的几何见解是，该二次问题的参数是由从给定度量到定义BCM的参考度量的最佳位移图之间的内部产物确定的。然后，我们的第二个主要结果建立了一种算法，用于求解BCM中坐标的算法，当时通过I.I.D进行经验观察到所有测量。样品。我们证明了该算法的精确收敛速率 - 取决于基本措施的平稳性及其维度 - 从而保证其统计一致性。最后，我们证明了BCM和相关估计程序在三个应用领域的实用性：（i）高斯措施的协方差估计； （ii）图像处理； （iii）自然语言处理。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

最近表明，在光滑状态下，可以通过吸引统计误差上限可以有效地计算两个分布之间的平方Wasserstein距离。然而，而不是距离本身，生成建模等应用的感兴趣对象是底层的最佳运输地图。因此，需要为估计的地图本身获得计算和统计保证。在本文中，我们提出了第一种统计$ L ^ 2 $错误的第一批量算法几乎匹配了现有的最低限度用于平滑地图估计。我们的方法是基于解决具有无限尺寸的平方和重构的最佳运输的半双向配方，并导致样品数量的无尺寸多项式速率的算法，具有潜在指数的维度依赖性常数。

Wassersein距离，植根于最佳运输（OT）理论，是在统计和机器学习的各种应用程序之间的概率分布之间的流行差异测量。尽管其结构丰富，但效用，但Wasserstein距离对所考虑的分布中的异常值敏感，在实践中阻碍了适用性。灵感来自Huber污染模型，我们提出了一种新的异常值 - 强大的Wasserstein距离$ \ mathsf {w} _p ^ \ varepsilon $，它允许从每个受污染的分布中删除$ \ varepsilon $异常块。与以前考虑的框架相比，我们的配方达到了高度定期的优化问题，使其更好地分析。利用这一点，我们对$ \ mathsf {w} _p ^ \ varepsilon $的彻底理论研究，包括最佳扰动，规律性，二元性和统计估算和鲁棒性结果的表征。特别是，通过解耦优化变量，我们以$ \ mathsf {w} _p ^ \ varepsilon $到达一个简单的双重形式，可以通过基于标准的基于二元性的OT响音器的基本修改来实现。我们通过应用程序来说明我们的框架的好处，以与受污染的数据集进行生成建模。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。