不平衡最佳传输（UOT）扩展了最佳传输（OT），以考虑质量变化以比较分布。这是使IT在ML应用程序中成功的至关重要，使其对数据标准化和异常值具有强大。基线算法陷入沉降，但其收敛速度可能比OT更慢。在这项工作中，我们确定了这种缺陷的原因，即缺乏迭代的全球正常化，其等效地对应于双口电的翻译。我们的第一款贡献利用了这种想法来开发一种可怕的加速陷阱算法（为UOT开发了一种可怕的陷阱算法（创建了“翻译不变的烟囱”），弥合了与OT的计算间隙。我们的第二次贡献侧重于1-D UOT，并提出了一个适用于这种翻译不变制剂的弗兰克 - 沃尔夫求解器。每个步骤的线性oracle都能求解1-D OT问题，从而导致每个迭代的线性时间复杂度。我们的最后贡献将这种方法扩展到计算1-D措施的UOT BaryCenter。数值模拟展示这三种方法带来的收敛速度改进。

最佳运输（OT）背后的匹配原理在机器学习中起着越来越重要的作用，这一趋势可以观察到ot被用来消除应用程序中的数据集（例如，单细胞基因组学）或用于改善更复杂的方法（例如，平衡平衡）注意变形金刚或自我监督的学习）。为了扩展到更具挑战性的问题，越来越多的共识要求求解器可以在数百万而不是数千点上运作。在\ cite {scetbon2021lowrank}中提倡的低级最佳运输方法（LOT）方法在这方面有几个诺言，并被证明可以补充更确定的熵正则化方法，能够将自己插入更复杂的管道中，例如Quadratic OT。批次将低成本耦合的搜索限制在具有低位级等级的耦合方面，在感兴趣的情况下产生线性时间算法。但是，只有在比较感兴趣的属性时，只有将批次方法视为熵正则化的合法竞争者，这些诺言才能实现，记分卡通常包含理论属性（统计复杂性和与其他方法）或实际方面（偏见，偏见，偏见，依据，，依据，统计复杂性和关系）高参数调整，初始化）。我们针对本文中的每个领域，以巩固计算OT中低级别方法的影响。

我们研究了两种可能不同质量的度量之间的不平衡最佳运输（UOT），其中最多是$ n $组件，其中标准最佳运输（OT）的边际约束是通过kullback-leibler差异与正则化因子$ \ tau $放松的。尽管仅在文献中分析了具有复杂性$ o \ big（\ tfrac {\ tau n^2 \ log（n）} {\ varepsilon} \ log \ big（\ tfrac {\ log（ n）} {{{\ varepsilon}} \ big）\ big）$）$用于实现错误$ \ varepsilon $，它们与某些深度学习模型和密集的输出运输计划不兼容，强烈阻碍了实用性。虽然被广泛用作计算现代深度学习应用中UOT的启发式方法，并且在稀疏的OT中表现出成功，但尚未正式研究用于UOT的梯度方法。为了填补这一空白，我们提出了一种基于梯度外推法（Gem-uot）的新颖算法，以找到$ \ varepsilon $ -Approximate解决方案，以解决$ o \ big中的UOT问题（\ kappa n^2 \ log \ log \ big（big） \ frac {\ tau n} {\ varepsilon} \ big）\ big）$，其中$ \ kappa $是条件号，具体取决于两个输入度量。我们的算法是通过优化平方$ \ ell_2 $ -norm UOT目标的新的双重配方设计的，从而填补了缺乏稀疏的UOT文献。最后，我们在运输计划和运输距离方面建立了UOT和OT之间近似误差的新颖表征。该结果阐明了一个新的主要瓶颈，该瓶颈被强大的OT文献忽略了：尽管OT放松了OT，因为UOT承认对离群值的稳健性，但计算出的UOT距离远离原始OT距离。我们通过基于Gem-uot从UOT中检索的原则方法来解决此类限制，并使用微调的$ \ tau $和后进程投影步骤来解决。关于合成和真实数据集的实验验证了我们的理论，并证明了我们的方法的良好性能。

这项工作研究如何在不平衡最佳运输（OT）模型中引入熵正则化术语可能会改变其同质性相对于输入措施的均匀性。我们观察到在共同设置中（包括平衡OT和不平衡的OT，带有kullback-Leibler对边缘的分歧），尽管最佳的运输成本本身不是均匀的，最佳的运输计划和所谓的烟道分流确实是均匀的。然而，同质性不会在更一般的不平衡正则化最佳运输（围绕）模型中，例如使用总变化与边际的分歧的更常见的模型。我们建议修改熵正则化术语以检索围类的屏幕模型，同时保留标准屏幕模型的大多数属性。我们展示在用边界进行最佳运输时使用我们的同质围嘴（Hurot）模型的重要性，运输模型涉及到标准（不均匀）围局模型将产生不恰当行为的边缘地区的空间变化的差异。

广义自我符合是许多重要学习问题的目标功能中存在的关键属性。我们建立了一个简单的Frank-Wolfe变体的收敛速率，该变体使用开环步数策略$ \ gamma_t = 2/（t+2）$，获得了$ \ Mathcal {o}（1/t）$收敛率对于这类功能，就原始差距和弗兰克 - 沃尔夫差距而言，$ t $是迭代计数。这避免了使用二阶信息或估计以前工作的局部平滑度参数的需求。我们还显示了各种常见病例的收敛速率的提高，例如，当所考虑的可行区域均匀地凸或多面体时。

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activations and confirm the statistical benefits of this implicit bias.

最近表明，在光滑状态下，可以通过吸引统计误差上限可以有效地计算两个分布之间的平方Wasserstein距离。然而，而不是距离本身，生成建模等应用的感兴趣对象是底层的最佳运输地图。因此，需要为估计的地图本身获得计算和统计保证。在本文中，我们提出了第一种统计$ L ^ 2 $错误的第一批量算法几乎匹配了现有的最低限度用于平滑地图估计。我们的方法是基于解决具有无限尺寸的平方和重构的最佳运输的半双向配方，并导致样品数量的无尺寸多项式速率的算法，具有潜在指数的维度依赖性常数。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

我们表明，sindhorn-knopp算法的衍生物或迭代比例拟合程序会以局部统一的线性收敛速率收敛于最佳运输问题的熵正则化的衍生物。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

在本文中，我们通过推断在歧管上的迭代来提出一种简单的加速度方案，用于利曼梯度方法。我们显示何时从Riemannian梯度下降法生成迭代元素，加速方案是渐近地达到最佳收敛速率，并且比最近提出的Riemannian Nesterov加速梯度方法在计算上更有利。我们的实验验证了新型加速策略的实际好处。

最佳运输（OT）理论下潜许多新兴机器学习（ML）方法现在解决了各种任务，例如生成建模，转移学习和信息检索。然而，这些后者通常会在传统的OT设置上具有两个分布，同时留下更一般的多边缘OT配方，稍微探索。在本文中，我们研究了多边缘OT（MMOT）问题，并通过促进关于耦合的结构信息，统一其伞下的几种流行的OT方法。我们表明将这种结构信息结合到MMOT中，在允许我们在数值上解决它的不同凸（DC）编程问题的实例。尽管后一级的计算成本高，但DC优化提供的解决方案通常与使用当前采用的优化方案获得的解决方案一样定性。

我们考虑人口Wasserstein Barycenter问题，用于随机概率措施支持有限一组点，由在线数据流生成。这导致了复杂的随机优化问题，其中目标是作为作为随机优化问题的解决方案给出的函数的期望。我们采用了问题的结构，并获得了这个问题的凸凹陷的随机鞍点重构。在设置随机概率措施的分布是离散的情况下，我们提出了一种随机优化算法并估计其复杂性。基于内核方法的第二个结果将前一个延伸到随机概率措施的任意分布。此外，这种新算法在许多情况下，与随机近似方法相结合的随机近似方法，具有优于随机近似方法的总复杂性。我们还通过一系列数值实验说明了我们的发展。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

Wassersein距离，植根于最佳运输（OT）理论，是在统计和机器学习的各种应用程序之间的概率分布之间的流行差异测量。尽管其结构丰富，但效用，但Wasserstein距离对所考虑的分布中的异常值敏感，在实践中阻碍了适用性。灵感来自Huber污染模型，我们提出了一种新的异常值 - 强大的Wasserstein距离$ \ mathsf {w} _p ^ \ varepsilon $，它允许从每个受污染的分布中删除$ \ varepsilon $异常块。与以前考虑的框架相比，我们的配方达到了高度定期的优化问题，使其更好地分析。利用这一点，我们对$ \ mathsf {w} _p ^ \ varepsilon $的彻底理论研究，包括最佳扰动，规律性，二元性和统计估算和鲁棒性结果的表征。特别是，通过解耦优化变量，我们以$ \ mathsf {w} _p ^ \ varepsilon $到达一个简单的双重形式，可以通过基于标准的基于二元性的OT响音器的基本修改来实现。我们通过应用程序来说明我们的框架的好处，以与受污染的数据集进行生成建模。

在数据集中定义样本之间有意义的距离是机器学习中的一个基本问题。最佳传输（OT）在样品之间提高特征（“地面度量”）到几何意义上的距离之间的距离。但是，通常没有直接的地面度量选择。有监督的地面度量学习方法存在，但需要标记的数据。在没有标签的情况下，仅保留临时地面指标。因此，无监督的地面学习是启用数据驱动的OT应用程序的基本问题。在本文中，我们首次通过同时计算样本之间和数据集功能之间的OT距离来提出规范答案。这些距离矩阵自然出现，作为函数映射接地指标的正奇异向量。我们提供标准以确保这些奇异向量的存在和独特性。然后，我们使用随机近似和熵正则化引入可扩展的计算方法以在高维设置中近似它们。最后，我们在单细胞RNA测序数据集上展示了Wasserstein奇异向量。

最近有兴趣的兴趣在教师学生环境中的各种普遍性线性估计问题中的渐近重建性能研究，特别是对于I.I.D标准正常矩阵的案例。在这里，我们超越这些矩阵，并证明了具有具有任意界限频谱的旋转不变数据矩阵的凸遍的线性模型的重建性能的分析公式，严格地确认使用来自统计物理的副本衍生的猜想。该公式包括许多问题，例如压缩感测或稀疏物流分类。通过利用消息通过算法和迭代的统计特性来实现证明，允许表征估计器的渐近实证分布。我们的证据是基于构建Oracle多层向量近似消息传递算法的会聚序列的构建，其中通过检查等效动态系统的稳定性来完成收敛分析。我们说明了我们对主流学习方法的数值示例的要求，例如稀疏的逻辑回归和线性支持矢量分类器，显示中等大小模拟和渐近预测之间的良好一致性。

Entropic regularization provides a generalization of the original optimal transport problem. It introduces a penalty term defined by the Kullback-Leibler divergence, making the problem more tractable via the celebrated Sinkhorn algorithm. Replacing the Kullback-Leibler divergence with a general $f$-divergence leads to a natural generalization. The case of divergences defined by superlinear functions was recently studied by Di Marino and Gerolin. Using convex analysis, we extend the theory developed so far to include all $f$-divergences defined by functions of Legendre type, and prove that under some mild conditions, strong duality holds, optimums in both the primal and dual problems are attained, the generalization of the $c$-transform is well-defined, and we give sufficient conditions for the generalized Sinkhorn algorithm to converge to an optimal solution. We propose a practical algorithm for computing an approximate solution of the optimal transport problem with $f$-divergence regularization via the generalized Sinkhorn algorithm. Finally, we present experimental results on synthetic 2-dimensional data, demonstrating the effects of using different $f$-divergences for regularization, which influences convergence speed, numerical stability and sparsity of the optimal coupling.

Optimal transport (OT) has become exceedingly popular in machine learning, data science, and computer vision. The core assumption in the OT problem is the equal total amount of mass in source and target measures, which limits its application. Optimal Partial Transport (OPT) is a recently proposed solution to this limitation. Similar to the OT problem, the computation of OPT relies on solving a linear programming problem (often in high dimensions), which can become computationally prohibitive. In this paper, we propose an efficient algorithm for calculating the OPT problem between two non-negative measures in one dimension. Next, following the idea of sliced OT distances, we utilize slicing to define the sliced OPT distance. Finally, we demonstrate the computational and accuracy benefits of the sliced OPT-based method in various numerical experiments. In particular, we show an application of our proposed Sliced-OPT in noisy point cloud registration.