最佳运输（OT）背后的匹配原理在机器学习中起着越来越重要的作用，这一趋势可以观察到ot被用来消除应用程序中的数据集（例如，单细胞基因组学）或用于改善更复杂的方法（例如，平衡平衡）注意变形金刚或自我监督的学习）。为了扩展到更具挑战性的问题，越来越多的共识要求求解器可以在数百万而不是数千点上运作。在\ cite {scetbon2021lowrank}中提倡的低级最佳运输方法（LOT）方法在这方面有几个诺言，并被证明可以补充更确定的熵正则化方法，能够将自己插入更复杂的管道中，例如Quadratic OT。批次将低成本耦合的搜索限制在具有低位级等级的耦合方面，在感兴趣的情况下产生线性时间算法。但是，只有在比较感兴趣的属性时，只有将批次方法视为熵正则化的合法竞争者，这些诺言才能实现，记分卡通常包含理论属性（统计复杂性和与其他方法）或实际方面（偏见，偏见，偏见，依据，，依据，统计复杂性和关系）高参数调整，初始化）。我们针对本文中的每个领域，以巩固计算OT中低级别方法的影响。

最近表明，在光滑状态下，可以通过吸引统计误差上限可以有效地计算两个分布之间的平方Wasserstein距离。然而，而不是距离本身，生成建模等应用的感兴趣对象是底层的最佳运输地图。因此，需要为估计的地图本身获得计算和统计保证。在本文中，我们提出了第一种统计$ L ^ 2 $错误的第一批量算法几乎匹配了现有的最低限度用于平滑地图估计。我们的方法是基于解决具有无限尺寸的平方和重构的最佳运输的半双向配方，并导致样品数量的无尺寸多项式速率的算法，具有潜在指数的维度依赖性常数。

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

我们研究了两种可能不同质量的度量之间的不平衡最佳运输（UOT），其中最多是$ n $组件，其中标准最佳运输（OT）的边际约束是通过kullback-leibler差异与正则化因子$ \ tau $放松的。尽管仅在文献中分析了具有复杂性$ o \ big（\ tfrac {\ tau n^2 \ log（n）} {\ varepsilon} \ log \ big（\ tfrac {\ log（ n）} {{{\ varepsilon}} \ big）\ big）$）$用于实现错误$ \ varepsilon $，它们与某些深度学习模型和密集的输出运输计划不兼容，强烈阻碍了实用性。虽然被广泛用作计算现代深度学习应用中UOT的启发式方法，并且在稀疏的OT中表现出成功，但尚未正式研究用于UOT的梯度方法。为了填补这一空白，我们提出了一种基于梯度外推法（Gem-uot）的新颖算法，以找到$ \ varepsilon $ -Approximate解决方案，以解决$ o \ big中的UOT问题（\ kappa n^2 \ log \ log \ big（big） \ frac {\ tau n} {\ varepsilon} \ big）\ big）$，其中$ \ kappa $是条件号，具体取决于两个输入度量。我们的算法是通过优化平方$ \ ell_2 $ -norm UOT目标的新的双重配方设计的，从而填补了缺乏稀疏的UOT文献。最后，我们在运输计划和运输距离方面建立了UOT和OT之间近似误差的新颖表征。该结果阐明了一个新的主要瓶颈，该瓶颈被强大的OT文献忽略了：尽管OT放松了OT，因为UOT承认对离群值的稳健性，但计算出的UOT距离远离原始OT距离。我们通过基于Gem-uot从UOT中检索的原则方法来解决此类限制，并使用微调的$ \ tau $和后进程投影步骤来解决。关于合成和真实数据集的实验验证了我们的理论，并证明了我们的方法的良好性能。

不平衡最佳传输（UOT）扩展了最佳传输（OT），以考虑质量变化以比较分布。这是使IT在ML应用程序中成功的至关重要，使其对数据标准化和异常值具有强大。基线算法陷入沉降，但其收敛速度可能比OT更慢。在这项工作中，我们确定了这种缺陷的原因，即缺乏迭代的全球正常化，其等效地对应于双口电的翻译。我们的第一款贡献利用了这种想法来开发一种可怕的加速陷阱算法（为UOT开发了一种可怕的陷阱算法（创建了“翻译不变的烟囱”），弥合了与OT的计算间隙。我们的第二次贡献侧重于1-D UOT，并提出了一个适用于这种翻译不变制剂的弗兰克 - 沃尔夫求解器。每个步骤的线性oracle都能求解1-D OT问题，从而导致每个迭代的线性时间复杂度。我们的最后贡献将这种方法扩展到计算1-D措施的UOT BaryCenter。数值模拟展示这三种方法带来的收敛速度改进。

我们考虑人口Wasserstein Barycenter问题，用于随机概率措施支持有限一组点，由在线数据流生成。这导致了复杂的随机优化问题，其中目标是作为作为随机优化问题的解决方案给出的函数的期望。我们采用了问题的结构，并获得了这个问题的凸凹陷的随机鞍点重构。在设置随机概率措施的分布是离散的情况下，我们提出了一种随机优化算法并估计其复杂性。基于内核方法的第二个结果将前一个延伸到随机概率措施的任意分布。此外，这种新算法在许多情况下，与随机近似方法相结合的随机近似方法，具有优于随机近似方法的总复杂性。我们还通过一系列数值实验说明了我们的发展。

这项工作研究如何在不平衡最佳运输（OT）模型中引入熵正则化术语可能会改变其同质性相对于输入措施的均匀性。我们观察到在共同设置中（包括平衡OT和不平衡的OT，带有kullback-Leibler对边缘的分歧），尽管最佳的运输成本本身不是均匀的，最佳的运输计划和所谓的烟道分流确实是均匀的。然而，同质性不会在更一般的不平衡正则化最佳运输（围绕）模型中，例如使用总变化与边际的分歧的更常见的模型。我们建议修改熵正则化术语以检索围类的屏幕模型，同时保留标准屏幕模型的大多数属性。我们展示在用边界进行最佳运输时使用我们的同质围嘴（Hurot）模型的重要性，运输模型涉及到标准（不均匀）围局模型将产生不恰当行为的边缘地区的空间变化的差异。

我们研究了有限空间中值的静止随机过程的最佳运输。为了反映潜在流程的实向性，我们限制了对固定联轴器的关注，也称为联系。由此产生的最佳连接问题捕获感兴趣过程的长期平均行为的差异。我们介绍了最优联接的估算和最佳的加入成本，我们建立了温和条件下估算器的一致性。此外，在更强的混合假设下，我们为估计的最佳连接成本建立有限样本误差速率，其延伸了IID案件中的最佳已知结果。最后，我们将一致性和速率分析扩展到最佳加入问题的熵惩罚版本。

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

最佳运输（OT）及其熵正则后代最近在机器学习和AI域中获得了很多关注。特别地，最优传输已被用于在概率分布之间开发概率度量。我们在本文中介绍了基于熵正常的最佳运输的独立性标准。我们的标准可用于测试两个样本之间的独立性。我们为测试统计制定非渐近界，研究其在零和替代假设下的统计行为。我们的理论结果涉及来自U-Process理论和最佳运输理论的工具。我们在现有的基准上提出了实验结果，说明了所提出的标准的兴趣。

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

越来越多的机器学习问题，例如现有算法的鲁棒或对抗性变体，需要最小化自己定义为最大值的损耗函数。在（内部）最大化问题上携带随机梯度上升（SGA）步骤的环路，然后在（外部）最小化上进行SGD步骤，称为时期随机梯度\脑短幕（ESGDA）。虽然成功在实践中，ESGDA的理论分析仍然具有挑战性，但没有明确指导内部环路尺寸的选择，也没有内部/外部步长尺寸之间的相互作用。我们提出RSGDA（随机SGDA），是ESGDA的变种，具有随机环形尺寸，具有更简单的理论分析。 RSGDA在非透露X分钟/强凹幅最大设置上使用时，rsgda附带第一个（在SGDA算法中）几乎肯定的融合速率。 RSGDA可以使用最佳环路大小进行参数化，以保证已知为SGDA的最佳收敛速率。我们在玩具和更大的尺度问题上测试RSGDA，使用作为测试用最佳运输的分布鲁棒优化和单细胞数据匹配。

在包括生成建模的各种机器学习应用中的两个概率措施中，已经证明了切片分歧的想法是成功的，并且包括计算两种测量的一维随机投影之间的“基地分歧”的预期值。然而，这种技术的拓扑，统计和计算后果尚未完整地确定。在本文中，我们的目标是弥合这种差距并导出切片概率分歧的各种理论特性。首先，我们表明切片保留了公制公理和分歧的弱连续性，这意味着切片分歧将共享相似的拓扑性质。然后，我们在基本发散属于积分概率度量类别的情况下精确结果。另一方面，我们在轻度条件下建立了切片分歧的样本复杂性并不依赖于问题尺寸。我们终于将一般结果应用于几个基地分歧，并说明了我们对合成和实际数据实验的理论。

生成的对策网络是一种流行的方法，用于通过根据已知分发的函数来建立目标分布来从数据学习分布的流行方法。经常被称为发电机的功能优化，以最小化所生成和目标分布之间的所选距离测量。这种目的的一个常用措施是Wassersein距离。然而，Wassersein距离难以计算和优化，并且在实践中，使用熵正则化技术来改善数值趋同。然而，正规化对学到的解决方案的影响仍未得到很好的理解。在本文中，我们研究了Wassersein距离的几个流行的熵正规提出如何在一个简单的基准设置中冲击解决方案，其中发电机是线性的，目标分布是高维高斯的。我们表明，熵正则化促进了解决方案稀疏化，同时更换了与秸秆角偏差的Wasserstein距离恢复了不断的解决方案。两种正则化技术都消除了Wasserstein距离所遭受的维度的诅咒。我们表明，可以从目标分布中学习最佳发电机，以$ O（1 / \ epsilon ^ 2）$ samples从目标分布中学习。因此，我们得出结论，这些正则化技术可以提高来自大量分布的经验数据的发电机的质量。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

最佳运输（OT）自然地出现在广泛的机器学习应用中，但可能经常成为计算瓶颈。最近，一行作品建议大致通过在低秩子空间中搜索\ emph {transport计划}来解决OT。然而，最佳运输计划通常不是低秩，这往往会产生大的近似误差。例如，当存在Monge的\ EMPH {Transport Map}时，运输计划是完整的排名。本文涉及具有足够精度和效率的OT距离的计算。提出了一种用于OT的新颖近似，其中运输计划可以分解成低级矩阵和稀疏矩阵的总和。理论上我们分析近似误差。然后设计增强拉格朗日方法以有效地计算运输计划。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

Wassersein距离，植根于最佳运输（OT）理论，是在统计和机器学习的各种应用程序之间的概率分布之间的流行差异测量。尽管其结构丰富，但效用，但Wasserstein距离对所考虑的分布中的异常值敏感，在实践中阻碍了适用性。灵感来自Huber污染模型，我们提出了一种新的异常值 - 强大的Wasserstein距离$ \ mathsf {w} _p ^ \ varepsilon $，它允许从每个受污染的分布中删除$ \ varepsilon $异常块。与以前考虑的框架相比，我们的配方达到了高度定期的优化问题，使其更好地分析。利用这一点，我们对$ \ mathsf {w} _p ^ \ varepsilon $的彻底理论研究，包括最佳扰动，规律性，二元性和统计估算和鲁棒性结果的表征。特别是，通过解耦优化变量，我们以$ \ mathsf {w} _p ^ \ varepsilon $到达一个简单的双重形式，可以通过基于标准的基于二元性的OT响音器的基本修改来实现。我们通过应用程序来说明我们的框架的好处，以与受污染的数据集进行生成建模。

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activations and confirm the statistical benefits of this implicit bias.