在这项工作中，我们提出了一批Greenkhorn算法的多压正规化最佳运输问题。我们的框架足够普遍，可以涵盖一些现有的案例，如烟囱和Greenkhorn算法，用于双边缘设置，（贪婪）多光线灯，用于多压最佳运输。我们提供完整的汇聚分析，这是基于具有贪婪控制的迭代BREGMAN投影（IBP）方法的属性。获得了迭代复杂性的全局的收敛性和显式界限。当专门提到上述算法时，我们的结果提供了新的见解和/或改善现有的。

我们研究了两种可能不同质量的度量之间的不平衡最佳运输（UOT），其中最多是$ n $组件，其中标准最佳运输（OT）的边际约束是通过kullback-leibler差异与正则化因子$ \ tau $放松的。尽管仅在文献中分析了具有复杂性$ o \ big（\ tfrac {\ tau n^2 \ log（n）} {\ varepsilon} \ log \ big（\ tfrac {\ log（ n）} {{{\ varepsilon}} \ big）\ big）$）$用于实现错误$ \ varepsilon $，它们与某些深度学习模型和密集的输出运输计划不兼容，强烈阻碍了实用性。虽然被广泛用作计算现代深度学习应用中UOT的启发式方法，并且在稀疏的OT中表现出成功，但尚未正式研究用于UOT的梯度方法。为了填补这一空白，我们提出了一种基于梯度外推法（Gem-uot）的新颖算法，以找到$ \ varepsilon $ -Approximate解决方案，以解决$ o \ big中的UOT问题（\ kappa n^2 \ log \ log \ big（big） \ frac {\ tau n} {\ varepsilon} \ big）\ big）$，其中$ \ kappa $是条件号，具体取决于两个输入度量。我们的算法是通过优化平方$ \ ell_2 $ -norm UOT目标的新的双重配方设计的，从而填补了缺乏稀疏的UOT文献。最后，我们在运输计划和运输距离方面建立了UOT和OT之间近似误差的新颖表征。该结果阐明了一个新的主要瓶颈，该瓶颈被强大的OT文献忽略了：尽管OT放松了OT，因为UOT承认对离群值的稳健性，但计算出的UOT距离远离原始OT距离。我们通过基于Gem-uot从UOT中检索的原则方法来解决此类限制，并使用微调的$ \ tau $和后进程投影步骤来解决。关于合成和真实数据集的实验验证了我们的理论，并证明了我们的方法的良好性能。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

多边缘最优运输（MOT）是最佳运输到多个边缘的概括。最佳运输已经进化为许多机器学习应用中的重要工具，其多边缘扩展开辟了解决机器学习领域的新挑战。然而，MOT的使用很大程度上受到其计算复杂性的影响，其在边缘数量中呈指数级尺度。幸运的是，在许多应用程序中，例如重心或插值问题，成本函数遵守结构，最近被利用以开发有效的计算方法。在这项工作中，我们可以为这些方法推导计算范围。以$ N $积分支持$ M $ M $ M $ Myginal发行版，我们提供了$ \ Mathcal {\ Tilde O}（D（g）Mn ^ 2 \ epsilon ^ { - 2}）$ \ \ epsilon $-Accuracy当问题与直径为D（g）$的树相关联时。对于Wassersein的特殊情况，这对应于星形树，我们的界限与现有的复杂性对齐。

广义自我符合是许多重要学习问题的目标功能中存在的关键属性。我们建立了一个简单的Frank-Wolfe变体的收敛速率，该变体使用开环步数策略$ \ gamma_t = 2/（t+2）$，获得了$ \ Mathcal {o}（1/t）$收敛率对于这类功能，就原始差距和弗兰克 - 沃尔夫差距而言，$ t $是迭代计数。这避免了使用二阶信息或估计以前工作的局部平滑度参数的需求。我们还显示了各种常见病例的收敛速率的提高，例如，当所考虑的可行区域均匀地凸或多面体时。

在本文中，我们提出了一种针对SGD轨迹的新覆盖技术。该定位提供了一种算法特异性的复杂性，该复杂性通过覆盖数来衡量，与标准均匀覆盖的参数相比，该范围独立于维度的基数，从而导致指数尺寸依赖性。基于这种本地化结构，我们表明，如果目标函数是分段的有限扰动，则用$ p $零件强烈凸出和光滑的功能，即非convex和非平滑词，则概括性误差可以由上限。 $ o（\ sqrt {（\ log n \ log（np））/n}）$，其中$ n $是数据示例的数量。特别是，此速率与维度无关，并且不需要尽早停止和衰减的步骤。最后，我们在各种环境中采用这些结果，并为多级线性模型，多级支持向量机和$ k $ - 均值聚类用于硬和软标签设置，并改善已知的最先进的范围，从而改善了已知的最先进的， - 阿尔特费率。

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

这项工作研究如何在不平衡最佳运输（OT）模型中引入熵正则化术语可能会改变其同质性相对于输入措施的均匀性。我们观察到在共同设置中（包括平衡OT和不平衡的OT，带有kullback-Leibler对边缘的分歧），尽管最佳的运输成本本身不是均匀的，最佳的运输计划和所谓的烟道分流确实是均匀的。然而，同质性不会在更一般的不平衡正则化最佳运输（围绕）模型中，例如使用总变化与边际的分歧的更常见的模型。我们建议修改熵正则化术语以检索围类的屏幕模型，同时保留标准屏幕模型的大多数属性。我们展示在用边界进行最佳运输时使用我们的同质围嘴（Hurot）模型的重要性，运输模型涉及到标准（不均匀）围局模型将产生不恰当行为的边缘地区的空间变化的差异。

Consider the problem of matching two independent i.i.d. samples of size $N$ from two distributions $P$ and $Q$ in $\mathbb{R}^d$. For an arbitrary continuous cost function, the optimal assignment problem looks for the matching that minimizes the total cost. We consider instead in this paper the problem where each matching is endowed with a Gibbs probability weight proportional to the exponential of the negative total cost of that matching. Viewing each matching as a joint distribution with $N$ atoms, we then take a convex combination with respect to the above Gibbs probability measure. We show that this resulting random joint distribution converges, as $N\rightarrow \infty$, to the solution of a variational problem, introduced by F\"ollmer, called the Schr\"odinger problem. We also derive the first two error terms of orders $N^{-1/2}$ and $N^{-1}$, respectively. This gives us central limit theorems for integrated test functions, including for the cost of transport, and second order Gaussian chaos limits when the limiting Gaussian variance is zero. The proofs are based on a novel chaos decomposition of the discrete Schr\"odinger bridge by polynomial functions of the pair of empirical distributions as the first and second order Taylor approximations in the space of measures. This is achieved by extending the Hoeffding decomposition from the classical theory of U-statistics.

机器学习中的许多问题都可以表达为在措施空间上优化凸功能。本文研究了这种无限维度的镜子下降算法的收敛性。通过定向衍生物来定义布雷格曼的差异，我们得出了相对平滑且强烈凸成的功能对的方案的收敛。将我们的结果应用于联合分布和kullback-leibler（kl）差异，我们表明，在连续设置中，Sinkhorn的熵最佳传输的原始迭代对应于镜子下降，我们获得了其（sub）线性收敛的新证明。我们还表明，期望最大化（EM）始终可以正式写作作为镜下下降，并且在固定混合物时优化潜在分布时，我们得出了趋同的收敛速率。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

不平衡最佳传输（UOT）扩展了最佳传输（OT），以考虑质量变化以比较分布。这是使IT在ML应用程序中成功的至关重要，使其对数据标准化和异常值具有强大。基线算法陷入沉降，但其收敛速度可能比OT更慢。在这项工作中，我们确定了这种缺陷的原因，即缺乏迭代的全球正常化，其等效地对应于双口电的翻译。我们的第一款贡献利用了这种想法来开发一种可怕的加速陷阱算法（为UOT开发了一种可怕的陷阱算法（创建了“翻译不变的烟囱”），弥合了与OT的计算间隙。我们的第二次贡献侧重于1-D UOT，并提出了一个适用于这种翻译不变制剂的弗兰克 - 沃尔夫求解器。每个步骤的线性oracle都能求解1-D OT问题，从而导致每个迭代的线性时间复杂度。我们的最后贡献将这种方法扩展到计算1-D措施的UOT BaryCenter。数值模拟展示这三种方法带来的收敛速度改进。

我们提出了随机方差降低算法，以求解凸 - 凸座鞍点问题，单调变异不平等和单调夹杂物。我们的框架适用于Euclidean和Bregman设置中的外部，前向前后和前反向回复的方法。所有提出的方法都在与确定性的对应物相同的环境中收敛，并且它们要么匹配或改善了解决结构化的最低最大问题的最著名复杂性。我们的结果加强了变异不平等和最小化之间的差异之间的对应关系。我们还通过对矩阵游戏的数值评估来说明方法的改进。

我们介绍并分析新的一阶优化算法系列，它概括并统一镜像血统和双平均。在该系列的框架内，我们定义了用于约束优化的新算法，这些算法结合了镜像血统和双平均的优点。我们的初步仿真研究表明，这些新算法在某些情况下显着优于可用方法。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

Entropic regularization provides a generalization of the original optimal transport problem. It introduces a penalty term defined by the Kullback-Leibler divergence, making the problem more tractable via the celebrated Sinkhorn algorithm. Replacing the Kullback-Leibler divergence with a general $f$-divergence leads to a natural generalization. The case of divergences defined by superlinear functions was recently studied by Di Marino and Gerolin. Using convex analysis, we extend the theory developed so far to include all $f$-divergences defined by functions of Legendre type, and prove that under some mild conditions, strong duality holds, optimums in both the primal and dual problems are attained, the generalization of the $c$-transform is well-defined, and we give sufficient conditions for the generalized Sinkhorn algorithm to converge to an optimal solution. We propose a practical algorithm for computing an approximate solution of the optimal transport problem with $f$-divergence regularization via the generalized Sinkhorn algorithm. Finally, we present experimental results on synthetic 2-dimensional data, demonstrating the effects of using different $f$-divergences for regularization, which influences convergence speed, numerical stability and sparsity of the optimal coupling.

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。

几十年前，近端点算法（PPA）规定为抽象操作员理论和数值优化社区获得持久的吸引力。即使在现代应用中，研究人员仍然使用近端最小化理论来设计克服非现状的可扩展算法。卓越的作品作为\ Cite {FER：91，BER：82Constrom，BER：89，汤姆：11}在PPA的收敛行为与客观函数的规律之间建立了紧张关系。在本手稿中，我们得出了精确和不精确的PPA的非因素迭代复杂性，以最小化$ \ gamma-$持有人的增长：$ \ bigo {\ log（1 / \ epsilon）} $（在[1中， 2] $）和$ \ bigo {1 / \ epsilon ^ {\ gamma - 2}} $（适用于$ \ gamma> 2 $）。特别是，即使在不精确的情况下，我们恢复了PPA的众所周知的结果：有限的收敛性，用于急剧增长，即使是在不精确的情况下的二次生长。但是，在不考虑到计算每个PPA迭代的具体计算工作，任何迭代复杂性都仍然摘要和纯粹的信息。因此，使用计算不精确PPA迭代的内部（近端）梯度/子射频方法子程序，其次地显示了在重启的不精确PPA上的新颖的计算复杂性界限，当没有已知有关于目标函数的增长的信息时可用。在数值实验中，我们确认了我们框架的实际表现和可实现性。

K-Subspaces（KSS）方法是用于子空间聚类的K-均值方法的概括。在这项工作中，我们介绍了KSS的本地收敛分析和恢复保证，假设数据是由Smari-random的子空间模型生成的，其中$ n $点是从$ k \ ge 2 $重叠子空间随机采样的。我们表明，如果KSS方法的初始分配位于真实聚类的邻域内，则它以高等的速率收敛，并在$ \ theta（\ log \ log \ log n）$迭代中找到正确的群集。此外，我们提出了一种基于阈值的基于内部产品的光谱方法来初始化，并证明它在该社区中产生了一个点。我们还提出了研究方法的数值结果，以支持我们的理论发展。

BREGMAN近端点算法（BPPA）是优化工具箱中的核心之一，一直在目睹新兴应用程序。通过简单易于实现更新规则，该算法对实证成功进行了几种引人注目的直觉，但严格的理由仍然很大程度上是未开发的。我们通过具有可分离数据的分类任务研究BPPA的计算属性，并证明与BPPA相关的可提供算法正则化效果。我们表明BPPA达到了非平凡的余量，这密切依赖于诱导BREGMAN发散的距离产生功能的条件数。我们进一步证明，对于一类问题，对条件数量的依赖性是紧张的，从而表明发散在影响所获得的解决方案的质量方面的重要性。此外，我们还将我们的调查结果扩展到镜像血统（MD），我们建立了边缘和BREGMAN发散之间的类似联系。我们通过具体示例演示，并显示BPPA / MD在相对于Mahalanobis距离的最大边缘解决方案方向上会聚。我们的理论调查结果是第一个展示良性学习特性BPPA / MD的态度，并且还提供校正算法设计中仔细选择的腐败。