本文着重于随机鞍点问题的分布式优化。本文的第一部分专门针对平滑（强）（强）（强）凹形鞍点问题以及实现这些结合的近乎最佳算法的平滑（强）凸出的凹点鞍点问题的平滑（强）凸出的（强）凸出的凸出鞍点问题。接下来，我们提出了一种新的联合算法，用于分布式鞍点问题 - 额外的步骤本地SGD。对新方法的理论分析是针对强烈凸出的凹形和非convex-non-concave问题进行的。在本文的实验部分中，我们在实践中显示了方法的有效性。特别是，我们以分布方式训练甘恩。
translated by 谷歌翻译
我们通过两种类型 - 主/工人（因此集中）架构（因此集中）架构和网格化（因此分散）网络，研究（强）凸起（强）凸起（强）凸起的鞍点问题（SPPS）的解决方案方法。由于统计数据相似度或其他，假设每个节点处的本地功能是相似的。我们为求解SPP的相当一般算法奠定了较低的复杂性界限。我们表明，在$ \ omega \ big（\ delta \ cdot \ delta / \ mu \ cdot \ log（1 / varepsilon）\ big）$ rounds over over over exoptimally $ \ epsilon> 0 $ over over master / workers网络通信，其中$ \ delta> 0 $测量本地功能的相似性，$ \ mu $是它们的强凸起常数，$ \ delta $是网络的直径。较低的通信复杂性绑定在网状网络上读取$ \ omega \ big（1 / {\ sqrt {\ rho}} \ cdot {\ delta} / {\ mu} \ cdot \ log（1 / varepsilon）\ big）$ ，$ \ rho $是用于邻近节点之间通信的八卦矩阵的（归一化）EIGENGAP。然后，我们提出算法与较低限制的网络（最多为日志因子）匹配。我们评估所提出的算法对强大的逻辑回归问题的有效性。
translated by 谷歌翻译
个性化联合学习（PFL）最近看到了巨大的进步，允许设计新颖的机器学习应用来保护培训数据的隐私。该领域的现有理论结果主要关注分布式优化以实现最小化问题。本文是第一个研究马鞍点问题的PFL（涵盖更广泛的优化问题），允许更丰富的应用程序，需要更多地解决最小化问题。在这项工作中，我们考虑最近提出的PFL设置与混合目标函数，一种方法将全球模型与当地分布式学习者相结合的方法。与最先前的工作不同，这仅考虑集中设置，我们在更一般和分散的设置中工作，允许我们设计和分析将设备连接到网络的更实用和联合的方法。我们提出了新的算法来解决这个问题，并在随机和确定性案例中提供平滑（强）凸起（强）凹凸点问题的理论分析。双线性问题的数值实验和对抗噪声的神经网络展示了所提出的方法的有效性。
translated by 谷歌翻译
具有自适应缩放不同功能的方法在解决鞍点问题方面起着关键作用，这主要是由于亚当在解决对抗机器学习问题（包括gans训练）方面的受欢迎程度。本文对解决SPPS的以下缩放技术进行了理论分析：众所周知的Adam和Rmsprop缩放以及基于Hutchison近似的较新的Adahessian和Oasis。我们将额外的梯度及其改进的版本带有负动量作为基本方法。关于gan的实验研究不仅对亚当，而且对其他不太流行的方法显示出良好的适用性。
translated by 谷歌翻译
大规模凸孔concave minimax问题在许多应用中出现，包括游戏理论，强大的培训和生成对抗网络的培训。尽管它们的适用性广泛，但使用现有的随机最小值方法在大量数据的情况下，有效，有效地解决此类问题是具有挑战性的。我们研究了一类随机最小值方法，并开发了一种沟通效率的分布式随机外算法Localadaseg，其自适应学习速率适合在参数 - 服务器模型中求解凸Conconcove minimax问题。 Localadaseg具有三个主要功能：（i）定期沟通策略，可降低工人与服务器之间的通信成本； （ii）在本地计算并允许无调实现的自适应学习率； （iii）从理论上讲，在随机梯度的估计中，相对于主要差异项的几乎线性加速在平滑和非平滑凸凸环设置中都证明了。 Localadaseg用于解决随机双线游戏，并训练生成的对抗网络。我们将localadaseg与几个用于最小问题的现有优化者进行了比较，并通过在均质和异质环境中的几个实验来证明其功效。
translated by 谷歌翻译
We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.
translated by 谷歌翻译
梯度压缩是一种流行的技术，可改善机器学习模型分布式培训中随机一阶方法的沟通复杂性。但是，现有作品仅考虑随机梯度的替换采样。相比之下，在实践中众所周知，最近从理论上证实，基于没有替代抽样的随机方法，例如随机改组方法（RR）方法，其性能要比用更换梯度进行梯度的方法更好。在这项工作中，我们在文献中缩小了这一差距，并通过梯度压缩和没有替代抽样的方法提供了第一次分析方法。我们首先使用梯度压缩（Q-RR）开发一个随机重新填充的分布式变体，并展示如何通过使用控制迭代来减少梯度量化的方差。接下来，为了更好地适合联合学习应用程序，我们结合了本地计算，并提出了一种称为Q-Nastya的Q-RR的变体。 Q-Nastya使用本地梯度步骤以及不同的本地和全球步骤。接下来，我们还展示了如何在此设置中减少压缩差异。最后，我们证明了所提出的方法的收敛结果，并概述了它们在现有算法上改进的几种设置。
translated by 谷歌翻译
我们考虑了分布式随机优化问题，其中$ n $代理想要最大程度地减少代理本地函数总和给出的全局函数，并专注于当代理的局部函数在非i.i.i.d上定义时，专注于异质设置。数据集。我们研究本地SGD方法，在该方法中，代理执行许多局部随机梯度步骤，并偶尔与中央节点进行通信以改善其本地优化任务。我们分析了本地步骤对局部SGD的收敛速率和通信复杂性的影响。特别是，我们允许在$ i $ th的通信回合（$ h_i $）期间允许在所有通信回合中进行固定数量的本地步骤。我们的主要贡献是将本地SGD的收敛速率表征为$ \ {h_i \} _ {i = 1}^r $在强烈凸，convex和nonconvex local函数下的函数，其中$ r $是沟通总数。基于此特征，我们在序列$ \ {h_i \} _ {i = 1}^r $上提供足够的条件，使得本地SGD可以相对于工人数量实现线性加速。此外，我们提出了一种新的沟通策略，将本地步骤提高，优于现有的沟通策略，以突出局部功能。另一方面，对于凸和非凸局局功能，我们认为固定的本地步骤是本地SGD的最佳通信策略，并恢复了最新的收敛速率结果。最后，我们通过广泛的数值实验证明我们的理论结果是合理的。
translated by 谷歌翻译
当任何延迟较大时，异步随机梯度下降（SGD）的现有分析显着降低，给人的印象是性能主要取决于延迟。相反，无论梯度中的延迟如何，我们都证明，我们可以更好地保证相同的异步SGD算法，而不是仅取决于用于实现算法的平行设备的数量。我们的保证严格比现有分析要好，我们还认为，异步SGD在我们考虑的设置中优于同步Minibatch SGD。为了进行分析，我们介绍了基于“虚拟迭代”和延迟自适应步骤的新颖递归，这使我们能够为凸面和非凸面目标得出最先进的保证。
translated by 谷歌翻译
在本文中，我们概括了Gasnikov等人的方法。Al，2017年，它允许使用不精确的无梯度的Oracle解决（随机）凸优化问题，以解决凸 - 凸座鞍点问题。所提出的方法至少像最好的现有方法一样有效。但是，对于特殊的设置（单纯类型的约束和1和2规范中Lipschitz常数的紧密度），我们的方法降低了$ \ frac {n} {\ log n} $ times所需的oracle调用数量（函数计算）。我们的方法通过有限差异使用梯度的随机近似。在这种情况下，该功能不仅必须在优化集本身，而且在其某个邻域中指定。在本文的第二部分中，我们分析了无法做出这样的假设时，我们提出了一种关于如何现代化解决此问题的方法的一般方法，并且我们还将这种方法应用于某些经典集合的特定情况。
translated by 谷歌翻译
本文是对解决平滑（强）单调随机变化不平等的方法的调查。首先，我们给出了随机方法最终发展的确定性基础。然后，我们回顾了通用随机配方的方法，并查看有限的总和设置。本文的最后部分致力于各种算法的各种（不一定是随机）的变化不平等现象。
translated by 谷歌翻译
我们研究拜占庭的协作学习，其中$ N $节点寻求统称为彼此的本地数据。数据分发可能因一个节点而异。没有信任节点，$ f <n $节点可以行为任意。我们证明，协作学习相当于新的协议形式，我们称之为平均协议。在这个问题中，节点以初始向量启动每个初始向量，并寻求大致达成一个普通的向量，它接近诚实节点初始向量的平均值。我们为平均协议提供了两个异步解决方案，每个我们都证明了根据一些维度的最佳状态。首先，基于最小直径平均，需要$ n \ geq 6f + 1 $，但实现了渐近的最佳平均常量达到乘法常量。其次，基于可靠的广播和坐标 - 明智的均值，实现最佳的拜占庭恢复力，即$ N \ GEQ 3F + 1 $。这些算法中的每一个都会引发最佳的拜占庭协作学习协议。特别是，我们的等价会产生新的不可能性定理，就任何协作学习算法在对抗性和异构环境中实现的内容。
translated by 谷歌翻译
近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。
translated by 谷歌翻译
随机一阶方法是训练大规模机器学习模型的标准。随机行为可能导致算法的特定运行导致高度次优的目标值，而通常证明理论保证是出于目标值的期望。因此，从理论上保证算法具有很高的可能性，这一点至关重要。非平滑随机凸优化的现有方法具有复杂的界限，其依赖性对置信度或对数为负功率，但在额外的假设下是高斯（轻尾）噪声分布的额外假设，这些噪声分布在实践中可能不存在。在我们的论文中，我们解决了这个问题，并得出了第一个高概率收敛的结果，并以对数依赖性对非平滑凸的随机优化问题的置信度依赖，并带有非Sub-Gaussian（重尾）噪声。为了得出我们的结果，我们建议针对两种随机方法进行梯度剪辑的新步骤规则。此外，我们的分析适用于使用H \“较旧连续梯度的通用平滑目标，对于这两种方法，我们都为强烈凸出问题提供了扩展。最后，我们的结果暗示我们认为的第一种（加速）方法也具有最佳的迭代。在所有制度中，Oracle的复杂性，第二个机制在非平滑设置中都是最佳的。
translated by 谷歌翻译
最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。
translated by 谷歌翻译
我们提出了随机方差降低算法，以求解凸 - 凸座鞍点问题，单调变异不平等和单调夹杂物。我们的框架适用于Euclidean和Bregman设置中的外部，前向前后和前反向回复的方法。所有提出的方法都在与确定性的对应物相同的环境中收敛，并且它们要么匹配或改善了解决结构化的最低最大问题的最著名复杂性。我们的结果加强了变异不平等和最小化之间的差异之间的对应关系。我们还通过对矩阵游戏的数值评估来说明方法的改进。
translated by 谷歌翻译
受到Mishchenko等人（2022）的最新突破的启发，他们首次表明局部梯度步骤可以导致可证明的通信加速，我们提出了一种替代算法，该算法获得了与他们的方法相同的通信加速度（Proxsskip）。但是，我们的方法非常不同：它基于Chambolle和Pock（2011）的著名方法，并具有多种不平凡的修改：i）我们允许通过适当的强烈凸出功能的代理操作员进行不精确的计算。基于梯度的方法（例如，GD，Fast GD或FSFOM），ii）我们对双重更新步骤进行仔细的修改，以保留线性收敛。我们的一般结果为强凸孔座鞍点问题提供了新的最先进率，其双线性耦合为特征，其特征是双重功能缺乏平滑度。当应用于联邦学习时，我们获得了Proxskip的理论上更好的替代方案：我们的方法需要更少的本地步骤（$ O（\ kappa^{1/3}）$或$ o（\ kappa^{1/4}）$，与Proxskip的$ O（\ kappa^{1/2}）$相比，并执行确定性的本地步骤。像Proxskip一样，我们的方法可以应用于连接网络的优化，我们在这里也获得了理论改进。
translated by 谷歌翻译
最近对基于置换的SGD的接地结果进行了证实了广泛观察到的现象：随机排列提供更快的收敛性，而不是更换采样。但是，是随机的最佳状态吗？我们表明这一点在很大程度上取决于我们正在优化的功能，并且最佳和随机排放之间的收敛差距可能因指数而异。我们首先表明，对于具有光滑的第二衍生物的1维强凸功能，与随机相比，存在令人指导的收敛性的排列。但是，对于一般强凸的功能，随机排列是最佳的。最后，我们表明，对于二次，强凸的功能，与随机相比，存在易于构建的置换，从而导致加速会聚。我们的研究结果表明，最佳排列的一般收敛性表征不能捕获各个函数类的细微差别，并且可能错误地表明一个人不能比随机更好。
translated by 谷歌翻译
在本文中，我们考虑了在$ N $代理的分布式优化问题，每个都具有本地成本函数，协作最小化连接网络上的本地成本函数的平均值。为了解决问题，我们提出了一种分布式随机重新洗脱（D-RR）算法，该算法结合了经典分布式梯度下降（DGD）方法和随机重新洗脱（RR）。我们表明D-RR继承了RR的优越性，以使光滑强凸和平的非凸起目标功能。特别是，对于平稳强凸的目标函数，D-RR在平方距离方面实现$ \ Mathcal {o}（1 / T ^ 2）$汇率（这里，$ t $计算迭代总数）在迭代和独特的最小化之间。当假设客观函数是平滑的非凸块并且具有Lipschitz连续组件函数时，我们将D-RR以$ \ Mathcal {O}的速率驱动到0美元的平方标准（1 / T ^ {2 / 3}）$。这些收敛结果与集中式RR（最多常数因素）匹配。
translated by 谷歌翻译
使用多个计算节点通常可以加速在大型数据集上的深度神经网络。这种方法称为分布式训练，可以通过专门的消息传递协议，例如环形全部减少。但是，以比例运行这些协议需要可靠的高速网络，其仅在专用集群中可用。相比之下，许多现实世界应用程序，例如联合学习和基于云的分布式训练，在具有不稳定的网络带宽的不可靠的设备上运行。因此，这些应用程序仅限于使用参数服务器或基于Gossip的平均协议。在这项工作中，我们通过提出MOSHPIT全部减少的迭代平均协议来提升该限制，该协议指数地收敛于全局平均值。我们展示了我们对具有强烈理论保证的分布式优化方案的效率。该实验显示了与使用抢占从头开始训练的竞争性八卦的策略和1.5倍的加速，显示了1.3倍的Imagenet培训的加速。
translated by 谷歌翻译