Decentralized bilevel optimization has received increasing attention recently due to its foundational role in many emerging multi-agent learning paradigms (e.g., multi-agent meta-learning and multi-agent reinforcement learning) over peer-to-peer edge networks. However, to work with the limited computation and communication capabilities of edge networks, a major challenge in developing decentralized bilevel optimization techniques is to lower sample and communication complexities. This motivates us to develop a new decentralized bilevel optimization called DIAMOND (decentralized single-timescale stochastic approximation with momentum and gradient-tracking). The contributions of this paper are as follows: i) our DIAMOND algorithm adopts a single-loop structure rather than following the natural double-loop structure of bilevel optimization, which offers low computation and implementation complexity; ii) compared to existing approaches, the DIAMOND algorithm does not require any full gradient evaluations, which further reduces both sample and computational complexities; iii) through a careful integration of momentum information and gradient tracking techniques, we show that the DIAMOND algorithm enjoys $\mathcal{O}(\epsilon^{-3/2})$ in sample and communication complexities for achieving an $\epsilon$-stationary solution, both of which are independent of the dataset sizes and significantly outperform existing works. Extensive experiments also verify our theoretical findings.

近年来，由于它们在对点对点网络上的分散性学习问题（例如，多机构元学习，多机构的多方强化增强学习学习）上，分散的双层优化问题在网络和机器学习社区中引起了越来越多的关注。 ，个性化的培训和拜占庭的弹性学习）。但是，对于具有有限的计算和通信功能的对等网络上的分散式双层优化，如何实现低样本和通信复杂性是迄今为止尚未探索的两个基本挑战。在本文中，我们首次尝试研究了分别与外部和内部子问题相对应的非凸和强结构结构的分散双重优化问题。本文中我们的主要贡献是两倍：i）我们首先提出了一种称为Interact的确定性算法（Inter-gradient-descent-out-outer-tracked-gradeent），需要$ \ Mathcal {o}的样品复杂性（n \ epsilon） ^{ - 1}）$和$ \ mathcal {o}的通信复杂性（\ epsilon^{ - 1}）$解决双重优化问题，其中$ n $和$ \ epsilon> 0 $是样本的数量在每个代理和所需的平稳性差距上。 ii）为了放宽每次迭代中进行全面梯度评估的需求，我们提出了一个随机方差的互动版本（SVR Interact），该版本将样品复杂性提高到$ \ Mathcal {o}（\ sqrt {n} \ epsilon ^{ - 1}）$在达到与确定算法相同的通信复杂性时。据我们所知，这项工作是第一个实现低样本和通信复杂性，以解决网络上的分散双层优化问题。我们的数值实验也证实了我们的理论发现。

二重性优化已获得越来越多的兴趣，在元学习，微型型游戏，增强学习和嵌套组成优化中发现了许多应用。本文研究了通过网络上分布式双层优化的问题，在该网络中，代理只能与邻居进行交流，包括来自多任务，多项式学习和联合学习的示例。在本文中，我们提出了一种基于八卦的分布式双层学习算法，该算法允许网络代理在单个时间表中解决内部和外部优化问题，并通过网络传播共享信息。我们表明，我们的算法享受$ \ Mathcal {o}（\ frac {1} {k \ epsilon^2}）$ thement sample sample复杂性，用于一般nonConvex Bilevel优化和$ \ Mathcal {o}（\ frac {1 \ frac {1 } {k \ epsilon}）$用于强烈凸目标，实现了与网络大小线性扩展的加速。样品复杂性在$ \ epsilon $和$ k $中都是最佳的。我们在高参数调整和分散的强化学习的示例中测试算法。模拟实验证实，我们的算法达到了最先进的训练效率和测试准确性。

由于其在数据隐私保护，有效的沟通和并行数据处理方面的好处，联邦学习（FL）近年来引起了人们的兴趣。同样，采用适当的算法设计，可以实现fl中收敛效应的理想线性加速。但是，FL上的大多数现有作品仅限于I.I.D.的系统。数据和集中参数服务器以及与异质数据集分散的FL上的结果仍然有限。此外，在完全分散的FL下，与数据异质性在完全分散的FL下，可以实现收敛的线性加速仍然是一个悬而未决的问题。在本文中，我们通过提出一种称为Net-Fleet的新算法，以解决具有数据异质性的完全分散的FL系统，以解决这些挑战。我们算法的关键思想是通过合并递归梯度校正技术来处理异质数据集，以增强FL（最初旨在用于通信效率）的本地更新方案。我们表明，在适当的参数设置下，所提出的净型算法实现了收敛的线性加速。我们进一步进行了广泛的数值实验，以评估所提出的净化算法的性能并验证我们的理论发现。

Bilevel programming has recently received attention in the literature, due to a wide range of applications, including reinforcement learning and hyper-parameter optimization. However, it is widely assumed that the underlying bilevel optimization problem is solved either by a single machine or in the case of multiple machines connected in a star-shaped network, i.e., federated learning setting. The latter approach suffers from a high communication cost on the central node (e.g., parameter server) and exhibits privacy vulnerabilities. Hence, it is of interest to develop methods that solve bilevel optimization problems in a communication-efficient decentralized manner. To that end, this paper introduces a penalty function based decentralized algorithm with theoretical guarantees for this class of optimization problems. Specifically, a distributed alternating gradient-type algorithm for solving consensus bilevel programming over a decentralized network is developed. A key feature of the proposed algorithm is to estimate the hyper-gradient of the penalty function via decentralized computation of matrix-vector products and few vector communications, which is then integrated within our alternating algorithm to give the finite-time convergence analysis under different convexity assumptions. Owing to the generality of this complexity analysis, our result yields convergence rates for a wide variety of consensus problems including minimax and compositional optimization. Empirical results on both synthetic and real datasets demonstrate that the proposed method works well in practice.

在互联网上的多种代理环境中的新兴应用程序，如互联网，网络传感，自主系统和联合学习，呼叫分散算法，以便在计算和通信方面是资源有效的有限总和优化。在本文中，我们考虑了原型设置，其中代理正在协作地工作，以通过在预定的网络拓扑中与其邻居通信来最小化局部损失函数的总和。我们开发了一种新的算法，称为分散的随机递归梯度方法（DESTRess），用于非耦合有限和优化，它与集中式算法的最佳增量一阶Oracle（IFO）复杂性匹配，用于查找一阶静止点，同时保持通信效率。详细的理论和数值比较证实了迭代在广泛的参数制度上提高现有分散算法的资源效率。 Descress利用了多个关键算法设计思路，包括随机激活的随机递增渐变渐变更新，具有用于本地计算的迷你批次，梯度跟踪，梯度跟踪，用于额外混合（即，多个八卦轮），用于偏移通信，以及仔细选择超参数和新的分析框架可证明达到理想的计算 - 通信权衡。

二重性优化已应用于各种机器学习模型。近年来已经开发了许多随机的二元优化算法。但是，他们中的大多数都限制了他们对单机器设置的关注，因此他们无法处理分布式数据。为了解决这个问题，在所有参与者组成网络并在该网络中执行点对点通信的设置，我们基于梯度跟踪通信机制和两个不同的梯度估计器开发了两个新颖的分布式随机双光线优化算法。此外，我们证明他们可以实现$ o（\ frac {1} {\ epsilon^{2} {2}（1- \ lambda）^2}）$和$ o（\ frac {1} {\ epsilon^{3/ 2}（1- \ lambda）^2}）$收敛率分别以获取$ \ epsilon $ - 准确解决方案，其中$ 1- \ lambda $表示通信网络的频谱差距。据我们所知，这是实现这些理论结果的第一项工作。最后，我们将算法应用于实用的机器学习模型，实验结果证实了我们算法的功效。

本文研究了协同多智能体增强学习（MARL）的分布式政策梯度，在通信网络上的代理人旨在找到最佳政策，以最大限度地提高所有代理人的当地返回的平均值。由于政策梯度的非凹形性能函数，用于凸面问题的现有分布式随机优化方法不能直接用于Marl中的政策梯度。本文提出了一种具有方差减少和渐变跟踪的分布式策略梯度，以解决政策梯度的高差，并利用重要的重量来解决采样过程中的非静止问题。然后，我们在平均平均固定间隙上提供一个上限，这取决于迭代的数量，迷你批量大小，秒钟大小，问题参数和网络拓扑。我们进一步建立了样本和通信复杂性，以获得$ \ epsilon $-upprymate静止点。对MARL控制问题的数值实验进行了验证了所提出算法的有效性。

在本文中，我们考虑了在$ N $代理的分布式优化问题，每个都具有本地成本函数，协作最小化连接网络上的本地成本函数的平均值。为了解决问题，我们提出了一种分布式随机重新洗脱（D-RR）算法，该算法结合了经典分布式梯度下降（DGD）方法和随机重新洗脱（RR）。我们表明D-RR继承了RR的优越性，以使光滑强凸和平的非凸起目标功能。特别是，对于平稳强凸的目标函数，D-RR在平方距离方面实现$ \ Mathcal {o}（1 / T ^ 2）$汇率（这里，$ t $计算迭代总数）在迭代和独特的最小化之间。当假设客观函数是平滑的非凸块并且具有Lipschitz连续组件函数时，我们将D-RR以$ \ Mathcal {O}的速率驱动到0美元的平方标准（1 / T ^ {2 / 3}）$。这些收敛结果与集中式RR（最多常数因素）匹配。

非平滑的有限和最小化是机器学习中的一个基本问题。本文开发了一种具有随机重新洗牌的分布式随机近端梯度算法，以解决随着时变多代理网络的有限和最小化。目标函数是可分辨率凸起功能的总和和非平滑的正则化。网络中的每个代理通过本地信息更新具有恒定步长大小的局部变量，并协作以寻求最佳解决方案。我们证明了所提出的算法产生的局部变量估计实现共识，并且与$ \ mathcal {o}（\ frac {1} {t} + \ frac {1} {\SQRT {T}}）$收敛率。此外，本文通过选择足够的阶梯尺寸，可以任意地小的目标函数的稳态误差。最后，提供了一些比较仿真来验证所提出的算法的收敛性能。

彼得纤维优化已广泛应用于许多重要的机器学习应用，例如普带的参数优化和元学习。最近，已经提出了几种基于动量的算法来解决贝韦尔优化问题。但是，基于SGD的算法的$ \ Mathcal {\ widetilde o}（\ epsilon ^ {-2}），那些基于势头的算法不会达到可释放的计算复杂性。在本文中，我们提出了两种用于双纤维优化的新算法，其中第一算法采用基于动量的递归迭代，第二算法采用嵌套环路中的递归梯度估计来降低方差。我们表明这两种算法都达到了$ \ mathcal {\ widetilde o}的复杂性（\ epsilon ^ { - 1.5}）$，这优于所有现有算法的级别。我们的实验验证了我们的理论结果，并展示了我们在封路数据应用程序中的算法的卓越实证性能。

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

多智能体增强学习（Marl）最近引起了很多研究。然而，与其单一代理对应物不同，Marl的许多理论和算法方面尚未得到很好的理解。在本文中，我们使用演员 - 评论家（AC）算法研究了自主代理的协调行为的出现。具体而言，我们提出并分析了一类协调的演员 - 批评算法（CAC），其中单独的参数化政策有一个{\ IT共享}部分（其中在所有代理中共同优化）和{\ IT个性化}部分（这是只有当地优化）。这种类型的{\它部分个性化}策略允许代理通过利用同伴的过去的经验来学习协调并适应各个任务。我们设计的灵活性允许提出的Marl-CAC算法用于{\ IT完全分散}设置中使用，其中代理商只能与其邻居通信，以及偶尔代理的{\ IT联合}设置与服务器通信，同时优化其（部分个性化）本地模型。从理论上讲，在一些标准规律性假设下，所提出的Marl-CAC算法需要$ \ mathcal {o}（\ epsilon ^ { - \ frac {5} {2}}）$样本来实现$ \ epsilon $ - 固定式解决方案（定义为目标函数梯度的平方标准的解决方案小于$ \ epsilon $）。据我们所知，这项工作为具有部分个性化策略的分散式交流算法提供了第一个有限的样本保证。

我们开发了一个通用框架，统一了几种基于梯度的随机优化方法，用于在集中式和分布式场景中，用于经验风险最小化问题。该框架取决于引入的增强图的引入，该图形由对样品进行建模和边缘建模设备设备间通信和设备内随机梯度计算。通过正确设计增强图的拓扑结构，我们能够作为特殊情况恢复为著名的本地-SGD和DSGD算法，并提供了统一的方差还原（VR）和梯度跟踪（GT）方法（例如Saga） ，本地-SVRG和GT-SAGA。我们还提供了统一的收敛分析，以依靠适当的结构化lyapunov函数，以实现平滑和（强烈的）凸目标，并且获得的速率可以恢复许多现有算法的最著名结果。速率结果进一步表明，VR和GT方法可以有效地消除设备内部和跨设备内的数据异质性，从而使算法与最佳解决方案的确切收敛性。数值实验证实了本文中的发现。

我们提出了一种新的多功能增强学习的新型政策梯度方法，其利用了两个不同的差异减少技术，并且不需要在迭代上进行大量批次。具体而言，我们提出了一种基于势头的分散策略梯度跟踪（MDPGT），其中使用新的基于动量的方差减少技术来接近具有重要性采样的本地策略梯度代理，并采用中间参数来跟踪两个连续的策略梯度代理。此外，MDPGT可证明$ \ mathcal {o}的最佳可用样本复杂性（n ^ { - 1} \ epsilon ^ {-3}）$，用于汇聚到全球平均值的$ \ epsilon $ -stationary点n $本地性能函数（可能是非旋转）。这优于在分散的无模型增强学习中的最先进的样本复杂性，并且当用单个轨迹初始化时，采样复杂性与现有的分散的政策梯度方法获得的样本复杂性匹配。我们进一步验证了高斯策略函数的理论索赔。当所需的误差容忍$ \ epsilon $足够小时，MDPGT导致线性加速，以前已经在分散的随机优化中建立，但不是为了加强学习。最后，我们在多智能体增强学习基准环境下提供了实证结果，以支持我们的理论发现。

在分散的学习中，节点网络协作以最小化通常是其本地目标的有限总和的整体目标函数，并结合了非平滑的正则化术语，以获得更好的泛化能力。分散的随机近端梯度（DSPG）方法通常用于培训这种类型的学习模型，而随机梯度的方差延迟了收敛速率。在本文中，我们提出了一种新颖的算法，即DPSVRG，通过利用方差减少技术来加速分散的训练。基本思想是在每个节点中引入估计器，该节点周期性地跟踪本地完整梯度，以校正每次迭代的随机梯度。通过将分散的算法转换为具有差异减少的集中内隙近端梯度算法，并控制错误序列的界限，我们证明了DPSVRG以o（1 / t）$的速率收敛于一般凸起目标加上非平滑术语以$ t $作为迭代的数量，而dspg以$ o（\ frac {1} {\ sqrt {t}}）$汇聚。我们对不同应用，网络拓扑和学习模型的实验表明，DPSVRG会收敛于DSPG的速度要快得多，DPSVRG的损耗功能与训练时期顺利降低。

分散的参与者 - 批评（AC）算法已被广泛用于多机构增强学习（MARL），并取得了杰出的成功。除了其经验成功之外，分散的AC算法的理论收敛性在很大程度上没有探索。现有的有限时间收敛结果是基于双环更新或两次尺度的步骤规则得出的，这在实际实施中不经常采用。在这项工作中，我们介绍了一种完全分散的AC算法，演员，评论家和全球奖励估算器以交替的方式更新，阶跃尺寸的顺序相同，即，我们采用\ emph {single-emph {single-timesscale}更新。从理论上讲，使用线性近似进行价值和奖励估计，我们表明我们的算法具有$ \ tilde {\ Mathcal {o}}}（\ epsilon^{ - 2}）$的样本复杂性，在马尔可夫式采样下与最佳复杂性相匹配双环实现（在此，$ \ tilde {\ Mathcal {o}} $隐藏了日志项）。样本复杂性可以提高到$ {\ Mathcal {o}}（\ epsilon^{ - 2}）$下的I.I.D.采样方案。建立我们的复杂性结果的核心是\ emph {我们揭示的最佳评论家变量的隐藏平滑度}。我们还提供了算法及其分析的本地动作隐私版本。最后，我们进行实验，以显示我们算法优于现有的分散AC算法的优势。

This paper studies the stochastic optimization for decentralized nonconvex-strongly-concave minimax problem. We propose a simple and efficient algorithm, called Decentralized Recursive gradient descEnt Ascent Method (DREAM), which requires $\mathcal{O}(\kappa^3\epsilon^{-3})$ stochastic first-order oracle (SFO) calls and $\mathcal{O}\big(\kappa^2\epsilon^{-2}/\sqrt{1-\lambda_2(W)}\,\big)$ communication rounds to find an $\epsilon$-stationary point, where $\kappa$ is the condition number and $\lambda_2(W)$ is the second-largest eigenvalue of the gossip matrix $W$. To the best our knowledge, DREAM is the first algorithm whose SFO and communication complexities simultaneously achieve the optimal dependency on $\epsilon$ and $\lambda_2(W)$ for this problem.

我们研究了随机近似的分散变体，这是一种数据驱动的方法，用于在嘈杂的测量中找到操作员的根。一个具有自己的操作员和数据观察的代理网络，合作地通过分散的通信图找到了聚合操作员的固定点。我们的主要贡献是在从马尔可夫过程中采样时在每个代理下观察到的数据时，对这种分散的随机近似方法提供有限的时间分析；这种缺乏独立性使迭代率偏向和（可能）无限。在相当标准的假设下，我们表明所提出方法的收敛速率与样本是独立的基本相同，仅由对数因子的差异而不同，该对数因素是说明了马尔可夫过程的混合时间。我们的分析中的关键思想是引入一种新型的Razumikhin-Lyapunov函数，该功能是由用于分析延迟普通微分方程的稳定性的一种动机。我们还讨论了拟议方法在多代理系统中许多有趣的学习问题上的应用。

Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax optimization problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax optimization problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}\kappa^3}{(1-\lambda)^2\epsilon^2})$ sample complexity and $O(\frac{\kappa^3}{(1-\lambda)^2\epsilon^2})$ communication complexity for the nonconvex-strongly-concave minimax optimization problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of problem. At last, we apply our method to optimize the AUC maximization problem and the experimental results confirm the effectiveness of our method.