本文着重于通过分散网络的在线内核学习。网络中的每个代理都会在本地接收连续流数据，并协同工作以学习一个非线性预测函数，该功能在复制的内核希尔伯特空间中相对于所有代理的总瞬时成本而言是最佳的。为了规避传统在线内核学习中维度问题的诅咒，我们利用随机功能（RF）映射将非参数内核学习问题转换为RF空间中的固定长度参数。然后，我们建议通过线性化ADMM（ODKLA）有效地解决在线分散的内核内核学习问题，提出一个名为在线分散内核学习的新颖学习框架。为了进一步提高沟通效率，我们在通信阶段添加了量化和审查策略，并开发了量化和通信的ODKLA（QC-ODKLA）算法。从理论上讲，我们证明了Odkla和Qc-odkla都可以在$ t $ time插槽上实现最佳的Sublinear后悔$ \ Mathcal {O}（\ sqrt {t}）$。通过数值实验，我们评估了所提出方法的学习效率，沟通和计算效率。

我们考虑一个多代理网络，其中每个节点具有随机（本地）成本函数，这取决于该节点的决策变量和随机变量，并且进一步的相邻节点的判定变量是成对受约束的。网络具有总体目标函数，其在节点处的本地成本函数的预期值ack，以及网络的总体目标是将该聚合目标函数的最小化解决方案最小化为所有成对约束。这将在节点级别使用分散的信息和本地计算来实现，其中仅具有相邻节点允许的压缩信息的交换。该文件开发算法，并在节点上获得两个不同型号的本地信息可用性模型的性能界限：（i）样本反馈，其中每个节点可以直接访问局部随机变量的样本，以评估其本地成本，（ii）babrit反馈，其中无随机变量的样本不可用，但只有每个节点可用的两个随机点处的本地成本函数的值可用。对于两种模型，具有邻居之间的压缩通信，我们开发了分散的骑马点算法，从没有通信压缩的那些没有不同（符号意义）的表现;具体而言，我们表明，与全局最小值和违反约束的偏差是由$ \ mathcal {o}的大约限制（t ^ { - \ frac {1} {2}}）$和$ \ mathcal {o} （t ^ { - \ frac {1} {4}}）分别为$ t $是迭代次数。本文中提供的数值例子证实了这些界限并证明了所提出的方法的通信效率。

这项工作审查了旨在在通信约束下运行的自适应分布式学习策略。我们考虑一个代理网络，必须从持续观察流数据来解决在线优化问题。代理商实施了分布式合作策略，其中允许每个代理商与其邻居执行本地信息交换。为了应对通信约束，必须不可避免地压缩交换信息。我们提出了一种扩散策略，昵称为ACTC（适应 - 压缩 - 然后组合），其依赖于以下步骤：i）每个代理执行具有恒定步长大小的单独随机梯度更新的适应步骤; ii）一种压缩步骤，它利用最近引入的随机压缩操作员;和III）每个代理组合从其邻居接收的压缩更新的组合步骤。这项工作的区别要素如下。首先，我们专注于自适应策略，其中常数（而不是递减）阶梯大小对于实时响应非间断变化至关重要。其次，我们考虑一般的指导图表和左随机组合政策，使我们能够增强拓扑和学习之间的相互作用。第三，与对所有个人代理的成本职能承担强大的凸起的相关作品相比，我们只需要在网络水平的强大凸起，即使单个代理具有强凸的成本，剩余的代理商也不满足凸起成本。第四，我们专注于扩散（而不是共识）战略。在压缩信息的苛刻设置下，建立ACTC迭代在所需的优化器周围波动，在相邻代理之间交换的比特方面取得了显着的节省。

在线联合学习（OFL）是一个有前途的框架，可以协作学习一系列非线性功能（或模型），从分布式流数据传入到多个客户端，同时保留其本地数据的隐私。在此框架中，我们首先通过将在线梯度下降（OGD）纳入事实汇总方法（命名为fedAvg），首先构建一种香草方法（命名为ofedavg）。尽管具有最佳的渐近性能，但OFEDAVG还是遭受了大量的沟通开销和长期学习延迟。为了解决这些缺点，我们通过随机量化和间歇性传播提出了一种通信效率OFL算法（命名为OfeDQIT）。我们对理论上的主要贡献是证明，超过$ t $ time插槽可以实现最佳的sublinear遗憾绑定$ \ mathcal {o} {o}（\ sqrt {t}）$用于任何真实数据（包括非IID数据），同时大大降低沟通开销。此外，即使在网络中一次参与网络中的一小部分客户（处理时间更快和高质量的通信渠道），仍然可以保证这种最优性。我们的分析表明，OFEDQIT成功地解决了OFEDAVG的缺点，同时保持了卓越的学习准确性。使用真实数据集的实验证明了我们的算法对各种在线分类和回归任务的有效性。

我们研究了多智能经纪增强学习的政策评估问题，其中一组代理商，共同观察到的国家和私人本地行动和奖励，协作，以通过连接的无向网络通过本地计算和通信学习给定策略的价值函数。各种大型多种代理系统中出现此问题，包括电网，智能交通系统，无线传感器网络和多代理机器人。当状态动作空间的尺寸大时，广泛使用具有线性函数近似的时间差异学习。在本文中，我们开发了一种新的分布式时间差异学习算法，量化其有限时间性能。我们的算法将分布式随机原始方法与基于同型的方法进行了自适应调整学习率的方法，以便通过从因果导轨轨迹中采用新鲜的在线样本来最小化平均投影的Bellman误差。我们明确考虑了采样的Markovian性质，并改善了从$ O（1 / \ sqrt {t}）$到〜$ o（1 / t）$的最佳已知的有限时间误差，其中$ t $迭代的总数。

牛顿型方法由于其快速收敛而在联合学习中很受欢迎。尽管如此，由于要求将Hessian信息从客户发送到参数服务器（PS），因此他们遭受了两个主要问题：沟通效率低下和较低的隐私性。在这项工作中，我们介绍了一个名为Fednew的新颖框架，其中无需将Hessian信息从客户传输到PS，因此解决了瓶颈以提高沟通效率。此外，与现有的最新技术相比，Fednew隐藏了梯度信息，并导致具有隐私的方法。 Fednew中的核心小说想法是引入两个级别的框架，并在仅使用一种交替的乘数方法（ADMM）步骤更新逆Hessian级别产品之间，然后使用Newton的方法执行全局模型更新。尽管在每次迭代中只使用一个ADMM通行证来近似逆Hessian梯度产品，但我们开发了一种新型的理论方法来显示Fednew在凸问题上的融合行为。此外，通过利用随机量化，可以显着减少通信开销。使用真实数据集的数值结果显示了与现有方法相比，在通信成本方面，Fednew的优越性。

通过使多个代理在缺乏中央协调员的情况下合作解决全球优化问题，分散的随机优化在像机器学习，控制和传感器网络这样的多种多样的领域中，人们的注意力越来越多。由于相关数据通常包含敏感信息，例如用户位置和个人身份，因此在实施分散的随机优化时，隐私保护已成为至关重要的需求。在本文中，我们提出了一种分散的随机优化算法，即使在存在与量化幅度成正比的积极量化误差的情况下，该算法也能够保证可证明的收敛精度。该结果同时适用于凸面和非凸目标函数，使我们能够利用积极的量化方案来混淆共享信息，因此可以在不失去可证明的优化精度的情况下进行隐私保护。实际上，通过使用将任何值量化为三个数值级别的任何值的{随机}三元量化方案，我们在分散的随机优化中实现了基于量化的严格差异隐私，以前尚未报告。结合提出的量化方案，提出的算法首次确保了分散的随机优化中的严格差异隐私，而不会失去可证明的收敛精度。分布式估计问题以及基准计算机学习数据集上分散学习的数值实验的仿真结果证实了所提出方法的有效性。

Decentralized bilevel optimization has received increasing attention recently due to its foundational role in many emerging multi-agent learning paradigms (e.g., multi-agent meta-learning and multi-agent reinforcement learning) over peer-to-peer edge networks. However, to work with the limited computation and communication capabilities of edge networks, a major challenge in developing decentralized bilevel optimization techniques is to lower sample and communication complexities. This motivates us to develop a new decentralized bilevel optimization called DIAMOND (decentralized single-timescale stochastic approximation with momentum and gradient-tracking). The contributions of this paper are as follows: i) our DIAMOND algorithm adopts a single-loop structure rather than following the natural double-loop structure of bilevel optimization, which offers low computation and implementation complexity; ii) compared to existing approaches, the DIAMOND algorithm does not require any full gradient evaluations, which further reduces both sample and computational complexities; iii) through a careful integration of momentum information and gradient tracking techniques, we show that the DIAMOND algorithm enjoys $\mathcal{O}(\epsilon^{-3/2})$ in sample and communication complexities for achieving an $\epsilon$-stationary solution, both of which are independent of the dataset sizes and significantly outperform existing works. Extensive experiments also verify our theoretical findings.

在本文中，我们考虑了分散的优化问题，在这些问题中，代理具有个人成本函数，以最大程度地减少受到子空间约束的约束，这些子空间约束需要整个网络的最小化器才能位于低维子空间中。这种约束的公式包括共识或单任务优化作为特殊情况，并允许更一般的任务相关性模型，例如多任务平滑度和耦合优化。为了应对沟通限制，我们提出并研究一种自适应分散策略，在该策略中，代理人在与邻居进行交流之前，使用差异随机量化器来压缩其估计。分析表明，在量化噪声的某些一般条件下，对于足够小的步长$ \ mu $，该策略在均方误差和平均比特率方面都是稳定的：通过减少$ \ mu $，可以将估计错误保持较小（按$ \ mu $）保持较小，而不会无限地增加比特率为$ \ mu \ rightarrow 0 $。模拟说明了理论发现和提议方法的有效性，表明可以实现分散学习，但仅需少量。

Bilevel programming has recently received attention in the literature, due to a wide range of applications, including reinforcement learning and hyper-parameter optimization. However, it is widely assumed that the underlying bilevel optimization problem is solved either by a single machine or in the case of multiple machines connected in a star-shaped network, i.e., federated learning setting. The latter approach suffers from a high communication cost on the central node (e.g., parameter server) and exhibits privacy vulnerabilities. Hence, it is of interest to develop methods that solve bilevel optimization problems in a communication-efficient decentralized manner. To that end, this paper introduces a penalty function based decentralized algorithm with theoretical guarantees for this class of optimization problems. Specifically, a distributed alternating gradient-type algorithm for solving consensus bilevel programming over a decentralized network is developed. A key feature of the proposed algorithm is to estimate the hyper-gradient of the penalty function via decentralized computation of matrix-vector products and few vector communications, which is then integrated within our alternating algorithm to give the finite-time convergence analysis under different convexity assumptions. Owing to the generality of this complexity analysis, our result yields convergence rates for a wide variety of consensus problems including minimax and compositional optimization. Empirical results on both synthetic and real datasets demonstrate that the proposed method works well in practice.

在分散的学习中，节点网络协作以最小化通常是其本地目标的有限总和的整体目标函数，并结合了非平滑的正则化术语，以获得更好的泛化能力。分散的随机近端梯度（DSPG）方法通常用于培训这种类型的学习模型，而随机梯度的方差延迟了收敛速率。在本文中，我们提出了一种新颖的算法，即DPSVRG，通过利用方差减少技术来加速分散的训练。基本思想是在每个节点中引入估计器，该节点周期性地跟踪本地完整梯度，以校正每次迭代的随机梯度。通过将分散的算法转换为具有差异减少的集中内隙近端梯度算法，并控制错误序列的界限，我们证明了DPSVRG以o（1 / t）$的速率收敛于一般凸起目标加上非平滑术语以$ t $作为迭代的数量，而dspg以$ o（\ frac {1} {\ sqrt {t}}）$汇聚。我们对不同应用，网络拓扑和学习模型的实验表明，DPSVRG会收敛于DSPG的速度要快得多，DPSVRG的损耗功能与训练时期顺利降低。

This paper considers the distributed online convex optimization problem with time-varying constraints over a network of agents. This is a sequential decision making problem with two sequences of arbitrarily varying convex loss and constraint functions. At each round, each agent selects a decision from the decision set, and then only a portion of the loss function and a coordinate block of the constraint function at this round are privately revealed to this agent. The goal of the network is to minimize the network-wide loss accumulated over time. Two distributed online algorithms with full-information and bandit feedback are proposed. Both dynamic and static network regret bounds are analyzed for the proposed algorithms, and network cumulative constraint violation is used to measure constraint violation, which excludes the situation that strictly feasible constraints can compensate the effects of violated constraints. In particular, we show that the proposed algorithms achieve $\mathcal{O}(T^{\max\{\kappa,1-\kappa\}})$ static network regret and $\mathcal{O}(T^{1-\kappa/2})$ network cumulative constraint violation, where $T$ is the time horizon and $\kappa\in(0,1)$ is a user-defined trade-off parameter. Moreover, if the loss functions are strongly convex, then the static network regret bound can be reduced to $\mathcal{O}(T^{\kappa})$. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

在本文中，我们处理了一个通用分布式约束的在线学习问题，并在随着时间变化的网络上进行了隐私，其中考虑了一类不可分配的目标功能。在此设置下，每个节点仅控制全球决策变量的一部分，所有节点的目标是在时间范围内协作最小化全球目标，同时保证传输信息的安全性。对于此类问题，我们首先设计了一种新颖的通用算法框架，称为DPSDA，使用Laplace机制和双重平均方法的随机变体进行了差异性私有分布式在线学习。然后，我们建议在此框架下提出两种算法，称为DPSDA-C和DPSDA-PS。理论结果表明，两种算法都达到了预期的遗憾上度上限$ \ MATHCAL {O}（\ sqrt {t}）$当目标函数是凸的时，它符合通过切割边缘算法来实现的最佳效用。最后，数值实验在现实世界和随机生成的数据集上都验证了我们算法的有效性。

本文涉及一种计算代理网络，旨在以分布式方式解决在线优化问题，即通过本地计算和通信，没有任何中央协调员。我们提出了具有自适应动量估计（GTADAM）分布式算法的梯度跟踪，其将梯度跟踪机制与梯度的第一和二阶动量估计相结合。该算法在线设置中分析了具有Lipschitz连续梯度的强凸起成本函数的在线设置。我们为动态遗憾提供了一个与初始条件相关的术语的动态遗憾的上限，以及与客观函数的时间变化有关的另一个术语。此外，在静态设置中保证了线性收敛速率。在从图像分类中，在（移动）目标定位问题上和随机优化设置中的时变分类问题测试该算法。在来自多智能经验学习的这些数值实验中，GTADAM优于最先进的分布式优化方法。

遗憾已被广泛用作评估分布式多代理系统在线优化算法的性能的首选指标。但是，与代理相关的数据/模型变化可以显着影响决策，并需要在代理之间达成共识。此外，大多数现有的作品都集中在开发（强烈或非严格地）凸出的方法上，对于一般非凸损失的分布式在线优化中的遗憾界限，几乎没有得到很少的结果。为了解决这两个问题，我们提出了一种新型的综合遗憾，并使用新的基于网络的基于遗憾的度量标准来评估分布式在线优化算法。我们具体地定义了复合遗憾的静态和动态形式。通过利用我们的综合遗憾的动态形式，我们开发了一种基于共识的在线归一化梯度（CONGD）的伪convex损失方法，事实证明，它显示了与最佳器路径变化的规律性术语有关的透明性行为。对于一般的非凸损失，我们首先阐明了基于最近进步的分布式在线非凸学习的遗憾，因此没有确定性算法可以实现sublinear的遗憾。然后，我们根据离线优化的Oracle开发了分布式的在线非凸优化（Dinoco），而无需进入梯度。迪诺科（Dinoco）被证明是统一的遗憾。据我们所知，这是对一般分布在线非convex学习的第一个遗憾。

我们考虑使用一组并行代理和参数服务器分发在线MIN-MAX资源分配。我们的目标是最大限度地减少一组时变的凸起和降低成本函数的点最大值，而无需先验信息。我们提出了一种新的在线算法，称为分布式在线资源重新分配（DORA），其中非贸易人员学会通过陷入拖放者释放资源和共享资源。与大多数现有的在线优化策略不同，Dora的一个值得注意的特征是它不需要梯度计算或投影操作。这允许它基本上减少大规模和分布式网络中的计算开销。我们表明，所提出的算法的动态遗憾是由$ o lex的上限（t ^ {\ frac {3} {4}}（1 + p_t）^ {\ frac {1} {4} \右） $，$ t $是轮次的总数，$ p_t $是瞬时最小化器的路径长度。我们进一步考虑在分布式在线机器学习中的带宽分配问题的应用程序。我们的数值研究证明了所提出的解决方案及其性能优势在减少壁钟时间的基于梯度和/或投影的资源分配算法中的功效。

非平滑的有限和最小化是机器学习中的一个基本问题。本文开发了一种具有随机重新洗牌的分布式随机近端梯度算法，以解决随着时变多代理网络的有限和最小化。目标函数是可分辨率凸起功能的总和和非平滑的正则化。网络中的每个代理通过本地信息更新具有恒定步长大小的局部变量，并协作以寻求最佳解决方案。我们证明了所提出的算法产生的局部变量估计实现共识，并且与$ \ mathcal {o}（\ frac {1} {t} + \ frac {1} {\SQRT {T}}）$收敛率。此外，本文通过选择足够的阶梯尺寸，可以任意地小的目标函数的稳态误差。最后，提供了一些比较仿真来验证所提出的算法的收敛性能。

数据爆炸和模型尺寸的增加推动了大规模机器学习的显着进步，但也使模型训练时间耗时和模型存储变得困难。为了解决具有较高计算效率和设备限制的分布式模型培训设置中的上述问题，仍然存在两个主要困难。一方面，交换信息的沟通成本，例如，不同工人之间的随机梯度是分布式培训效率的关键瓶颈。另一方面，较少的参数模型容易用于存储和通信，但是损坏模型性能的风险。为了同时平衡通信成本，模型容量和模型性能，我们提出了量化的复合镜下降自适应亚基（QCMD Adagrad），并量化正规化双平均平均自适应亚级别（QRDA ADAGRAD）进行分布式培训。具体来说，我们探讨了梯度量化和稀疏模型的组合，以降低分布式培训中每次迭代的通信成本。构建了基于量化梯度的自适应学习率矩阵，以在沟通成本，准确性和模型稀疏性之间达到平衡。此外，从理论上讲，我们发现大量化误差会引起额外的噪声，从而影响模型的收敛性和稀疏性。因此，在QCMD Adagrad和QRDA Adagrad中采用了具有相对较小误差的阈值量化策略，以提高信噪比并保留模型的稀疏性。理论分析和经验结果都证明了所提出的算法的功效和效率。

机器学习已开始在许多应用中发挥核心作用。这些应用程序中的许多应用程序通常还涉及由于设计约束（例如多元系统）或计算/隐私原因（例如，在智能手机数据上学习），这些数据集分布在多个计算设备/机器上。这样的应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界中的分散设置中，由于设备故障，网络攻击等，节点容易出现未发现的故障，这可能会崩溃非稳固的学习算法。本文的重点是在发生拜占庭失败的节点的存在下对分散学习的鲁棒化。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最健壮的算法的设计。但是，与分布式学习相反，对分散学习中拜占庭式的弹性的研究仍处于起步阶段。特别是，现有的拜占庭式分散学习方法要么不能很好地扩展到大规模的机器学习模型，要么缺乏统计收敛性可确保有助于表征其概括错误。在本文中，引入了一个可扩展的，拜占庭式的分散的机器学习框架，称为拜占庭的分散梯度下降（桥梁）。本文中还提供了强烈凸出问题和一类非凸问题的算法和统计收敛保证。此外，使用大规模的分散学习实验来确定桥梁框架是可扩展的，并且为拜占庭式弹性凸和非convex学习提供了竞争结果。

Privacy protection and nonconvexity are two challenging problems in decentralized optimization and learning involving sensitive data. Despite some recent advances addressing each of the two problems separately, no results have been reported that have theoretical guarantees on both privacy protection and saddle/maximum avoidance in decentralized nonconvex optimization. We propose a new algorithm for decentralized nonconvex optimization that can enable both rigorous differential privacy and saddle/maximum avoiding performance. The new algorithm allows the incorporation of persistent additive noise to enable rigorous differential privacy for data samples, gradients, and intermediate optimization variables without losing provable convergence, and thus circumventing the dilemma of trading accuracy for privacy in differential privacy design. More interestingly, the algorithm is theoretically proven to be able to efficiently { guarantee accuracy by avoiding} convergence to local maxima and saddle points, which has not been reported before in the literature on decentralized nonconvex optimization. The algorithm is efficient in both communication (it only shares one variable in each iteration) and computation (it is encryption-free), and hence is promising for large-scale nonconvex optimization and learning involving high-dimensional optimization parameters. Numerical experiments for both a decentralized estimation problem and an Independent Component Analysis (ICA) problem confirm the effectiveness of the proposed approach.