联合学习（FL）是一种新兴的隐私保留分布式学习计划。由于型号大小和频繁的模型聚集，FL受到关键通信瓶颈。已经提出了许多技术来减少通信量，包括模型压缩和量化。现有的自适应量化方案使用升高趋势量化，其中量化水平随着训练阶段而增加。在本文中，我们制定了优化给定通信量的训练收敛速率的问题。结果表明，最佳的量化水平可以由两个因素，即训练丢失和模型更新范围表示，并且优选降低量化水平而不是增加。然后，我们提出了基于训练损耗和模型范围的两个降序量化方案。实验结果表明，与当前升序量化相比，建议的方案不仅可以减少通信量，而且还可以更快地收敛。

由于客户端的通信资源有限和大量的模型参数，大规模分布式学习任务遭受通信瓶颈。梯度压缩是通过传输压缩梯度来减少通信负载的有效方法。由于在随机梯度下降的情况下，相邻轮的梯度可能具有高相关，因为他们希望学习相同的模型，提出了一种用于联合学习的实用梯度压缩方案，它使用历史梯度来压缩梯度并且基于Wyner-Ziv编码但没有任何概率的假设。我们还在实时数据集上实现了我们的渐变量化方法，我们的方法的性能优于前一个方案。

在这项工作中，我们提出了FedSSO，这是一种用于联合学习的服务器端二阶优化方法（FL）。与以前朝这个方向的工作相反，我们在准牛顿方法中采用了服务器端近似，而无需客户的任何培训数据。通过这种方式，我们不仅将计算负担从客户端转移到服务器，而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证，并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。

联合学习（FL）算法通常在每个圆数（部分参与）大并且服务器的通信带宽有限时对每个轮子（部分参与）进行分数。近期对FL的收敛分析的作品专注于无偏见的客户采样，例如，随机均匀地采样，由于高度的系统异质性和统计异质性而均匀地采样。本文旨在设计一种自适应客户采样算法，可以解决系统和统计异质性，以最小化壁时钟收敛时间。我们获得了具有任意客户端采样概率的流动算法的新的遗传融合。基于界限，我们分析了建立了总学习时间和采样概率之间的关系，这导致了用于训练时间最小化的非凸优化问题。我们设计一种高效的算法来学习收敛绑定中未知参数，并开发低复杂性算法以大致解决非凸面问题。硬件原型和仿真的实验结果表明，与几个基线采样方案相比，我们所提出的采样方案显着降低了收敛时间。值得注意的是，我们的硬件原型的方案比均匀的采样基线花费73％，以达到相同的目标损失。

联合学习（FL）是一种在不获取客户私有数据的情况下培训全球模型的协同机器学习技术。 FL的主要挑战是客户之间的统计多样性，客户设备之间的计算能力有限，以及服务器和客户之间的过度沟通开销。为解决这些挑战，我们提出了一种通过最大化FEDMAC的相关性稀疏个性化联合学习计划。通过将近似的L1-norm和客户端模型与全局模型之间的相关性结合到标准流失函数中，提高了统计分集数据的性能，并且与非稀疏FL相比，网络所需的通信和计算负载减少。收敛分析表明，FEDMAC中的稀疏约束不会影响全球模型的收敛速度，理论结果表明，FEDMAC可以实现良好的稀疏个性化，这比基于L2-NOM的个性化方法更好。实验，我们展示了与最先进的个性化方法相比的这种稀疏个性化建筑的益处（例如，FEDMAC分别达到98.95％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，99.37％，高精度，FMNIST，CIFAR-100和非IID变体下的合成数据集）。

个性化联合学习（PFL）是一种新的联邦学习（FL）方法，可解决分布式用户设备（UES）生成的数据集的异质性问题。但是，大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能，这可能会导致严重的散乱问题，在这种情况下，训练时间大量延长了最慢的UE。为了解决这个问题，我们提出了一种半同步PFL算法，被称为半同步个性化的FederatedAveraging（Perfeds $^2 $），而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略，它不仅减轻了Straggler问题，而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上，可以使用分析解决方案解决带宽分配问题，并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比，验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。

Federated Learning是一种机器学习培训范式，它使客户能够共同培训模型而无需共享自己的本地化数据。但是，实践中联合学习的实施仍然面临许多挑战，例如由于重复的服务器 - 客户同步以及基于SGD的模型更新缺乏适应性，大型通信开销。尽管已经提出了各种方法来通过梯度压缩或量化来降低通信成本，并且提出了联合版本的自适应优化器（例如FedAdam）来增加适应性，目前的联合学习框架仍然无法立即解决上述挑战。在本文中，我们提出了一种具有理论融合保证的新型沟通自适应联合学习方法（FedCAMS）。我们表明，在非convex随机优化设置中，我们提出的fedcams的收敛率与$ o（\ frac {1} {\ sqrt {tkm}}）$与其非压缩的对应物相同。各种基准的广泛实验验证了我们的理论分析。

联合学习（FL）是一种新兴的范式，可实现对机器学习模型的大规模分布培训，同时仍提供隐私保证。在这项工作中，我们在将联合优化扩展到大节点计数时共同解决了两个主要的实际挑战：中央权威和单个计算节点之间紧密同步的需求以及中央服务器和客户端之间的传输成本较大。具体而言，我们提出了经典联合平均（FedAvg）算法的新变体，该算法支持异步通信和通信压缩。我们提供了一种新的分析技术，该技术表明，尽管有这些系统放松，但在合理的参数设置下，我们的算法基本上与FedAvg的最著名界限相匹配。在实验方面，我们表明我们的算法确保标准联合任务的快速实用收敛。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

当上行链路和下行链路通信都有错误时联合学习（FL）工作吗？通信噪音可以处理多少，其对学习性能的影响是什么？这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析，其包括完整和部分客户端参与，直接模型和模型差分传输，以及非独立和相同分布的（IID）本地数据集。这些分析表征了嘈杂通道的流动条件，使其具有与无通信错误的理想情况相同的融合行为。更具体地，为了保持FEDAVG的O（1 / T）具有完美通信的O（1 / T）收敛速率，应控制用于直接模型传输的上行链路和下行链路信噪比（SNR），使得它们被缩放为O（t ^ 2）其中T是通信轮的索引，但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降（SGD）是一个固有的噪声过程，并且可以容忍上行链路/下行链路通信噪声，只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。

Federated learning allows collaborative workers to solve a machine learning problem while preserving data privacy. Recent studies have tackled various challenges in federated learning, but the joint optimization of communication overhead, learning reliability, and deployment efficiency is still an open problem. To this end, we propose a new scheme named federated learning via plurality vote (FedVote). In each communication round of FedVote, workers transmit binary or ternary weights to the server with low communication overhead. The model parameters are aggregated via weighted voting to enhance the resilience against Byzantine attacks. When deployed for inference, the model with binary or ternary weights is resource-friendly to edge devices. We show that our proposed method can reduce quantization error and converges faster compared with the methods directly quantizing the model updates.

As a novel distributed learning paradigm, federated learning (FL) faces serious challenges in dealing with massive clients with heterogeneous data distribution and computation and communication resources. Various client-variance-reduction schemes and client sampling strategies have been respectively introduced to improve the robustness of FL. Among others, primal-dual algorithms such as the alternating direction of method multipliers (ADMM) have been found being resilient to data distribution and outperform most of the primal-only FL algorithms. However, the reason behind remains a mystery still. In this paper, we firstly reveal the fact that the federated ADMM is essentially a client-variance-reduced algorithm. While this explains the inherent robustness of federated ADMM, the vanilla version of it lacks the ability to be adaptive to the degree of client heterogeneity. Besides, the global model at the server under client sampling is biased which slows down the practical convergence. To go beyond ADMM, we propose a novel primal-dual FL algorithm, termed FedVRA, that allows one to adaptively control the variance-reduction level and biasness of the global model. In addition, FedVRA unifies several representative FL algorithms in the sense that they are either special instances of FedVRA or are close to it. Extensions of FedVRA to semi/un-supervised learning are also presented. Experiments based on (semi-)supervised image classification tasks demonstrate superiority of FedVRA over the existing schemes in learning scenarios with massive heterogeneous clients and client sampling.

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose Fed-Nova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

联合学习（FL）是一种机器学习范式，可从仍在设备上的分散数据中分发机器学习模型。尽管标准联合优化方法取得了成功，例如FL中的联邦平均（FedAvg），但在文献中，能源需求和硬件诱导的限制因素尚未得到足够的考虑。具体而言，对设备学习的基本需求是，根据整个联邦的能源需求和异质硬件设计，可以将经过训练的模型量化为各种位宽度。在这项工作中，我们介绍了多种联邦平均算法的多种变体，这些算法训练神经网络可靠地进行量化。这样的网络可以量化为各种位宽度，只有有限的精确模型精度降低有限。我们对标准FL基准测试进行了广泛的实验，以评估我们提出的FedAvg变体以量化稳健性，并为我们的fl中的量化变体提供收敛分析。我们的结果表明，整合量化鲁棒性会导致在量化的在设备推断期间，对不同的位宽度明显更健壮的FL模型。

Federated learning (FL) is an effective technique to directly involve edge devices in machine learning training while preserving client privacy. However, the substantial communication overhead of FL makes training challenging when edge devices have limited network bandwidth. Existing work to optimize FL bandwidth overlooks downstream transmission and does not account for FL client sampling. In this paper we propose GlueFL, a framework that incorporates new client sampling and model compression algorithms to mitigate low download bandwidths of FL clients. GlueFL prioritizes recently used clients and bounds the number of changed positions in compression masks in each round. Across three popular FL datasets and three state-of-the-art strategies, GlueFL reduces downstream client bandwidth by 27% on average and reduces training time by 29% on average.

联合学习（FL）引发了高通信开销，这可以通过压缩模型更新而大大缓解。然而，网络环境中压缩和模型精度之间的权衡仍不清楚，为简单起见，大多数实现仅采用固定压缩率。在本文中，我们首次系统地检查了该权衡，识别压缩误差对最终模型精度的影响，相对于学习率。具体而言，我们将每个全局迭代的压缩误差因其强大凸面和非凸损耗下的收敛速度分析。然后，我们通过策略性地调整每次迭代中的压缩速率来提高最终模型精度来最大化最终模型精度的适应框架。我们讨论了具有代表压缩算法的实用网络中框架的关键实施问题。对流行的MNIST和CIFAR-10数据集的实验证实，我们的解决方案有效地降低了网络流量，但在FL中保持了高模型精度。

在联合学习（FL）的新兴范式中，大量客户端（例如移动设备）用于在各自的数据上训练可能的高维模型。由于移动设备的带宽低，分散的优化方法需要将计算负担从那些客户端转移到计算服务器，同时保留隐私和合理的通信成本。在本文中，我们专注于深度，如多层神经网络的培训，在FL设置下。我们提供了一种基于本地模型的层状和维度更新的新型联合学习方法，减轻了非凸起和手头优化任务的多层性质的新型联合学习方法。我们为Fed-Lamb提供了一种彻底的有限时间收敛性分析，表征其渐变减少的速度有多速度。我们在IID和非IID设置下提供实验结果，不仅可以证实我们的理论，而且与最先进的方法相比，我们的方法的速度更快。

联合学习（FL）使多个设备能够在不共享其个人数据的情况下协作学习全局模型。在现实世界应用中，不同的各方可能具有异质数据分布和有限的通信带宽。在本文中，我们有兴趣提高FL系统的通信效率。我们根据梯度规范的重要性调查和设计设备选择策略。特别是，我们的方法包括在每个通信轮中选择具有最高梯度值的最高规范的设备。我们研究了这种选择技术的收敛性和性能，并将其与现有技术进行比较。我们用非IID设置执行几个实验。结果显示了我们的方法的收敛性，与随机选择比较的测试精度相当大。

本文研究了与参数服务器的个人任意交流模式的异步联合学习（FL）。我们提出了FedMobile，这是一种新的异步FL算法，可利用移动FL系统的移动性属性来提高学习性能。关键想法是利用移动网络中的随机客户对客户通信，通过上传和下载继电器与服务器创建其他间接通信机会。我们证明了FedMobile实现了收敛率$ o（\ frac {1} {\ sqrt {nt}}）$，其中$ n $是客户端的数量，$ t $是通信插槽的数量，并显示该显示的是最佳设计涉及在接力的最佳时机上进行有趣的权衡。我们的分析表明，随着迁移率的增加，异步FL使用FEDMOBILE会更快地收敛。实验结果在合成数据集和两个现实世界数据集上验证了我们的理论发现。

联合学习（FL）是一种强大的技术，用于以隐私保留方式从来自多个客户端的数据训练服务器上的模型。在FL中，服务器将模型发送到每个客户端，然后在本地培训模型并将其发送回服务器。服务器聚合更新的模型，并重复几轮的过程。 FL突出了显着的通信成本，特别是在将更新的本地模型从客户端发送回服务器时。最近提出的算法量化了模型参数，以有效地压缩流动。这些算法通常具有控制压缩因子的量化水平。我们发现量化水平的动态调整可以促进压缩而不会牺牲模型质量。首先，我们介绍了一种时间自适应量化算法，其随着训练的进展而增加量化级别。其次，我们介绍了一种客户自适应量化算法，该算法在每一轮中分配每个单独的客户端最佳量化级别。最后，我们将这两种算法与双自适应量化算法相结合。我们的实验表明，DadaQuant一贯改善客户$ \ lightarrow $服务器压缩，优于最强的非自适应基线，最高可达2.8美元。