个性化联合学习(PFL)是一种新的联邦学习(FL)方法,可解决分布式用户设备(UES)生成的数据集的异质性问题。但是,大多数现有的PFL实现都依赖于同步培训来确保良好的收敛性能,这可能会导致严重的散乱问题,在这种情况下,训练时间大量延长了最慢的UE。为了解决这个问题,我们提出了一种半同步PFL算法,被称为半同步个性化的FederatedAveraging(Perfeds $^2 $),而不是移动边缘网络。通过共同优化无线带宽分配和UE调度策略,它不仅减轻了Straggler问题,而且还提供了收敛的培训损失保证。我们根据每回合的参与者数量和回合数量来得出Perfeds2收敛速率的上限。在此基础上,可以使用分析解决方案解决带宽分配问题,并且可以通过贪婪算法获得UE调度策略。实验结果与同步和异步PFL算法相比,验证了Perfeds2在节省训练时间和保证训练损失的收敛方面的有效性。
translated by 谷歌翻译
联邦元学习(FML)已成为应对当今边缘学习竞技场中的数据限制和异质性挑战的承诺范式。然而,其性能通常受到缓慢的收敛性和相应的低通信效率的限制。此外,由于可用的无线电频谱和物联网设备的能量容量通常不足,因此在在实际无线网络中部署FML时,控制资源分配和能量消耗是至关重要的。为了克服挑战,在本文中,我们严格地分析了每个设备对每轮全球损失减少的贡献,并使用非统一的设备选择方案开发FML算法(称为Nufm)以加速收敛。之后,我们制定了集成NuFM在多通道无线系统中的资源分配问题,共同提高收敛速率并最小化壁钟时间以及能量成本。通过逐步解构原始问题,我们设计了一个联合设备选择和资源分配策略,以解决理论保证问题。此外,我们表明Nufm的计算复杂性可以通过$ O(d ^ 2)$至$ o(d)$(使用模型维度$ d $)通过组合两个一阶近似技术来降低。广泛的仿真结果表明,与现有基线相比,所提出的方法的有效性和优越性。
translated by 谷歌翻译
有限的通信资源,例如带宽和能源以及设备之间的数据异质性是联合学习的两个主要瓶颈(FL)。为了应对这些挑战,我们首先使用部分模型聚合(PMA)设计了一个新颖的FL框架,该框架仅汇总负责特征提取的神经网络的下层,而与复杂模式识别相对应的上层仍保留在个性化设备上。提出的PMA-FL能够解决数据异质性并减少无线通道中的传输信息。然后,我们在非convex损耗函数设置下获得了框架的收敛结合。借助此界限,我们定义了一个新的目标函数,名为“计划数据样本量”,以将原始的不明智优化问题转移到可用于设备调度,带宽分配,计算和通信时间分配的可拖动问题中。我们的分析表明,当PMA-FL的沟通和计算部分具有相同的功率时,可以实现最佳时段。我们还开发了一种二级方法来解决最佳带宽分配策略,并使用SET扩展算法来解决最佳设备调度。与最先进的基准测试相比,提议的PMA-FL在两个典型的异质数据集(即Minist和CIFAR-10)上提高了2.72%和11.6%的精度。此外,提出的联合动态设备调度和资源优化方法的精度比考虑的基准略高,但它们提供了令人满意的能量和时间缩短:MNIST的29%能量或20%的时间缩短; CIFAR-10的能量和25%的能量或12.5%的时间缩短。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
Federated Learning (FL) is a collaborative machine learning (ML) framework that combines on-device training and server-based aggregation to train a common ML model among distributed agents. In this work, we propose an asynchronous FL design with periodic aggregation to tackle the straggler issue in FL systems. Considering limited wireless communication resources, we investigate the effect of different scheduling policies and aggregation designs on the convergence performance. Driven by the importance of reducing the bias and variance of the aggregated model updates, we propose a scheduling policy that jointly considers the channel quality and training data representation of user devices. The effectiveness of our channel-aware data-importance-based scheduling policy, compared with state-of-the-art methods proposed for synchronous FL, is validated through simulations. Moreover, we show that an "age-aware" aggregation weighting design can significantly improve the learning performance in an asynchronous FL setting.
translated by 谷歌翻译
联合学习(FL)使移动设备能够在保留本地数据的同时协作学习共享的预测模型。但是,实际上在移动设备上部署FL存在两个主要的研究挑战:(i)频繁的无线梯度更新v.s.频谱资源有限,以及(ii)培训期间渴望的FL通信和本地计算V.S.电池约束的移动设备。为了应对这些挑战,在本文中,我们提出了一种新型的多位空天空计算(MAIRCOMP)方法,用于FL中本地模型更新的频谱有效聚合,并进一步介绍用于移动的能源有效的FL设计设备。具体而言,高精度数字调制方案是在MAIRCOMP中设计和合并的,允许移动设备同时在多访问通道中同时在所选位置上传模型更新。此外,我们理论上分析了FL算法的收敛性。在FL收敛分析的指导下,我们制定了联合传输概率和局部计算控制优化,旨在最大程度地减少FL移动设备的总体能源消耗(即迭代局部计算 +多轮通信)。广泛的仿真结果表明,我们提出的方案在频谱利用率,能源效率和学习准确性方面优于现有计划。
translated by 谷歌翻译
In Federated Learning, we aim to train models across multiple computing units (users), while users can only communicate with a common central server, without exchanging their data samples. This mechanism exploits the computational power of all users and allows users to obtain a richer model as their models are trained over a larger set of data points. However, this scheme only develops a common output for all the users, and, therefore, it does not adapt the model to each user. This is an important missing feature, especially given the heterogeneity of the underlying data distribution for various users. In this paper, we study a personalized variant of the federated learning in which our goal is to find an initial shared model that current or new users can easily adapt to their local dataset by performing one or a few steps of gradient descent with respect to their own data. This approach keeps all the benefits of the federated learning architecture, and, by structure, leads to a more personalized model for each user. We show this problem can be studied within the Model-Agnostic Meta-Learning (MAML) framework. Inspired by this connection, we study a personalized variant of the well-known Federated Averaging algorithm and evaluate its performance in terms of gradient norm for non-convex loss functions. Further, we characterize how this performance is affected by the closeness of underlying distributions of user data, measured in terms of distribution distances such as Total Variation and 1-Wasserstein metric.Recently, the idea of personalization in FL and its connections with MAML has gained a lot of attention. In particular, [32] considers a formulation and algorithm similar to our paper, and elaborates
translated by 谷歌翻译
联合学习(FL)算法通常在每个圆数(部分参与)大并且服务器的通信带宽有限时对每个轮子(部分参与)进行分数。近期对FL的收敛分析的作品专注于无偏见的客户采样,例如,随机均匀地采样,由于高度的系统异质性和统计异质性而均匀地采样。本文旨在设计一种自适应客户采样算法,可以解决系统和统计异质性,以最小化壁时钟收敛时间。我们获得了具有任意客户端采样概率的流动算法的新的遗传融合。基于界限,我们分析了建立了总学习时间和采样概率之间的关系,这导致了用于训练时间最小化的非凸优化问题。我们设计一种高效的算法来学习收敛绑定中未知参数,并开发低复杂性算法以大致解决非凸面问题。硬件原型和仿真的实验结果表明,与几个基线采样方案相比,我们所提出的采样方案显着降低了收敛时间。值得注意的是,我们的硬件原型的方案比均匀的采样基线花费73%,以达到相同的目标损失。
translated by 谷歌翻译
Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.
translated by 谷歌翻译
联合学习(FL)是一个带有边缘计算的充填地的新兴分布式机器学习范式,是具有在移动边缘设备上具有新颖应用的有前途的区域。在FL中,由于移动设备通过共享模型更新,因此在中央服务器的协调下基于其自身的数据进行组合培训模型,培训数据保持私密。但是,在没有数据的核心可用性的情况下,计算节点需要经常传送模型更新以获得汇聚。因此,本地计算时间与将本地模型更新一起创建本地模型更新以及从服务器发送到服务器的时间导致总时间的延迟。此外,不可靠的网络连接可以妨碍这些更新的有效通信。为了解决这些问题,我们提出了一个延迟有效的流动机制,可以减少模型融合所需的总时间(包括计算和通信延迟)和通信轮。探索各种参数对延迟的影响,我们寻求平衡无线通信(谈话)和本地计算之间的权衡(为工作)。我们与整体时间作为优化问题制定了关系,并通过广泛的模拟展示了我们方法的功效。
translated by 谷歌翻译
当上行链路和下行链路通信都有错误时联合学习(FL)工作吗?通信噪音可以处理多少,其对学习性能的影响是什么?这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析,其包括完整和部分客户端参与,直接模型和模型差分传输,以及非独立和相同分布的(IID)本地数据集。这些分析表征了嘈杂通道的流动条件,使其具有与无通信错误的理想情况相同的融合行为。更具体地,为了保持FEDAVG的O(1 / T)具有完美通信的O(1 / T)收敛速率,应控制用于直接模型传输的上行链路和下行链路信噪比(SNR),使得它们被缩放为O(t ^ 2)其中T是通信轮的索引,但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降(SGD)是一个固有的噪声过程,并且可以容忍上行链路/下行链路通信噪声,只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。
translated by 谷歌翻译
预计未来的无线网络将支持各种移动服务,包括人工智能(AI)服务和无处不在的数据传输。联合学习(FL)作为一种革命性的学习方法,可以跨分布式移动边缘设备进行协作AI模型培训。通过利用多访问通道的叠加属性,无线计算允许同时通过同一无线电资源从大型设备上传,因此大大降低了FL的通信成本。在本文中,我们研究了移动边缘网络中的无线信息和传统信息传输(IT)的共存。我们提出了一个共存的联合学习和信息传输(CFLIT)通信框架,其中FL和IT设备在OFDM系统中共享无线频谱。在此框架下,我们旨在通过优化长期无线电资源分配来最大化IT数据速率并确保给定的FL收敛性能。限制共存系统频谱效率的主要挑战在于,由于服务器和边缘设备之间的频繁通信以进行FL模型聚合,因此发生的大开销。为了应对挑战,我们严格地分析了计算与通信比对无线褪色通道中无线FL融合的影响。该分析揭示了存在最佳计算与通信比率的存在,该比率最大程度地降低了空中FL所需的无线电资源量,以收敛到给定的错误公差。基于分析,我们提出了一种低复杂性在线算法,以共同优化FL设备和IT设备的无线电资源分配。广泛的数值模拟验证了FL和IT设备在无线蜂窝系统中共存的拟议设计的出色性能。
translated by 谷歌翻译
Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.
translated by 谷歌翻译
联合学习(FL)是一种新颖的学习范式,可解决集中学习的隐私泄漏挑战。但是,在FL中,具有非独立和相同分布(非IID)特征的用户可能会恶化全局模型的性能。具体而言,由于非IID数据,全局模型受到权重差异的挑战。为了应对上述挑战,我们提出了机器学习(ML)模型(FIDDIF)的新型扩散策略,以通过非IID数据最大化FL性能。在FedDif中,用户通过D2D通信将本地模型传播给相邻用户。 FedDif使本地模型能够在参数聚合之前体验不同的分布。此外,从理论上讲,我们证明了FedDif可以规避体重差异挑战。在理论的基础上,我们提出了ML模型的沟通效率扩散策略,该策略可以决定基于拍卖理论的学习绩效和沟通成本之间的权衡。绩效评估结果表明,与非IID设置相比,FedDIF将全球模型的测试准确性提高了11%。此外,与最新方法相比
translated by 谷歌翻译
联邦边缘学习(诱导)吸引了许多隐私范例的关注,以有效地纳入网络边缘的分布式数据来训练深度学习模型。然而,单个边缘服务器的有限覆盖范围导致参与者的客户节点数量不足,这可能会损害学习性能。在本文中,我们调查了一种新颖的感觉框架,即半分散的联邦边缘学习(SD-INES),其中采用多个边缘服务器集体协调大量客户端节点。通过利用边缘服务器之间的低延迟通信进行高效的模型共享,SD-Feels可以包含更多的培训数据,同时与传统联合学习相比享受更低的延迟。我们详细介绍了三个主要步骤的SD感觉的培训算法,包括本地模型更新,群集内部和群集间模型聚合。在非独立和相同分布的(非IID)数据上证明了该算法的收敛性,这也有助于揭示关键参数对培训效率的影响,并提供实用的设计指南。同时,边缘装置的异质性可能导致级体效应并降低SD感应的收敛速度。为了解决这个问题,我们提出了一种具有SD-Iave的稳定性舒长方案的异步训练算法,其中,还分析了收敛性能。模拟结果展示了所提出的SD感觉和证实我们分析的算法的有效性和效率。
translated by 谷歌翻译
在这项工作中,我们提出了FedSSO,这是一种用于联合学习的服务器端二阶优化方法(FL)。与以前朝这个方向的工作相反,我们在准牛顿方法中采用了服务器端近似,而无需客户的任何培训数据。通过这种方式,我们不仅将计算负担从客户端转移到服务器,而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证,并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。
translated by 谷歌翻译
我们提出了一个新颖的框架,以研究异步联合学习优化,并在梯度更新中延迟。我们的理论框架通过引入随机聚合权重来表示客户更新时间的可变性,从而扩展了标准的FedAvg聚合方案,例如异质硬件功能。我们的形式主义适用于客户具有异质数据集并至少执行随机梯度下降(SGD)的一步。我们证明了这种方案的收敛性,并为相关最小值提供了足够的条件,使其成为联邦问题的最佳选择。我们表明,我们的一般框架适用于现有的优化方案,包括集中学习,FedAvg,异步FedAvg和FedBuff。这里提供的理论允许绘制有意义的指南,以设计在异质条件下的联合学习实验。特别是,我们在这项工作中开发了FedFix,这是FedAvg的新型扩展,从而实现了有效的异步联合训练,同时保留了同步聚合的收敛稳定性。我们在一系列实验上凭经验证明了我们的理论,表明异步FedAvg以稳定性为代价导致快速收敛,我们最终证明了FedFix比同步和异步FedAvg的改善。
translated by 谷歌翻译
联合学习(FL)是一个分布式的机器学习框架,可以减轻数据孤岛,在该筒仓中,分散的客户在不共享其私人数据的情况下协作学习全球模型。但是,客户的非独立且相同分布的(非IID)数据对训练有素的模型产生了负面影响,并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中,我们提出了一种联合矢量平均(FedVeca)方法来解决上述非IID数据问题。具体而言,我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量,其中步长为局部更新的数量,并且根据我们的定义将方向分为正和负。在FedVeca中,方向受步尺的影响,因此我们平均双向向量,以降低不同步骤尺寸的效果。然后,我们理论上分析了步骤大小与全球目标之间的关系,并在每个通信循环的步骤大小上获得上限。基于上限,我们为服务器和客户端设计了一种算法,以自适应调整使目标接近最佳的步骤大小。最后,我们通过构建原型系统对不同数据集,模型和场景进行实验,实验结果证明了FedVeca方法的有效性和效率。
translated by 谷歌翻译
联合学习(FL)是一种在不获取客户私有数据的情况下培训全球模型的协同机器学习技术。 FL的主要挑战是客户之间的统计多样性,客户设备之间的计算能力有限,以及服务器和客户之间的过度沟通开销。为解决这些挑战,我们提出了一种通过最大化FEDMAC的相关性稀疏个性化联合学习计划。通过将近似的L1-norm和客户端模型与全局模型之间的相关性结合到标准流失函数中,提高了统计分集数据的性能,并且与非稀疏FL相比,网络所需的通信和计算负载减少。收敛分析表明,FEDMAC中的稀疏约束不会影响全球模型的收敛速度,理论结果表明,FEDMAC可以实现良好的稀疏个性化,这比基于L2-NOM的个性化方法更好。实验,我们展示了与最先进的个性化方法相比的这种稀疏个性化建筑的益处(例如,FEDMAC分别达到98.95%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,高精度,FMNIST,CIFAR-100和非IID变体下的合成数据集)。
translated by 谷歌翻译
Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$\times$ speedup compared to other methods.
translated by 谷歌翻译