在点击率(CTR)预测的联合学习(FL)中,用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的,并仅将模型更改传达给服务器。有两个主要的挑战:(i)客户异质性,制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意; (ii)由于每个实验所需的大量计算时间和资源,因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战,我们提出了一种简单的在线元学习方法,以学习汇总模型更新的策略,该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。
translated by 谷歌翻译
联合学习(FL)是一种新兴技术,用于协作训练全球机器学习模型,同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的(非IID)数据分布,这会减慢收敛性和降低性能。为了解决这个基本问题,我们提出了一种方法(comfed),以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明,Comfed可以改善专用于非IID数据的最新算法。
translated by 谷歌翻译
联邦学习(FL)是一种分布式学习方法,它为医学机构提供了在全球模型中合作的前景,同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务,但它们的差异(例如专业,患者数量和设备)导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中,我们研究了FL生产中间半全球模型的一种自适应分层聚类方法,因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集,这些集群由具有最相似数据分布的客户端组成;然后,每个集群继续分开训练。在集群中,我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法,将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明,与标准的FL方法相比,分类精度相比,异质分布的性能显着提高。此外,我们表明,如果在群集中应用,则模型会更快地收敛,并且仅使用一小部分数据,却优于集中式培训。
translated by 谷歌翻译
联合学习(FL)是一个分布式的机器学习框架,可以减轻数据孤岛,在该筒仓中,分散的客户在不共享其私人数据的情况下协作学习全球模型。但是,客户的非独立且相同分布的(非IID)数据对训练有素的模型产生了负面影响,并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中,我们提出了一种联合矢量平均(FedVeca)方法来解决上述非IID数据问题。具体而言,我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量,其中步长为局部更新的数量,并且根据我们的定义将方向分为正和负。在FedVeca中,方向受步尺的影响,因此我们平均双向向量,以降低不同步骤尺寸的效果。然后,我们理论上分析了步骤大小与全球目标之间的关系,并在每个通信循环的步骤大小上获得上限。基于上限,我们为服务器和客户端设计了一种算法,以自适应调整使目标接近最佳的步骤大小。最后,我们通过构建原型系统对不同数据集,模型和场景进行实验,实验结果证明了FedVeca方法的有效性和效率。
translated by 谷歌翻译
经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中,经验评估通常从随机初始化开始联合培训。但是,在联合学习的许多实际应用中,服务器可以访问培训任务的代理数据,该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪,从预先训练的模型开始,比从随机初始化开始时,缩短了达到目标错误率所需的训练时间,并使训练更准确的模型(最高40 \%)。令人惊讶的是,我们还发现,从预先训练的初始化开始联合培训时,数据异质性的效果不那么重要。相反,从预先训练的模型开始时,使用服务器上的自适应优化器(例如\ textsc {fedadam})始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为,这项研究提出了几个问题,以进一步了解异质性在联合优化中的作用。
translated by 谷歌翻译
个性化联合学习(FL)是佛罗里达州的一个新兴研究领域,在客户之间存在数据异质性的情况下,可以学习一个易于适应的全球模型。但是,个性化FL的主要挑战之一是,由于客户数据与服务器隔离以确保隐私,因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题,我们专注于服务器可以独立于客户数据独立于客户数据的问题设置,这是各种应用程序中普遍的问题设置,但在现有文献中相对尚未探索。具体而言,我们提出了FedSim,这是一种针对个性化FL的新方法,该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上,我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,在计算上更有效,并且收敛速度高达34.2%。
translated by 谷歌翻译
联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势,但也带来了新的挑战。在本报告中,我们探讨了这个新的研究领域,并执行了几项实验,以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后,我们为这些挑战之一提供了一种新颖的方法,并将其与文献中的其他方法进行了比较。
translated by 谷歌翻译
随着对数据隐私和数据量迅速增加的越来越关注,联邦学习(FL)已成为重要的学习范式。但是,在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务,因为与神经网络相关的复杂性,例如跨客户的各种体系结构,神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络(FEDHENN)框架,该框架允许每个客户构建个性化模型,而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束,同时仍能从其他(可能更强大)客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示,以指导每个客户的同时培训。广泛的实验结果表明,Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。
translated by 谷歌翻译
由于参与客户的异构特征,联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时,这种趋势加剧了,因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战,我们提出了一种新的联合学习框架,这提高了服务器端聚合步骤的稳定性,这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达,并且不需要将过去的模型存储在客户端中。我们还规范了本地更新,以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究,与最先进的方法相比,在准确性和通信效率方面表现出了拟议方法的显着性能,特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得
translated by 谷歌翻译
在联合学习(FL)中,许多客户或设备在不共享数据的情况下协作培训模型。模型在每个客户端进行了优化,并进一步通信到中央集线器进行聚合。尽管FL是一个吸引人的分散培训范式,但来自不同客户的数据之间的异质性可能会导致本地优化从全球目标中消失。为了估计并消除这种漂移,最近已将差异技术纳入了FL优化。但是,这些方法不准确地估计客户的漂移,最终无法正确删除它。在这项工作中,我们提出了一种自适应算法,该算法可以准确地估计客户端的漂移。与以前的工作相比,我们的方法需要更少的存储和通信带宽以及较低的计算成本。此外,我们提出的方法可以通过限制客户漂移的估计标准来诱导稳定性,从而使大规模fl更实用。实验发现表明,所提出的算法比在各种FL基准中的基准相比,收敛的速度明显更快,并且获得了更高的准确性。
translated by 谷歌翻译
The mediocre performance of conventional federated learning (FL) over heterogeneous data has been facilitating personalized FL solutions, where, unlike conventional FL which trains a single global consensus model, different models are allowed for different clients. However, in most existing personalized FL algorithms, the collaborative knowledge across the federation was only implicitly passed to the clients in ways such as model aggregation or regularization. We observed that this implicit knowledge transfer fails to maximize the potential value of each client's empirical risk toward other clients. Based on our observation, in this work, we propose Personalized Global Federated Learning (PGFed), a novel personalized FL framework that enables each client to personalize its own global objective by explicitly and adaptively aggregating the empirical risks of itself and other clients. To avoid massive ($O(N^2)$) communication overhead and potential privacy leakage, each client's risk is estimated through a first-order approximation for other clients' adaptive risk aggregation. On top of PGFed, we develop a momentum upgrade, dubbed PGFedMo, to more efficiently utilize clients' empirical risks. Our extensive experiments under different federated settings with benchmark datasets show consistent improvements of PGFed over the compared state-of-the-art alternatives.
translated by 谷歌翻译
调整Quand参数是机器学习管道的重要而艰巨的部分。在联合学习中,封锁率优化更具挑战性,在多均匀设备的分布式网络上学习模型;在这里,需要保留设备上的数据并执行本地培训使得难以有效地培训和评估配置。在这项工作中,我们调查联邦封面调整的问题。我们首先识别关键挑战,并展示标准方法如何适应联合环境的基线。然后,通过与重量共享的神经结构搜索技术进行新颖的连接,我们介绍了一种新的方法,联邦快递,以加速联合的超参数调整,该调整适用于广泛使用的联合优化方法,例如FADVG和最近的变体。从理论上讲,我们表明联邦快递器在跨设备的在线凸优化的设置中正确调整了在设备上的学习速率。凭经验,我们表明,联邦快递可以在莎士比亚,春头和CIFAR-10基准上的几个百分点占据联邦封面调整的自然基线,使用相同的培训预算获得更高的准确性。
translated by 谷歌翻译
Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力,但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境:“我们是否应该优先考虑学习模型的通用性能(用于服务器的将来使用)或其个性化绩效(对于每个客户端)?”这两个看似竞争的目标使社区分裂了专注于一个或另一个,但在本文中,我们表明可以同时实现这两者。具体而言,我们提出了一个新颖的联邦学习框架,该框架将模型的双重职责与两个预测任务相结合。一方面,我们介绍了一个损失家族,这些损失家庭对非相同的班级分布,使客户能够培训一个通用的预测指标,并以一致的目标培训。另一方面,我们将个性化预测变量作为一种轻巧的自适应模块,以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩(FED-ROD)命名的两个损失的两次挑战框架,学识渊博的模型可以同时实现最先进的通用和个性化的性能,从而实质上弥补了这两个任务。
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习(FL)系统的两个关键问题。在这项工作中,我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减,Ampanysto大批量培训。另一方面,FL(即异步FL)中的客户端更新的异步聚合减轻了可扩展性问题。但是,聚合个性链子更新与安全聚合不兼容,这可能导致系统的不良隐私水平。为了解决这些问题,我们提出了一种新颖的缓冲异步聚合方法FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效,比异步FL效率更高3.3倍,同时兼容保留保护技术,如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后,我们显示在差异私有培训下,FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
The heterogeneity of hardware and data is a well-known and studied problem in the community of Federated Learning (FL) as running under heterogeneous settings. Recently, custom-size client models trained with Knowledge Distillation (KD) has emerged as a viable strategy for tackling the heterogeneity challenge. However, previous efforts in this direction are aimed at client model tuning rather than their impact onto the knowledge aggregation of the global model. Despite performance of global models being the primary objective of FL systems, under heterogeneous settings client models have received more attention. Here, we provide more insights into how the chosen approach for training custom client models has an impact on the global model, which is essential for any FL application. We show the global model can fully leverage the strength of KD with heterogeneous data. Driven by empirical observations, we further propose a new approach that combines KD and Learning without Forgetting (LwoF) to produce improved personalised models. We bring heterogeneous FL on pair with the mighty FedAvg of homogeneous FL, in realistic deployment scenarios with dropping clients.
translated by 谷歌翻译
近年来,个性化联邦学习(PFL)引起了越来越关注其在客户之间处理统计异质性的潜力。然而,最先进的PFL方法依赖于服务器端的模型参数聚合,这需要所有模型具有相同的结构和大小,因此限制了应用程序以实现更多异构场景。要处理此类模型限制,我们利用异构模型设置的潜力,并提出了一种新颖的培训框架,为不同客户使用个性化模型。具体而言,我们将原始PFL中的聚合过程分为个性化组知识转移训练算法,即KT-PFL,这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测,这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外,为了量化每个客户对他人的个性化培训的贡献,知识系数矩阵是参数化的,以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置(异构模型和数据分布)下进行各种数据集(EMNIST,Fashion \ _Mnist,CIFAR-10)的广泛实验。据证明,所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例,同时实现与最先进的算法比较的显着性能增益。
translated by 谷歌翻译
Federated learning is a collaborative model training method by iterating model updates at multiple clients and aggregation of the updates at a central server. Device and statistical heterogeneity of the participating clients cause performance degradation so that an appropriate weight should be assigned per client in the server's aggregation phase. This paper employs deep unfolding to learn the weights that adapt to the heterogeneity, which gives the model with high accuracy on uniform test data. The results of numerical experiments indicate the high performance of the proposed method and the interpretable behavior of the learned weights.
translated by 谷歌翻译
联合学习(FL)框架使Edge客户能够协作学习共享的推理模型,同时保留对客户的培训数据的隐私。最近,已经采取了许多启发式方法来概括集中化的自适应优化方法,例如SGDM,Adam,Adagrad等,以提高收敛性和准确性的联合设置。但是,关于在联合设置中的位置以及如何设计和利用自适应优化方法的理论原理仍然很少。这项工作旨在从普通微分方程(ODE)的动力学的角度开发新的自适应优化方法,以开发FL的新型自适应优化方法。首先,建立了一个分析框架,以在联合优化方法和相应集中优化器的ODES分解之间建立连接。其次,基于这个分析框架,开发了一种动量解耦自适应优化方法FedDA,以充分利用每种本地迭代的全球动量并加速训练收敛。最后但并非最不重要的一点是,在训练过程结束时,全部批处理梯度用于模仿集中式优化,以确保收敛并克服由自适应优化方法引起的可能的不一致。
translated by 谷歌翻译
Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.
translated by 谷歌翻译
联合学习(FL)根据多个本地客户端协同聚合共享全球模型,同时保持培训数据分散以保护数据隐私。但是,标准的FL方法忽略了嘈杂的客户问题,这可能会损害聚合模型的整体性能。在本文中,我们首先分析了嘈杂的客户声明,然后用不同的噪声分布模型噪声客户端(例如,Bernoulli和截断的高斯分布)。要使用嘈杂的客户,我们提出了一个简单但有效的FL框架,名为联邦嘈杂的客户学习(FED-NCL),它是一个即插即用算法,并包含两个主要组件:动态的数据质量测量(DQM)量化每个参与客户端的数据质量,以及噪声鲁棒聚合(NRA),通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明,我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译