联合学习(FL)已成为一个重要的机器学习范例,其中全局模型根据分布式客户端的私有数据培训。然而,由于分布转移,现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性,但它们忽视了敏感属性(例如,性别和/或种族)形成的不同群体的公平,这在实际应用中是重要和实用的。为了弥合这一差距,我们制定统一小组公平的目标,该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平,我们提出了一种新颖的FL算法,命名为集团分布强制性联邦平均(G-DRFA),其跨组减轻了与收敛速度的理论分析的分布转移。具体而言,我们将联邦全球模型的性能视为目标,并采用分布稳健的技术,以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点,结果表明,G-DRFA算法优于统一组公平现有的公平联合学习算法。
translated by 谷歌翻译
在联邦学习中,对受保护群体的公平预测是许多应用程序的重要限制。不幸的是,先前研究集团联邦学习的工作往往缺乏正式的融合或公平保证。在这项工作中,我们为可证明的公平联合学习提供了一个一般框架。特别是,我们探索并扩展了有限的群体损失的概念,作为理论上的群体公平方法。使用此设置,我们提出了一种可扩展的联合优化方法,该方法在许多群体公平限制下优化了经验风险。我们为该方法提供收敛保证,并为最终解决方案提供公平保证。从经验上讲,我们评估了公平ML和联合学习的共同基准的方法,表明它可以比基线方法提供更公平,更准确的预测。
translated by 谷歌翻译
联合学习(FL)使数据所有者能够在不共享其私人数据的情况下训练共享的全球模型。不幸的是,FL容易受到固有的公平问题的影响:由于客户数据分布的异质性,最终训练的模型可以在参与的客户中给予不成比例的优势。在这项工作中,我们提出了平等且公平的联合学习(E2FL),以同时保留两个主要公平属性,公平性和平等,从而产生公平的联合学习模型。我们验证了E2FL在不同现实世界中的应用程序中的效率和公平性,并表明E2FL在所有个人客户中的效率,不同群体的公平性以及公平性方面优于现有基准。
translated by 谷歌翻译
Recently, lots of algorithms have been proposed for learning a fair classifier from decentralized data. However, many theoretical and algorithmic questions remain open. First, is federated learning necessary, i.e., can we simply train locally fair classifiers and aggregate them? In this work, we first propose a new theoretical framework, with which we demonstrate that federated learning can strictly boost model fairness compared with such non-federated algorithms. We then theoretically and empirically show that the performance tradeoff of FedAvg-based fair learning algorithms is strictly worse than that of a fair classifier trained on centralized data. To bridge this gap, we propose FedFB, a private fair learning algorithm on decentralized data. The key idea is to modify the FedAvg protocol so that it can effectively mimic the centralized fair learning. Our experimental results show that FedFB significantly outperforms existing approaches, sometimes matching the performance of the centrally trained model.
translated by 谷歌翻译
尽管公平感知的机器学习算法一直在受到越来越多的关注,但重点一直放在集中式的机器学习上,而分散的方法却没有被解散。联合学习是机器学习的一种分散形式,客户使用服务器训练本地模型,以汇总它们以获得共享的全局模型。客户之间的数据异质性是联邦学习的共同特征,这可能会诱导或加剧对由种族或性别等敏感属性定义的无私人群体的歧视。在这项工作中,我们提出了公平命运:一种新颖的公平联合学习算法,旨在实现群体公平,同时通过公平意识的聚合方法维持高效用,该方法通过考虑客户的公平性来计算全球模型。为此,通过使用动量术语来估算公平模型更新来计算全局模型更新,该术语有助于克服嘈杂的非直接梯度的振荡。据我们所知,这是机器学习中的第一种方法,旨在使用公平的动力估算来实现公平性。四个现实世界数据集的实验结果表明,在不同级别的数据异质性下,公平命运显着优于最先进的联邦学习算法。
translated by 谷歌翻译
由于客户之间缺乏数据和统计多样性,联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战,本文提出了一种新型的个性化联合学习方法,该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合,将重量不确定性引入了客户和服务器的神经网络。为了实现个性化,每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限,并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明,所提出的方法在个性化模型上的表现优于其他高级个性化方法,例如Pfedbayes在MNIST,FMNIST和NON-I.I.I.D下,Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25%,0.42%和11.71%。有限的数据。
translated by 谷歌翻译
联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中,从而提供了沟通效率和隐私的培训过程。但是,将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值,系统错误标签甚至对手的数据损坏。此外,由于对用户数据隐私的关注,服务提供商通常会禁止使用数据样本的质量。在本文中,我们通过提出自动加权的强大联合学习(ARFL)来应对这一挑战,这是一种新颖的方法,可以共同学习全球模型和本地更新的权重,以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习,这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较,可以分配权重,因此我们可以减少损失较高的客户,从而降低对全球模型的贡献。我们表明,当损坏的客户的数据与良性不同时,这种方法可以实现鲁棒性。为了优化目标函数,我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型,在包括CIFAR-10,女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明,我们的解决方案在不同的情况下具有鲁棒性,包括标签改组,标签翻转和嘈杂的功能,并且在大多数情况下都优于最先进的方法。
translated by 谷歌翻译
皮肤病学疾病对全球健康构成了重大威胁,影响了世界上近三分之一的人口。各种研究表明,早期诊断和干预通常对预后和预后至关重要。为此,在过去的十年中,基于深度学习的智能手机应用程序的快速发展,该应用程序使用户可以方便,及时地识别出围绕皮肤出现的问题。为了收集深度学习所需的足够数据,同时保护患者的隐私,经常使用联合学习,在该数据集合数据集本地的同时汇总了全球模型。但是,现有的联合学习框架主要旨在优化整体性能,而常见的皮肤病学数据集则严重不平衡。在将联合学习应用于此类数据集时,可能会出现明显的诊断准确性差异。为了解决这样的公平问题,本文提出了一个公平意识的联邦学习框架,用于皮肤病学诊断。该框架分为两个阶段:在第一个FL阶段,具有不同皮肤类型的客户在联合学习过程中接受了训练,以构建所有皮肤类型的全球模型。在此过程中,使用自动重量聚合器将更高的权重分配给损失较高的客户,并且聚合器的强度取决于损失之间的差异水平。在后一个FL阶段,每个客户根据FL阶段的全球模型微调了其个性化模型。为了获得更好的公平性,为每个客户选择了来自不同时期的模型,以在0.05内保持不同皮肤类型的准确性差异。实验表明,与最先进的框架相比,我们提出的框架有效地提高了公平性和准确性。
translated by 谷歌翻译
自从联合学习(FL)被引入具有隐私保护的分散学习技术以来,分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是,现有的方法主要是在完全标记的数据的先决条件下,这在实践中是不现实的,由于需要专业知识。由部分标记的条件引起的主要问题是,标记数据不足的客户可能会遭受不公平的性能增益,因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题,1)我们提出了一个新型的个性化的半监督学习范式,该范式允许部分标记或未标记的客户寻求与数据相关的客户(助手代理)的标签辅助,从而增强他们对本地数据的认识; 2)基于此范式,我们设计了一个基于不确定性的数据关系度量,以确保选定的帮助者可以提供值得信赖的伪标签,而不是误导当地培训; 3)为了减轻助手搜索引入的网络过载,我们进一步开发了助手选择协议,以实现有效的绩效牺牲的有效沟通。实验表明,与其他具有部分标记数据的相关作品相比,我们提出的方法可以获得卓越的性能和更稳定的收敛性,尤其是在高度异质的环境中。
translated by 谷歌翻译
联合学习(FL)是一个杰出的框架,可以通过融合本地,分散的模型来确保用户隐私来培训集中式模型。在这种情况下,一个主要障碍是数据异质性,即每个客户具有非相同和独立分布(非IID)数据。这类似于域概括(DG)的上下文,在该上下文中,每个客户端都可以视为不同的域。但是,尽管DG中的许多方法从算法的角度来解决数据异质性,但最近的证据表明,数据增强可以诱导相等或更高的性能。在这种连接的激励下,我们介绍了受欢迎的DG算法的联合版本,并表明,通过应用适当的数据增强,我们可以在联合环境中减轻数据异质性,并为看不见的客户获得更高的准确性。配备了数据增强功能,我们甚至可以使用最基本的联邦平均算法实现最先进的性能,并具有更稀疏的沟通。
translated by 谷歌翻译
跨不同边缘设备(客户)局部数据的分布不均匀,导致模型训练缓慢,并降低了联合学习的准确性。幼稚的联合学习(FL)策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型,即集群键,其中客户组具有具有相似分布的本地数据,从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据,尤其是群集串数据的数据,我们提出了FedDrl,这是一种新型的FL模型,它采用了深厚的强化学习来适应每个客户的影响因素(将用作聚合过程中的权重)。在一组联合数据集上进行了广泛的实验证实,拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进,例如,高达4.05%和2.17%。
translated by 谷歌翻译
个性化联合学习(FL)是佛罗里达州的一个新兴研究领域,在客户之间存在数据异质性的情况下,可以学习一个易于适应的全球模型。但是,个性化FL的主要挑战之一是,由于客户数据与服务器隔离以确保隐私,因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题,我们专注于服务器可以独立于客户数据独立于客户数据的问题设置,这是各种应用程序中普遍的问题设置,但在现有文献中相对尚未探索。具体而言,我们提出了FedSim,这是一种针对个性化FL的新方法,该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上,我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,在计算上更有效,并且收敛速度高达34.2%。
translated by 谷歌翻译
联合学习(FL)根据多个本地客户端协同聚合共享全球模型,同时保持培训数据分散以保护数据隐私。但是,标准的FL方法忽略了嘈杂的客户问题,这可能会损害聚合模型的整体性能。在本文中,我们首先分析了嘈杂的客户声明,然后用不同的噪声分布模型噪声客户端(例如,Bernoulli和截断的高斯分布)。要使用嘈杂的客户,我们提出了一个简单但有效的FL框架,名为联邦嘈杂的客户学习(FED-NCL),它是一个即插即用算法,并包含两个主要组件:动态的数据质量测量(DQM)量化每个参与客户端的数据质量,以及噪声鲁棒聚合(NRA),通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明,我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译
联邦学习(FL)的最新进展为大规模的分布式客户带来了大规模的机器学习机会,具有绩效和数据隐私保障。然而,大多数当前的工作只关注FL中央控制器的兴趣,忽略了客户的利益。这可能导致不公平,阻碍客户积极参与学习过程并损害整个流动系统的可持续性。因此,在佛罗里达州确保公平的主题吸引了大量的研究兴趣。近年来,已经提出了各种公平知识的FL(FAFL)方法,以努力实现不同观点的流体公平。但是,没有全面的调查,帮助读者能够深入了解这种跨学科领域。本文旨在提供这样的调查。通过审查本领域现有文献所采用的基本和简化的假设,提出了涵盖FL的主要步骤的FAFL方法的分类,包括客户选择,优化,贡献评估和激励分配。此外,我们讨论了实验评估FAFL方法表现的主要指标,并建议了一些未来的未来研究方向。
translated by 谷歌翻译
联邦学习(FL)试图在本地客户端分发模型培训,而无需在集中式数据中心收集数据,从而消除了数据私人关系问题。 FL的一个主要挑战是数据异质性(每个客户的数据分布可能会有所不同),因为它可能导致本地客户的权重差异并减慢全球融合。当前专为数据异质性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响,并且是状态算法,即它们随着时间的推移维持局部统计数据。尽管有效,但这些方法只能用于FL的特殊情况,仅涉及少数可靠的客户。对于fl的更典型应用,客户端数量很大(例如,边缘设备和移动应用程序),这些方法无法应用,激发了对任何可用于任何数量客户端使用的无状态方法的无状态方法的需求。我们得出了一阶梯度正则化,以惩罚由于本地数据异质性而导致的本地更新不一致。具体而言,为了减轻权重差异,我们将全局数据分布的一阶近似引入本地目标,该目标凭直觉地惩罚了与全局更新相反方向的更新。最终结果是一种无状态的FL算法,可实现1)在非IID数据分布下,比SOTA方法明显更快地收敛(即较少的通信回合)和2)总体融合性能更高。重要的是,我们的方法不会对客户大小施加不切实际的限制,从而可以从大多数FL应用程序中向大量客户学习。
translated by 谷歌翻译
知识共享和模型个性化是应对联邦学习(FL)中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端:1)学习共享模型,以使用非IID数据为所有客户提供服务,以及2)为每个客户(即个性化fl)学习个性化模型。有一个权衡解决方案,即群集或集群个性化的FL,旨在将相似的客户聚集到一个集群中,然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架,以通过考虑客户之间的凝聚力来证明融合。此外,我们以一种称为加权聚类联合学习(WECFL)的算法体现了该框架。经验分析验证了理论结果,并证明了在拟议的集群非IID设置下提出的WECFL的有效性。
translated by 谷歌翻译
Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.
translated by 谷歌翻译
在本文中,我们建议在分散的设置中解决一个正规化的分布鲁棒性学习问题,并考虑到数据分配的变化。通过将Kullback-Liebler正则化功能添加到可靠的Min-Max优化问题中,可以将学习问题降低到修改的可靠最小化问题并有效地解决。利用新配制的优化问题,我们提出了一个强大的版本的分散的随机梯度下降(DSGD),分布在分布方面具有强大的分散性随机梯度下降(DR-DSGD)。在一些温和的假设下,前提是正则化参数大于一个,我们从理论上证明DR-DSGD达到了$ \ MATHCAL {O} \ left的收敛速率$,其中$ k $是设备的数量,而$ t $是迭代次数。仿真结果表明,我们提出的算法可以提高最差的分配测试精度,最高$ 10 \%$。此外,DR-DSGD比DSGD更有效,因为它需要更少的沟通回合(最高$ 20 $ $倍)才能达到相同的最差分配测试准确性目标。此外,进行的实验表明,在测试准确性方面,DR-DSGD会导致整个设备的性能更公平。
translated by 谷歌翻译
A key learning scenario in large-scale applications is that of federated learning, where a centralized model is trained based on data originating from a large number of clients. We argue that, with the existing training and inference, federated models can be biased towards different clients. Instead, we propose a new framework of agnostic federated learning, where the centralized model is optimized for any target distribution formed by a mixture of the client distributions. We further show that this framework naturally yields a notion of fairness. We present data-dependent Rademacher complexity guarantees for learning with this objective, which guide the definition of an algorithm for agnostic federated learning. We also give a fast stochastic optimization algorithm for solving the corresponding optimization problem, for which we prove convergence bounds, assuming a convex loss function and hypothesis set. We further empirically demonstrate the benefits of our approach in several datasets. Beyond federated learning, our framework and algorithm can be of interest to other learning scenarios such as cloud computing, domain adaptation, drifting, and other contexts where the training and test distributions do not coincide. MotivationA key learning scenario in large-scale applications is that of federated learning. In that scenario, a centralized model is trained based on data originating from a large number of clients, which may be mobile phones, other mobile devices, or sensors (Konečnỳ, McMahan, Yu, Richtárik, Suresh, and Bacon, 2016b;Konečnỳ, McMahan, Ramage, and Richtárik, 2016a). The training data typically remains distributed over the clients, each with possibly unreliable or relatively slow network connections.Federated learning raises several types of issues and has been the topic of multiple research efforts. These include systems, networking and communication bottleneck problems due to frequent exchanges between the central server and the clients . To deal with such problems, suggested an averaging technique that consists of transmitting the central model to a subset of clients, training it with the data locally available, and averaging the local updates. Smith et al. (2017) proposed to further leverage the relationship between clients, assumed to be known, and cast
translated by 谷歌翻译
在这项工作中,我们提出了FedSSO,这是一种用于联合学习的服务器端二阶优化方法(FL)。与以前朝这个方向的工作相反,我们在准牛顿方法中采用了服务器端近似,而无需客户的任何培训数据。通过这种方式,我们不仅将计算负担从客户端转移到服务器,而且还消除了客户和服务器之间二阶更新的附加通信。我们为我们的新方法的收敛提供了理论保证,并从经验上证明了我们在凸面和非凸面设置中的快速收敛和沟通节省。
translated by 谷歌翻译