联合学习描述了多个客户端的模型的分布式培训,同时保留数据私有设备。在这项工作中,我们将服务器策划的联合学习过程视为分层潜在的变量模型,其中服务器提供了通过客户端特定的模型参数的先前分发的参数。我们表明,通过简单的高斯前瞻和众所周知的期望 - 最大化(EM)算法的硬版,在这种模型中学习对应于FEDVG,是联合学习设置的最流行的算法。在FEDAVG上的这种透视统一了最近在该字段中的几个工作,并通过分层模型的不同选择开辟了扩展的可能性。基于这种观点,我们进一步提出了一种雇用现有分布的分级模型的变体来促进稀疏性。通过使用Hard-Em算法来学习,我们获得FedSparse,可以在联邦学习设置中学习稀疏神经网络的过程。 FedSparse将来自客户端的通信成本降低到服务器,反之亦然,以及对稀疏网络推断的计算成本 - 这两者都具有很大的实际重要性在联合学习中。
translated by 谷歌翻译
隐私和沟通效率是联邦神经网络培训中的重要挑战,并将它们组合仍然是一个公开的问题。在这项工作中,我们开发了一种统一高度压缩通信和差异隐私(DP)的方法。我们引入基于相对熵编码(REC)到联合设置的压缩技术。通过对REC进行微小的修改,我们获得了一种可怕的私立学习算法,DP-REC,并展示了如何计算其隐私保证。我们的实验表明,DP-REC大大降低了通信成本,同时提供与最先进的隐私保证。
translated by 谷歌翻译
The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.
translated by 谷歌翻译
调整Quand参数是机器学习管道的重要而艰巨的部分。在联合学习中,封锁率优化更具挑战性,在多均匀设备的分布式网络上学习模型;在这里,需要保留设备上的数据并执行本地培训使得难以有效地培训和评估配置。在这项工作中,我们调查联邦封面调整的问题。我们首先识别关键挑战,并展示标准方法如何适应联合环境的基线。然后,通过与重量共享的神经结构搜索技术进行新颖的连接,我们介绍了一种新的方法,联邦快递,以加速联合的超参数调整,该调整适用于广泛使用的联合优化方法,例如FADVG和最近的变体。从理论上讲,我们表明联邦快递器在跨设备的在线凸优化的设置中正确调整了在设备上的学习速率。凭经验,我们表明,联邦快递可以在莎士比亚,春头和CIFAR-10基准上的几个百分点占据联邦封面调整的自然基线,使用相同的培训预算获得更高的准确性。
translated by 谷歌翻译
由于客户之间缺乏数据和统计多样性,联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战,本文提出了一种新型的个性化联合学习方法,该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合,将重量不确定性引入了客户和服务器的神经网络。为了实现个性化,每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限,并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明,所提出的方法在个性化模型上的表现优于其他高级个性化方法,例如Pfedbayes在MNIST,FMNIST和NON-I.I.I.D下,Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25%,0.42%和11.71%。有限的数据。
translated by 谷歌翻译
联邦学习(FL)是一种分布式学习方法,它为医学机构提供了在全球模型中合作的前景,同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务,但它们的差异(例如专业,患者数量和设备)导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中,我们研究了FL生产中间半全球模型的一种自适应分层聚类方法,因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集,这些集群由具有最相似数据分布的客户端组成;然后,每个集群继续分开训练。在集群中,我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法,将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明,与标准的FL方法相比,分类精度相比,异质分布的性能显着提高。此外,我们表明,如果在群集中应用,则模型会更快地收敛,并且仅使用一小部分数据,却优于集中式培训。
translated by 谷歌翻译
联合学习(FL)是一种机器学习范式,可从仍在设备上的分散数据中分发机器学习模型。尽管标准联合优化方法取得了成功,例如FL中的联邦平均(FedAvg),但在文献中,能源需求和硬件诱导的限制因素尚未得到足够的考虑。具体而言,对设备学习的基本需求是,根据整个联邦的能源需求和异质硬件设计,可以将经过训练的模型量化为各种位宽度。在这项工作中,我们介绍了多种联邦平均算法的多种变体,这些算法训练神经网络可靠地进行量化。这样的网络可以量化为各种位宽度,只有有限的精确模型精度降低有限。我们对标准FL基准测试进行了广泛的实验,以评估我们提出的FedAvg变体以量化稳健性,并为我们的fl中的量化变体提供收敛分析。我们的结果表明,整合量化鲁棒性会导致在量化的在设备推断期间,对不同的位宽度明显更健壮的FL模型。
translated by 谷歌翻译
做出强大的预测是一个重要的挑战。联邦学习(FL)中的一个单独挑战是减少交流回合的数量,尤其是因为这样做会降低异质数据设置的性能。为了解决这两个问题,我们对学习全球模型的问题有贝叶斯的看法。我们展示了如何使用客户预测性后代近似全局预测后验。这与其他作品不同,该作品将局部模型空间后代汇总到全局模型空间后部,并且由于后部的高维多模式性质而易受高近似误差的影响。相比之下,我们的方法对预测后期进行了聚集,由于输出空间的低维度,通常更容易近似。我们基于此想法提出了一种算法,该算法在每个客户端对MCMC采样进行了进行估计,然后在一轮中汇总它们以获得全局合奏模型。通过对多个分类和回归任务的经验评估,我们表明,尽管使用了一轮通信,但该方法与其他FL技术具有竞争力,并且在异质环境上的表现优于它们。该代码可在https://github.com/hasanmohsin/fedpredspace_1 round上公开获得。
translated by 谷歌翻译
联合学习(FL)可以从云到资源限制的边缘设备分发机器学习工作负载。遗憾的是,当前的深网络不仅对边缘设备的推理和培训造成了太重,而且对于在带宽约束网络上传送更新,也太大了。在本文中,我们开发,实施和实验验证了所谓的联合动态稀疏训练(FEDDST)的新型FL框架,通过该训练可以通过该培训和培训复杂的神经网络,在设备上计算和网络内通信中具有基本上提高的效率。在FEDDST的核心是一个动态过程,可以从目标完整网络中提取和列出稀疏子网。通过这个方案,“两只鸟类用一块石头杀死:”而不是完整的模型,每个客户端都会对自己的稀疏网络进行有效的培训,并且在设备和云之间仅传输稀疏网络。此外,我们的结果表明,在流动训练期间的动态稀疏性更灵活地容纳比固定的共用稀疏面具的局部异质性。此外,动态稀疏性自然地引入了培训动态的“时间自化效应”,即使通过密集训练也会提高流程。在一个现实和挑战的非I.I.D。 FL Setting,FEDDST始终如一地优于我们的实验中的竞争算法:例如,在非IID CIFAR-10上的任何固定上传数据帽时,在给定相同的上传数据帽时,它会在FedVGM上获得令人印象深刻的精度优势;即使在上传数据帽2倍,也可以进一步展示FEDDST的疗效,即使FEDAVGM为2X,即使将FEDAVGM提供精度差距也会保持3%。代码可用:https://github.com/bibikar/feddst。
translated by 谷歌翻译
在点击率(CTR)预测的联合学习(FL)中,用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的,并仅将模型更改传达给服务器。有两个主要的挑战:(i)客户异质性,制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意; (ii)由于每个实验所需的大量计算时间和资源,因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战,我们提出了一种简单的在线元学习方法,以学习汇总模型更新的策略,该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。
translated by 谷歌翻译
我们展示了一个联合学习框架,旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接,捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法,其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证,保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明,我们的方法在平均误差方面与古典误差竞争,并且在误差的尾统计方面优于它们。
translated by 谷歌翻译
联邦学习〜(FL)最近引起了学术界和行业的越来越多的关注,其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合,以获得良好的模型,这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此,我们建议FedDM从多个本地替代功能中构建全球培训目标,这使服务器能够获得对损失格局的更全球视野。详细说明,我们在每个客户端构建了合成数据集,以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比,FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验,结果表明,在效率和模型性能方面,我们的方法可以优于其他FL的实验。此外,我们证明,FedDM可以适应使用高斯机制来保护差异隐私,并在相同的隐私预算下训练更好的模型。
translated by 谷歌翻译
联合学习仅通过将本地模型更新传输到中央服务器来减轻分布式学习的隐私风险。但是,它面临着挑战,包括客户数据集的统计异质性以及客户设备的资源限制,这严重影响了培训性能和用户体验。先前的工作通过将个性化与模型压缩方案结合起来解决了这些挑战,包括量化和修剪。但是,修剪是数据依赖性的,因此必须在客户端进行,这需要相当大的计算成本。此外,修剪通常会在\ {0,1 \} $中训练二进制超级卸义$ \,这显着限制了模型容量,但没有计算益处。因此,培训需要高计算成本,并且需要很长时间才能收敛,而模型性能则没有回报。在这项工作中,我们提出了Hidenseek,该HIDENSEK在初始化时采用单次数据不合稳定的修剪来获得基于权重的突触显着性的子网。然后,每个客户端优化了\ { - 1,+1 \} $乘以未经修复的权重的标志Super-Mask $ \,以允许更快的收敛速度与最先进的压缩率相同。三个数据集的经验结果表明,与最先进的hidenseek相比,Hidenseek将推论精度提高了40.6 \%,同时将沟通成本和培训时间分别降低了39.7 \%和46.8%。
translated by 谷歌翻译
Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning.We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100× as compared to synchronized stochastic gradient descent.
translated by 谷歌翻译
Federated Learning有望在不访问数据的情况下与多个客户进行协作培训模型的能力,但是当客户的数据分布彼此差异时脆弱。这种差异进一步导致了困境:“我们是否应该优先考虑学习模型的通用性能(用于服务器的将来使用)或其个性化绩效(对于每个客户端)?”这两个看似竞争的目标使社区分裂了专注于一个或另一个,但在本文中,我们表明可以同时实现这两者。具体而言,我们提出了一个新颖的联邦学习框架,该框架将模型的双重职责与两个预测任务相结合。一方面,我们介绍了一个损失家族,这些损失家庭对非相同的班级分布,使客户能够培训一个通用的预测指标,并以一致的目标培训。另一方面,我们将个性化预测变量作为一种轻巧的自适应模块,以最大程度地减少每个客户在通用预测指标上的经验风险。借助我们将联合强大的脱钩(FED-ROD)命名的两个损失的两次挑战框架,学识渊博的模型可以同时实现最先进的通用和个性化的性能,从而实质上弥补了这两个任务。
translated by 谷歌翻译
当可用的硬件无法满足内存和计算要求以有效地训练高性能的机器学习模型时,需要妥协训练质量或模型复杂性。在联合学习(FL)中,节点是比传统服务器级硬件更具限制的数量级,并且通常是电池供电的,严重限制了可以在此范式下训练的模型的复杂性。尽管大多数研究都集中在设计更好的聚合策略上以提高收敛速度并减轻FL的沟通成本,但更少的努力致力于加快设备培训。这样的阶段重复数百次(即每回合)并可能涉及数千个设备,这是培训联合模型所需的大部分时间,以及客户端的全部能源消耗。在这项工作中,我们介绍了第一个研究在FL工作负载中培训时间引入稀疏性时出现的独特方面的研究。然后,我们提出了Zerofl,该框架依赖于高度稀疏的操作来加快设备训练。与通过将最先进的稀疏训练框架适应FL设置相比,接受Zerofl和95%稀疏性训练的模型高达2.3%的精度。
translated by 谷歌翻译
联合学习使多个数据中心能够协作培训中心模型,而无需公开任何机密数据。尽管确定性模型能够执行高预测准确性,但它们缺乏校准和量化不确定性的能力对于安全至关重要的应用是有问题的。与确定性模型不同,诸如贝叶斯神经网络之类的概率模型相对良好,能够量化不确定性以及其竞争性预测准确性。两种方法都出现在联邦学习框架中。但是,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚合方案对变异贝叶斯神经网络的影响。通过三个图像分类数据集的经验结果,我们观察到,汇总分布的传播程度是学习过程中的重要因素。因此,我们提出了有关如何在联合学习中结合变异贝叶斯网络的问题的调查,同时为不同的聚合设置提供了基准。
translated by 谷歌翻译
分布式深度学习框架,如联合学习(FL)及其变体都是在广泛的Web客户端和移动/ IOT设备上实现个性化体验。然而,由于模型参数的爆炸增长(例如,十亿参数模型),基于FL的框架受到客户的计算资源的限制。拆分学习(SL),最近的框架,通过拆分客户端和服务器之间的模型培训来减少客户端计算负载。这种灵活性对于低计算设置非常有用,但通常以带宽消耗的增加成本而实现,并且可能导致次优化会聚,尤其是当客户数据异构时。在这项工作中,我们介绍了adasplit,通过降低带宽消耗并提高异构客户端的性能,使得能够将SL有效地缩放到低资源场景。为了捕获和基准的分布式深度学习的多维性质,我们还介绍了C3分数,是评估资源预算下的性能。我们通过与强大联邦和分裂学习基线的大量实验比较进行了大量实验比较,验证了adasplit在有限的资源下的有效性。我们还展示了adasplit中关键设计选择的敏感性分析,该选择验证了adasplit在可变资源预算中提供适应性权衡的能力。
translated by 谷歌翻译
个性化联合学习(FL)是佛罗里达州的一个新兴研究领域,在客户之间存在数据异质性的情况下,可以学习一个易于适应的全球模型。但是,个性化FL的主要挑战之一是,由于客户数据与服务器隔离以确保隐私,因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题,我们专注于服务器可以独立于客户数据独立于客户数据的问题设置,这是各种应用程序中普遍的问题设置,但在现有文献中相对尚未探索。具体而言,我们提出了FedSim,这是一种针对个性化FL的新方法,该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上,我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法,通过计算服务器中的完整元梯度,在计算上更有效,并且收敛速度高达34.2%。
translated by 谷歌翻译
由于参与客户的异构特征,联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时,这种趋势加剧了,因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战,我们提出了一种新的联合学习框架,这提高了服务器端聚合步骤的稳定性,这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达,并且不需要将过去的模型存储在客户端中。我们还规范了本地更新,以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究,与最先进的方法相比,在准确性和通信效率方面表现出了拟议方法的显着性能,特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得
translated by 谷歌翻译