Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning.We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100× as compared to synchronized stochastic gradient descent.
translated by 谷歌翻译
Federated learning is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. Standard federated optimization methods such as Federated Averaging (FEDAVG) are often difficult to tune and exhibit unfavorable convergence behavior. In non-federated settings, adaptive optimization methods have had notable success in combating such issues. In this work, we propose federated versions of adaptive optimizers, including ADAGRAD, ADAM, and YOGI, and analyze their convergence in the presence of heterogeneous data for general nonconvex settings. Our results highlight the interplay between client heterogeneity and communication efficiency. We also perform extensive experiments on these methods and show that the use of adaptive optimizers can significantly improve the performance of federated learning.
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习(FL)系统的两个关键问题。在这项工作中,我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减,Ampanysto大批量培训。另一方面,FL(即异步FL)中的客户端更新的异步聚合减轻了可扩展性问题。但是,聚合个性链子更新与安全聚合不兼容,这可能导致系统的不良隐私水平。为了解决这些问题,我们提出了一种新颖的缓冲异步聚合方法FedBuff,这是不可知的优化器的选择,并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效,比异步FL效率更高3.3倍,同时兼容保留保护技术,如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后,我们显示在差异私有培训下,FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中,经验评估通常从随机初始化开始联合培训。但是,在联合学习的许多实际应用中,服务器可以访问培训任务的代理数据,该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪,从预先训练的模型开始,比从随机初始化开始时,缩短了达到目标错误率所需的训练时间,并使训练更准确的模型(最高40 \%)。令人惊讶的是,我们还发现,从预先训练的初始化开始联合培训时,数据异质性的效果不那么重要。相反,从预先训练的模型开始时,使用服务器上的自适应优化器(例如\ textsc {fedadam})始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为,这项研究提出了几个问题,以进一步了解异质性在联合优化中的作用。
translated by 谷歌翻译
联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势,但也带来了新的挑战。在本报告中,我们探讨了这个新的研究领域,并执行了几项实验,以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后,我们为这些挑战之一提供了一种新颖的方法,并将其与文献中的其他方法进行了比较。
translated by 谷歌翻译
在分布式和联合学习中实现全球融合的主要障碍是由于分布式数据的异质性和随机性的客户端跨越梯度的未对准。在这项工作中,我们表明,实际上可以利用数据异质性来通过隐式正规化提高泛化性能。缓解异质性影响的一种方法是在整个训练中鼓励在不同客户端中的渐变对齐。我们的分析表明,通过利用复制SGD的隐式正则化效果的正确优化方法可以实现这一目标,从而导致梯度对准以及测试精度的改进。由于SGD中该正则化的存在完全依赖于在训练期间的不同迷你批次的顺序使用,因此在用大型批次进行训练时固有地没有。为了在增加并行性的同时获得该正则化的泛化效益,我们提出了一种新的渐变算法,其诱导相同的隐式正则化,同时允许在每个更新中使用任意大的批次。我们通过在不同分布式和联合学习设置中实验验证我们算法的优势。
translated by 谷歌翻译
Federated Learning allows multiple parties to jointly train a deep learning model on their combined data, without any of the participants having to reveal their local data to a centralized server. This form of privacy-preserving collaborative learning however comes at the cost of a significant communication overhead during training. To address this problem, several compression methods have been proposed in the distributed training literature that can reduce the amount of required communication by up to three orders of magnitude. These existing methods however are only of limited utility in the Federated Learning setting, as they either only compress the upstream communication from the clients to the server (leaving the downstream communication uncompressed) or only perform well under idealized conditions such as iid distribution of the client data, which typically can not be found in Federated Learning. In this work, we propose Sparse Ternary Compression (STC), a new compression framework that is specifically designed to meet the requirements of the Federated Learning environment. STC extends the existing compression technique of top-k gradient sparsification with a novel mechanism to enable downstream compression as well as ternarization and optimal Golomb encoding of the weight updates. Our experiments on four different learning tasks demonstrate that STC distinctively outperforms Federated Averaging in common Federated Learning scenarios where clients either a) hold non-iid data, b) use small batch sizes during training, or where c) the number of clients is large and the participation rate in every communication round is low. We furthermore show that even if the clients hold iid data and use medium sized batches for training, STC still behaves paretosuperior to Federated Averaging in the sense that it achieves fixed target accuracies on our benchmarks within both fewer training iterations and a smaller communication budget. These results advocate for a paradigm shift in Federated optimization towards high-frequency low-bitwidth communication, in particular in bandwidth-constrained learning environments.
translated by 谷歌翻译
联合学习可以使资源受限的边缘计算设备(例如手机和物联网设备)学习一个共享模型以进行预测,同时保持培训数据本地。这种分散的火车模型方法可提供隐私,安全,监管和经济利益。在这项工作中,我们关注联合学习的统计挑战,当时本地数据是非IID的。我们首先表明,联合学习的准确性大大降低了,对于接受高度偏斜的非IID数据训练的神经网络,最多可降低55%,其中每个客户端设备仅在一类数据上训练。我们进一步表明,可以通过重量差异来解释这种准确性的降低,这可以通过每个设备上类和种群分布的类别的分布之间的地球搬运工距离(EMD)来量化。作为解决方案,我们提出了一种策略,通过创建一小部分数据来改善对非IID数据的培训,该数据在所有边缘设备之间全球共享。实验表明,CIFAR-10数据集只有5%全球共享数据,可以提高精度30%。
translated by 谷歌翻译
我们介绍了一个新颖的联合学习框架FedD3,该框架减少了整体沟通量,并开放了联合学习的概念,从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法(i)大大减少沟通量,并(ii)将转移限制为一击通信,而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集,然后汇总那些去中心化的蒸馏数据集(通常以几个无法识别的图像,通常小于模型小于模型),而不是像其他联合学习方法共享模型更新,而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明,FedD3在所需的沟通量方面显着优于其他联合学习框架,同时,根据使用情况或目标数据集,它为能够在准确性和沟通成本之间的权衡平衡。例如,要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型,FedD3可以通过相似的通信量增加准确性超过71%,或者节省98%的通信量,同时达到相同的准确性与其他联合学习方法相比。
translated by 谷歌翻译
隐私和沟通效率是联邦神经网络培训中的重要挑战,并将它们组合仍然是一个公开的问题。在这项工作中,我们开发了一种统一高度压缩通信和差异隐私(DP)的方法。我们引入基于相对熵编码(REC)到联合设置的压缩技术。通过对REC进行微小的修改,我们获得了一种可怕的私立学习算法,DP-REC,并展示了如何计算其隐私保证。我们的实验表明,DP-REC大大降低了通信成本,同时提供与最先进的隐私保证。
translated by 谷歌翻译
联合学习(FL)是以保护隐私方式在异质客户设备上进行机器学习的框架。迄今为止,大多数FL算法都在多个回合中学习一个“全局”服务器模型。在每回合中,相同的服务器模型都向所有参与的客户端广播,在本地更新,然后跨客户端进行汇总。在这项工作中,我们提出了一个更一般的过程,客户“选择”了发送给他们的值的程序。值得注意的是,这使客户可以在较小的数据依赖性切片上操作。为了使这种实用性,我们概述了原始的联合选择,该选择可以在现实的FL系统中进行特定于客户的选择。我们讨论了如何使用联合选择进行模型培训,并表明它可以导致通信和客户记忆使用情况的急剧减少,从而有可能使模型的训练太大而无法适合处个设备。我们还讨论了联邦选择对隐私和信任的含义,这反过来影响了可能的系统约束和设计。最后,我们讨论有关模型体系结构,隐私保护技术和实用FL系统的开放问题。
translated by 谷歌翻译
我们展示了一个联合学习框架,旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接,捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法,其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证,保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明,我们的方法在平均误差方面与古典误差竞争,并且在误差的尾统计方面优于它们。
translated by 谷歌翻译
联合学习用于大量(数百万)边缘移动设备的机器学习模型的分散培训。它充满挑战,因为移动设备通常具有有限的通信带宽和本地计算资源。因此,提高联合学习的效率对于可扩展性和可用性至关重要。在本文中,我们建议利用部分训练的神经网络,该网络在整个训练过程中冻结了一部分模型参数,以降低对模型性能的影响几乎没有影响的通信成本。通过广泛的实验,我们经验证明,部分培训的神经网络(FEDPT)的联合学习可能导致卓越的通信准确性权衡,通信成本高达46美元,以小的准确度成本。我们的方法还实现了更快的培训,具有较小的内存占用空间,更好的效用,以便强​​大的差异隐私保证。对于推动设备上学习中的过度参数化的局限性,所提出的FEDPT方法可以特别有趣。
translated by 谷歌翻译
Federated Learning is a machine learning setting where the goal is to train a highquality centralized model while training data remains distributed over a large number of clients each with unreliable and relatively slow network connections. We consider learning algorithms for this setting where on each round, each client independently computes an update to the current model based on its local data, and communicates this update to a central server, where the client-side updates are aggregated to compute a new global model. The typical clients in this setting are mobile phones, and communication efficiency is of the utmost importance. In this paper, we propose two ways to reduce the uplink communication costs: structured updates, where we directly learn an update from a restricted space parametrized using a smaller number of variables, e.g. either low-rank or a random mask; and sketched updates, where we learn a full model update and then compress it using a combination of quantization, random rotations, and subsampling before sending it to the server. Experiments on both convolutional and recurrent networks show that the proposed methods can reduce the communication cost by two orders of magnitude. * Work performed while also affiliated with University of Edinburgh.
translated by 谷歌翻译
We demonstrate that it is possible to train large recurrent language models with user-level differential privacy guarantees with only a negligible cost in predictive accuracy. Our work builds on recent advances in the training of deep networks on user-partitioned data and privacy accounting for stochastic gradient descent. In particular, we add user-level privacy protection to the federated averaging algorithm, which makes "large step" updates from user-level data. Our work demonstrates that given a dataset with a sufficiently large number of users (a requirement easily met by even small internet-scale datasets), achieving differential privacy comes at the cost of increased computation, rather than in decreased utility as in most prior work. We find that our private LSTM language models are quantitatively and qualitatively similar to un-noised models when trained on a large dataset.
translated by 谷歌翻译
联合学习(FL)可从分散的隐私敏感数据中学习,并在Edge客户端进行原始数据的计算。本文介绍了混合FL,其中包含在协调服务器上计算出的附加损失项(同时维护FL的私人数据限制)。有很多好处。例如,可以利用其他数据中心数据从集中式(数据中心)共同学习,并分散(联合)培训数据,并更好地匹配预期的推断数据分布。混合FL还可以将一些密集的计算(例如,将正则化)卸载到服务器中,从而大大减少了通信和客户端计算负载。对于这些和其他混合FL用例,我们提出了三种算法:平行训练,1向梯度转移和2向梯度转移。我们陈述了每种融合界限,并提供适合特定混合FL问题的直觉。最后,我们对三个任务进行了广泛的实验,表明混合FL可以将训练数据融合以达到推理分布上的准确性,并可以将通信和计算开销降低90%以上。我们的实验证实了关于算法在不同的混合FL问题设置下的性能的理论预测。
translated by 谷歌翻译
联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中,从而提供了沟通效率和隐私的培训过程。但是,将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值,系统错误标签甚至对手的数据损坏。此外,由于对用户数据隐私的关注,服务提供商通常会禁止使用数据样本的质量。在本文中,我们通过提出自动加权的强大联合学习(ARFL)来应对这一挑战,这是一种新颖的方法,可以共同学习全球模型和本地更新的权重,以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习,这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较,可以分配权重,因此我们可以减少损失较高的客户,从而降低对全球模型的贡献。我们表明,当损坏的客户的数据与良性不同时,这种方法可以实现鲁棒性。为了优化目标函数,我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型,在包括CIFAR-10,女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明,我们的解决方案在不同的情况下具有鲁棒性,包括标签改组,标签翻转和嘈杂的功能,并且在大多数情况下都优于最先进的方法。
translated by 谷歌翻译
事实证明,生成的对抗网络是学习复杂且高维数据分布的强大工具,但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时,这是一个更困难的问题,因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中,我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务,无法共享。我们的目标是从集中进行此分配中进行采样,而数据永远不会离开客户。我们使用标准基准图像数据集显示,现有方法在这种设置中失败,当局部时期的局部数量变大时,会经历所谓的客户漂移。因此,我们提出了一种新型的方法,我们称为Effgan:微调联合gans的合奏。作为本地专家发电机的合奏,Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练,从而使其比以前的作品更有效。
translated by 谷歌翻译
由于参与客户的异构特征,联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时,这种趋势加剧了,因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战,我们提出了一种新的联合学习框架,这提高了服务器端聚合步骤的稳定性,这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达,并且不需要将过去的模型存储在客户端中。我们还规范了本地更新,以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究,与最先进的方法相比,在准确性和通信效率方面表现出了拟议方法的显着性能,特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得
translated by 谷歌翻译
联合学习允许多方协作,在不共享本地数据的情况下协作培训联合模型。这使得机器学习在固有的分布式的,诸如医疗领域中的固有分布式的未差异数据的设置中的应用。在实践中,通常通过聚合当地模型来实现联合培训,其中当地培训目标必须与联合(全球)目标相似。然而,通常,当地数据集是如此之小,即当地目标从全球目标差异很大,导致联合学习失败。我们提出了一种新的方法,它与本地模型的排列交织在一起。排列将每个本地模型暴露给当地数据集的菊花链,导致数据稀疏域中的更有效培训。这使得能够培训极小的本地数据集,例如跨医院的患者数据,同时保留联合学习的培训效率和隐私效益。
translated by 谷歌翻译