安全聚合是一个流行的保留联合学习中的流行协议，它允许模型聚合，而不会在清除中显示各个模型。另一方面，传统的安全聚合协议产生了显着的通信开销，这可能成为现实世界带宽限制应用中的主要瓶颈。在解决这一挑战方面，在这项工作中，我们提出了一种用于安全聚合的轻量级渐变稀疏框架，其中服务器从大量用户学习Sparsified本地模型更新的聚合，但不学习各个参数。我们的理论分析表明，所提出的框架可以显着降低安全聚合的通信开销，同时确保可比计算复杂性。我们进一步确定了由于稀疏因疏脂而在隐私和沟通效率之间的权衡。我们的实验表明，我们的框架在与传统安全聚合基准相比时，我们的框架将延长到7.8倍降低了高达7.8倍，同时加速了墙上时钟训练时间1.13x。

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

联邦学习（FL）引起了人们对在存储在多个用户中的数据中启用隐私的机器学习的兴趣，同时避免将数据移动到偏离设备上。但是，尽管数据永远不会留下用户的设备，但仍然无法保证隐私，因为用户培训数据的重大计算以训练有素的本地模型的形式共享。最近，这些本地模型通过不同的隐私攻击（例如模型反演攻击）构成了实质性的隐私威胁。作为一种补救措施，通过保证服务器只能学习全局聚合模型更新，而不是单个模型更新，从而开发了安全汇总（SA）作为保护佛罗里达隐私的框架。尽管SA确保没有泄漏有关单个模型更新超出汇总模型更新的其他信息，但对于SA实际上可以提供多少私密性fl，没有正式的保证；由于有关单个数据集的信息仍然可以通过在服务器上计算的汇总模型泄漏。在这项工作中，我们对使用SA的FL的正式隐私保证进行了首次分析。具体而言，我们使用共同信息（MI）作为定量度量，并在每个用户数据集的信息上可以通过汇总的模型更新泄漏有关多少信息。当使用FEDSGD聚合算法时，我们的理论界限表明，隐私泄漏量随着SA参与FL的用户数量而线性减少。为了验证我们的理论界限，我们使用MI神经估计量来凭经验评估MNIST和CIFAR10数据集的不同FL设置下的隐私泄漏。我们的实验验证了FEDSGD的理论界限，随着用户数量和本地批量的增长，隐私泄漏的减少，并且随着培训回合的数量，隐私泄漏的增加。

隐私权联合学习允许多个用户与中央服务器协调共同培训模型。服务器仅学习最终聚合结果，从而防止用户（私有）培训数据从单个模型更新中泄漏。但是，保持单个更新私有，使恶意用户可以执行拜占庭式攻击并降低模型准确性，而无需检测到。针对拜占庭工人的最佳防御能力依赖于基于排名的统计数据，例如中位数，以查找恶意更新。但是，在安全域中实施基于隐私的排名统计信息在安全域中是不平淡无奇的，因为它需要对所有单个更新进行排序。我们建立了第一个私人鲁棒性检查，该检查在汇总模型更新上使用基于高断点等级的统计信息。通过利用随机聚类，我们在不损害隐私的情况下显着提高了防御的可扩展性。我们利用零知识证明中的派生统计界限来检测和删除恶意更新，而无需透露私人用户更新。我们的新颖框架Zprobe可以使拜占庭式的弹性和安全的联合学习。经验评估表明，Zprobe提供了低架空解决方案，以防御最新的拜占庭袭击，同时保留隐私。

Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.

跨设备联合学习是一种越来越受欢迎的机器学习设置，可以通过利用大量具有高隐私和安全保证的客户设备来培训模型。但是，在将联合学习扩展到生产环境时，沟通效率仍然是一个主要的瓶颈，尤其是由于上行链路沟通过程中的带宽限制。在本文中，我们在安全的聚合原始词下正式化并解决了压缩客户对服务器模型更新的问题，这是联合学习管道的核心组成部分，该管道允许服务器汇总客户端更新而不单独访问它们。特别是，我们调整标准标量量化和修剪方法以确保聚合并提出安全索引，这是一个安全聚合的变体，支持量化以进行极端压缩。我们在安全联合学习设置中建立了最新的叶基准测试结果，与未压缩基线相比，在上行链路通信中最多40美元$ \ times $ compression，无意义的损失。

我们提出了Swiftagg+，这是一种针对联合学习系统的新颖的安全聚合协议，其中central Server汇总了$ n \ in \ mathbb {n} $分布式用户的本地型号，每个大小$ l \ in \ mathbb {n} $中的每个型号，训练有素，以隐私的方式在其本地数据上。 Swiftagg+可以大大减少通信开销，而不会对安全性进行任何妥协，并在减少差距内实现最佳通信负载。具体而言，最多有$ d = o（n）$ droput用户，Swiftagg+实现了$（1+ \ Mathcal {o}（\ frac {1} {n} {n}））的每个用户通信负载。和$（1+ \ Mathcal {o}（\ frac {1} {n}））的服务器通信负载，具有最差的信息理论安全保证o（n）$半honest用户，也可能与好奇的服务器合谋。此外，拟议的Swiftagg+允许在通信负载和主动通信链接的数量之间进行灵活的权衡。特别是，对于$ t <n-d $，对于任何$ k \ in \ mathbb {n} $，Swiftagg+可以实现$（1+ \ frac {t} {k} {k}）l $符号的服务器通信负载，并且 - 用户通信负载最多$（1+ \ frac {t+d} {k}）l $符号，其中网络中的配对活动连接的数量为$ \ frac {n} {2}（k +T+D+1）$。

隐私和沟通效率是联邦神经网络培训中的重要挑战，并将它们组合仍然是一个公开的问题。在这项工作中，我们开发了一种统一高度压缩通信和差异隐私（DP）的方法。我们引入基于相对熵编码（REC）到联合设置的压缩技术。通过对REC进行微小的修改，我们获得了一种可怕的私立学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

我们考虑了一个联合表示的学习框架，在中央服务器的协助下，一组$ n $分布式客户通过其私人数据协作培训一组实体的表示（或嵌入）（例如，用户在一个中的用户社交网络）。在此框架下，对于以私人方式汇总在客户培训的本地嵌入的关键步骤，我们开发了一个名为SECEA的安全嵌入聚合协议，该协议为一组实体提供信息理论隐私保证，并在每个客户端提供相应的嵌入$同时$ $，对好奇的服务器和最多$ t <n/2 $勾结的客户。作为SECEA的第一步，联合学习系统执行了一个私人实体联盟，让每个客户在不知道哪个实体属于哪个客户的情况下学习系统中的所有实体。在每个聚合回合中，使用Lagrange插值在客户端中秘密共享本地嵌入，然后每个客户端构造编码的查询以检索预期实体的聚合嵌入。我们对各种表示的学习任务进行全面的实验，以评估SECEA的效用和效率，并从经验上证明，与没有（或具有较弱的）隐私保证的嵌入聚合协议相比，SECEA会造成可忽略的绩效损失（5％以内）； SECEA的附加计算潜伏期减小，用于培训较大数据集的更深层次模型。

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systemsoriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized messagepassing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

Deep neural networks have strong capabilities of memorizing the underlying training data, which can be a serious privacy concern. An effective solution to this problem is to train models with differential privacy, which provides rigorous privacy guarantees by injecting random noise to the gradients. This paper focuses on the scenario where sensitive data are distributed among multiple participants, who jointly train a model through federated learning (FL), using both secure multiparty computation (MPC) to ensure the confidentiality of each gradient update, and differential privacy to avoid data leakage in the resulting model. A major challenge in this setting is that common mechanisms for enforcing DP in deep learning, which inject real-valued noise, are fundamentally incompatible with MPC, which exchanges finite-field integers among the participants. Consequently, most existing DP mechanisms require rather high noise levels, leading to poor model utility. Motivated by this, we propose Skellam mixture mechanism (SMM), an approach to enforce DP on models built via FL. Compared to existing methods, SMM eliminates the assumption that the input gradients must be integer-valued, and, thus, reduces the amount of noise injected to preserve DP. Further, SMM allows tight privacy accounting due to the nice composition and sub-sampling properties of the Skellam distribution, which are key to accurate deep learning with DP. The theoretical analysis of SMM is highly non-trivial, especially considering (i) the complicated math of differentially private deep learning in general and (ii) the fact that the mixture of two Skellam distributions is rather complex, and to our knowledge, has not been studied in the DP literature. Extensive experiments on various practical settings demonstrate that SMM consistently and significantly outperforms existing solutions in terms of the utility of the resulting model.

联合学习（FL）是一个分布式学习范式，使相互不信任的客户能够协作培训通用的机器学习模型。客户数据隐私在FL中至关重要。同时，必须保护模型免受对抗客户的中毒攻击。现有解决方案孤立地解决了这两个问题。我们提出了FedPerm，这是一种新的FL算法，它通过结合一种新型的内部模型参数改组技术来解决这两个问题，该技术可以放大数据隐私，并基于私人信息检索（PIR）技术，该技术允许允许对客户模型更新的加密聚合。这些技术的组合进一步有助于联邦服务器约束从客户端的参数更新，从而减少对抗性客户的模型中毒攻击的影响。我们进一步介绍了Fedperm独特的超参数，可以有效地使用Model Utilities进行计算开销。我们对MNIST数据集的经验评估表明，FEDPERM对FL中现有差异隐私（DP）执法解决方案的有效性。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

在联合学习（FL）中，一组参与者共享与将更新结合到全局模型中的聚合服务器在本地数据上计算的更新。但是，将准确性与隐私和安全性进行调和是FL的挑战。一方面，诚实参与者发送的良好更新可能会揭示其私人本地信息，而恶意参与者发送的中毒更新可能会损害模型的可用性和/或完整性。另一方面，通过更新失真赔偿准确性增强隐私，而通过更新聚合损坏安全性，因为它不允许服务器过滤掉单个中毒更新。为了解决准确性私人关系冲突，我们提出{\ em碎片的联合学习}（FFL），其中参与者在将其发送到服务器之前，随机交换并混合其更新的片段。为了获得隐私，我们设计了一个轻巧的协议，该协议允许参与者私下交换和混合其更新的加密片段，以便服务器既不能获得单个更新，也不能将其链接到其发起人。为了实现安全性，我们设计了针对FFL量身定制的基于声誉的防御，该防御根据他们交换的片段质量以及他们发送的混合更新来建立对参与者及其混合更新的信任。由于交换的片段的参数可以保持其原始坐标和攻击者可以中和，因此服务器可以从接收到的混合更新中正确重建全局模型而不会准确损失。四个真实数据集的实验表明，FFL可以防止半冬季服务器安装隐私攻击，可以有效地抵抗中毒攻击，并可以保持全局模型的准确性。

我们设计可扩展的算法，以私下生成从数百万用户设备的分散数据的位置热量。它旨在确保在服务提供商对服务提供商可见之前的差异隐私，同时保持高数据准确性和最小化用户设备的资源消耗。为实现这一目标，我们根据安全多方计算领域的最新结果重新审视分布式差异隐私概念，并设计用于位置分析的可扩展和自适应分布式差分隐私方法。关于公共位置数据集的评估表明，该方法成功地从数百万用户样本中成功地生成了大量的客户样本，最坏的客户端通信开销明显小于现有的类似准确性的现有最先进的私有协议。

恶意攻击者和诚实但有趣的服务器可以从联合学习中上传的梯度中窃取私人客户数据。尽管当前的保护方法（例如，添加剂同构密码系统）可以保证联合学习系统的安全性，但它们带来了额外的计算和通信成本。为了减轻成本，我们提出了\ texttt {fedage}框架，该框架使服务器能够在编码域中汇总梯度，而无需访问任何单个客户端的原始梯度。因此，\ texttt {fedage}可以防止好奇的服务器逐渐窃取，同时保持相同的预测性能而没有额外的通信成本。此外，从理论上讲，我们证明所提出的编码编码框架是具有差异隐私的高斯机制。最后，我们在几个联合设置下评估\ texttt {fedage}，结果证明了提出的框架的功效。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。

Federated learning (FL) is an effective technique to directly involve edge devices in machine learning training while preserving client privacy. However, the substantial communication overhead of FL makes training challenging when edge devices have limited network bandwidth. Existing work to optimize FL bandwidth overlooks downstream transmission and does not account for FL client sampling. In this paper we propose GlueFL, a framework that incorporates new client sampling and model compression algorithms to mitigate low download bandwidths of FL clients. GlueFL prioritizes recently used clients and bounds the number of changed positions in compression masks in each round. Across three popular FL datasets and three state-of-the-art strategies, GlueFL reduces downstream client bandwidth by 27% on average and reduces training time by 29% on average.