联合学习（FL）已成为协作分布式学习的隐私解决方案，客户直接在其设备上训练AI模型，而不是与集中式（潜在的对手）服务器共享数据。尽管FL在某种程度上保留了本地数据隐私，但已显示有关客户数据的信息仍然可以从模型更新中推断出来。近年来，已经制定了各种隐私计划来解决这种隐私泄漏。但是，它们通常以牺牲模型性能或系统效率为代价提供隐私，而在实施FL计划时，平衡这些权衡是一个至关重要的挑战。在本手稿中，我们提出了一个保护隐私的联合学习（PPFL）框架，该框架建立在控制理论中的矩阵加密和系统沉浸工具的协同作用上。这个想法是将学习算法（随机梯度体面（SGD））浸入更高维度的系统（所谓的目标系统）中，并设计目标系统的动力学，以便：浸入原始SGD的轨迹： /嵌入其轨迹中，并在加密数据上学习（在这里我们使用随机矩阵加密）。矩阵加密是在服务器上重新重新格式化的，作为将原始参数映射到更高维的参数空间的坐标的随机更改，并强制执行目标SGD收敛到原始SGD Optiral解决方案的加密版本。服务器使用浸入式地图的左侧逆汇总模型解密。我们表明，我们的算法提供与标准FL相同的准确性和收敛速度，而计算成本可忽略不计，同时却没有透露有关客户数据的信息。

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

Federated learning (FL), as a type of distributed machine learning, is capable of significantly preserving clients' private data from being exposed to adversaries. Nevertheless, private information can still be divulged by analyzing uploaded parameters from clients, e.g., weights trained in deep neural networks. In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to parameters at the clients' side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between a convergence performance and privacy protection levels, i.e., better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number N of overall clients participating in FL can improve the convergence performance; and 3) There is an optimal number aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a K-client random scheduling strategy, where K (1 ≤ K < N ) clients are randomly selected from the N overall clients to participate in each aggregation. We also develop a corresponding convergence bound for the loss function in this case and the K-client random scheduling strategy also retains the above three properties. Moreover, we find that there is an optimal K that achieves the best convergence performance at a

联合学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。培训是使用用户设备上的原始数据（称为客户端）进行的，只有称为梯度的培训结果被发送到服务器进行汇总并生成更新的模型。但是，我们不能假设可以使用私人信息来信任服务器，例如与数据所有者或数据源相关的元数据。因此，将客户信息隐藏在服务器中有助于减少与隐私相关的攻击。因此，客户身份的隐私以及客户数据的隐私是使此类攻击更加困难的必要条件。本文提出了基于组签名的FL的高效和隐私权协议。一个名为GSFL的新组合签名旨在保护客户数据和身份的隐私，而且考虑考虑到联合学习的迭代过程，还大大降低了计算和通信成本。我们表明，在计算，通信和信号成本方面，GSFL优于现有方法。另外，我们表明所提出的协议可以在联合学习环境中处理各种安全攻击。

智能仪表测量值虽然对于准确的需求预测至关重要，但仍面临一些缺点，包括消费者的隐私，数据泄露问题，仅举几例。最近的文献探索了联合学习（FL）作为一种有前途的隐私机器学习替代方案，该替代方案可以协作学习模型，而无需将私人原始数据暴露于短期负载预测中。尽管有着美德，但标准FL仍然容易受到棘手的网络威胁，称为拜占庭式攻击，这是由错误和/或恶意客户进行的。因此，为了提高联邦联邦短期负载预测对拜占庭威胁的鲁棒性，我们开发了一个最先进的基于私人安全的FL框架，以确保单个智能电表的数据的隐私，同时保护FL的安全性模型和架构。我们提出的框架利用了通过符号随机梯度下降（SignsGD）算法的梯度量化的想法，在本地模型培训后，客户仅将梯度的“符号”传输到控制中心。当我们通过涉及一组拜占庭攻击模型的基准神经网络的实验突出显示时，我们提出的方法会非常有效地减轻此类威胁，从而优于常规的FED-SGD模型。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

Federated learning seeks to address the issue of isolated data islands by making clients disclose only their local training models. However, it was demonstrated that private information could still be inferred by analyzing local model parameters, such as deep neural network model weights. Recently, differential privacy has been applied to federated learning to protect data privacy, but the noise added may degrade the learning performance much. Typically, in previous work, training parameters were clipped equally and noises were added uniformly. The heterogeneity and convergence of training parameters were simply not considered. In this paper, we propose a differentially private scheme for federated learning with adaptive noise (Adap DP-FL). Specifically, due to the gradient heterogeneity, we conduct adaptive gradient clipping for different clients and different rounds; due to the gradient convergence, we add decreasing noises accordingly. Extensive experiments on real-world datasets demonstrate that our Adap DP-FL outperforms previous methods significantly.

联合学习（FL）是一个分布式学习范式，使相互不信任的客户能够协作培训通用的机器学习模型。客户数据隐私在FL中至关重要。同时，必须保护模型免受对抗客户的中毒攻击。现有解决方案孤立地解决了这两个问题。我们提出了FedPerm，这是一种新的FL算法，它通过结合一种新型的内部模型参数改组技术来解决这两个问题，该技术可以放大数据隐私，并基于私人信息检索（PIR）技术，该技术允许允许对客户模型更新的加密聚合。这些技术的组合进一步有助于联邦服务器约束从客户端的参数更新，从而减少对抗性客户的模型中毒攻击的影响。我们进一步介绍了Fedperm独特的超参数，可以有效地使用Model Utilities进行计算开销。我们对MNIST数据集的经验评估表明，FEDPERM对FL中现有差异隐私（DP）执法解决方案的有效性。

可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。

联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。

我们提出了一个用于机器学习应用的基于区块链的安全数据交易市场的Omnilytics。利用omnilytics，许多分布式数据所有者可以贡献他们的私人数据，以集体培训某些型号所有者请求的ML模型，并获得数据贡献的补偿。 Omnilytics使这种模型培训能够同时为奇怪的数据所有者提供1）模型安全; 2）对奇怪的模型和数据所有者的数据安全; 3）对恶意数据所有者的弹性，为毒药模型培训提供有错误的结果; 4）打算逃避付款的恶意模型所有者的弹性。 Omnilytics被实施为一个区块链智能合同，以保证付款的原子。在omnilytics中，模型所有者将其模型分成私人和公共部分，并在合同上发布公共部分。通过执行合同，参与的数据所有者将其当地培训的模型安全地汇总以更新模型所有者的公共模式，并通过合同获得报销。我们在以Ethereum区块链中实施了Omnilytics的工作原型，并在各种参数组合下进行了广泛的实验，以测量其天然气成本，执行时间和模型质量。为了在MNIST数据集上训练CNN，MO能够将其模型精度从平板ChangchConsion Time的500毫秒内的62％提升到83％。这证明了Omnilytics对实际部署的有效性。

联合学习是一种数据解散隐私化技术，用于以安全的方式执行机器或深度学习。在本文中，我们介绍了有关联合学习的理论方面客户次数有所不同的用例。具体而言，使用从开放数据存储库中获得的胸部X射线图像提出了医学图像分析的用例。除了与隐私相关的优势外，还将研究预测的改进（就曲线下的准确性和面积而言）和减少执行时间（集中式方法）。将从培训数据中模拟不同的客户，以不平衡的方式选择，即，他们并非都有相同数量的数据。考虑三个或十个客户之间的结果与集中案件相比。间歇性客户将分析两种遵循方法，就像在实际情况下，某些客户可能会离开培训，一些新的新方法可能会进入培训。根据准确性，曲线下的区域和执行时间的结果，结果的结果的演变显示为原始数据被划分的客户次数。最后，提出了该领域的改进和未来工作。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

由于对个人数据隐私的不断增长和当地客户的迅速增长的数据量，Federated Learnated（FL）的动机已成为新的机器学习设置。 FL系统由中央参数服务器和多个本地客户端组成。它将数据保留在本地客户端，并通过共享本地学到的模型参数来学习集中式模型。不需要共享本地数据，并且可以很好地保护隐私。然而，由于它是模型而不是共享的原始数据，因此系统可以暴露于恶意客户端发起的中毒模型攻击。此外，由于服务器上没有本地客户端数据，因此确定恶意客户端是一项挑战。此外，仍然可以使用上载模型估算客户本地数据，从而导致隐私披露。在这项工作中，我们首先提出了一个基于模型更新的联合平均算法，以防御拜占庭式攻击，例如加性噪声攻击和弹药攻击。提出了单个客户模型初始化方法，以通过隐藏各个本地机器学习模型来提供进一步的隐私保护。在结合这两个方案时，隐私和安全性都可以有效地增强。当没有攻击时，提出的方案被证明在非IID数据分布下实验会收敛。在拜占庭式攻击下，提议的方案的表现要比基于经典模型的FedAvg算法要好得多。

联邦学习（FL）和分裂学习（SL）是两个流行的分布式机器学习方法。遵循模型到数据方案;客户培训和测试机器学习模型而不共享原始数据。由于客户端和服务器之间的机器学习模型架构，SL提供比FL更好的模型隐私。此外，分割模型使SL成为资源受限环境的更好选择。然而，由于基于中继的训练，SL表现在多个客户端的继电器训练引起的速度。在这方面，本文提出了一种名为Splitfed Learning（SFL）的新方法，该方法可分摊两种方法消除其固有缺点，以及包含差异隐私和PIXELD的精制架构配置，以增强数据隐私和模型鲁棒性。我们的分析和经验结果表明，（纯）SFL提供了类似的测试精度和通信效率，作为SL，同时每个全球时代显着降低其用于多个客户端的SL中的计算时间。此外，如SL在SL中，它的通信效率随着客户的数量而改善。此外，在扩展实验环境下进一步评估了具有隐私和鲁棒性度量的SFL的性能。

恶意攻击者和诚实但有趣的服务器可以从联合学习中上传的梯度中窃取私人客户数据。尽管当前的保护方法（例如，添加剂同构密码系统）可以保证联合学习系统的安全性，但它们带来了额外的计算和通信成本。为了减轻成本，我们提出了\ texttt {fedage}框架，该框架使服务器能够在编码域中汇总梯度，而无需访问任何单个客户端的原始梯度。因此，\ texttt {fedage}可以防止好奇的服务器逐渐窃取，同时保持相同的预测性能而没有额外的通信成本。此外，从理论上讲，我们证明所提出的编码编码框架是具有差异隐私的高斯机制。最后，我们在几个联合设置下评估\ texttt {fedage}，结果证明了提出的框架的功效。

本文调查了拜占庭袭击的空中联邦学习的稳健性。通过空中计算的模型更新的简单平均使得学习任务容易受到某些恶意客户端的本地模型更新的随机或预期修改。我们向这种攻击提出了一种强大的传输和聚合框架，同时保留对联邦学习的空中计算的益处。对于提出的强肥大学学习，参与客户端被随机分为组，并将传输时间槽分配给每个组。参数服务器使用强大的聚合技术聚合不同组的结果，并将结果传送给客户端以进行另一个训练。我们还分析了所提出的算法的收敛性。数值模拟证实了提出的拜占庭攻击方法的鲁棒性。

在金融和医疗保健等高度监管域中的机构通常存在围绕数据共享的限制性规则。联合学习是一种分布式学习框架，可以实现对分散数据的多机构合作，并改善了每个合作师的数据隐私的保护。在本文中，我们提出了一种用于分散的联邦学习的通信有效的方案，称为ProxyFL或基于代理的联合学习。 ProxyFL中的每个参与者都维护了两个模型，私人模型和旨在保护参与者隐私的公开共享代理模型。代理模型允许参与者之间的高效信息交换，使用PushSum方法而无需集中式服务器。所提出的方法通过允许模型异质性消除了规范联合学习的显着限制;每个参与者都可以拥有任何架构的私有模型。此外，我们通过代理通信的协议导致使用差异隐私分析的隐私保障更强。对流行的图像数据集的实验，以及使用超过30,000多个高质量的千兆的千兆子痫组织的泛癌诊断问题整个幻灯片图像，表明ProxyFL可以优于现有的现有替代方案，越来越少的沟通开销和更强大的隐私。

联合学习（FL）使多个设备能够在不共享其个人数据的情况下协作学习全局模型。在现实世界应用中，不同的各方可能具有异质数据分布和有限的通信带宽。在本文中，我们有兴趣提高FL系统的通信效率。我们根据梯度规范的重要性调查和设计设备选择策略。特别是，我们的方法包括在每个通信轮中选择具有最高梯度值的最高规范的设备。我们研究了这种选择技术的收敛性和性能，并将其与现有技术进行比较。我们用非IID设置执行几个实验。结果显示了我们的方法的收敛性，与随机选择比较的测试精度相当大。

联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是，这种分布式的机器学习培训方法容易受到拜占庭客户的攻击，拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中，我们提出了一种基于联邦学习（CMFL）的新型无服务器联合学习框架委员会机制，该机制可以确保算法具有融合保证的鲁棒性。在CMFL中，设立了一个委员会系统，以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑，设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明，与典型的联邦学习相比，与传统的稳健性相比，CMFL的融合和更高的准确性比传统的稳健性，以分散的方法的方式获得了传统的耐受性算法。此外，我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性，这与实验结果一致。