联合学习（FL）最近成为一个有希望的保护分布式机器学习框架。它旨在通过在边缘设备上进行本地进行分布式培训，并将本地模型汇总到一个全球模型中，而无需在云服务器中进行集中式的原始数据共享，以协作学习共享的全局模型。但是，由于跨越边缘设备的局部数据异质性较大（非I.I.D.数据），因此FL可能会轻松获得一个全球模型，该模型可以在本地数据集中产生更多移动的梯度，从而降低模型性能，甚至遭受非连接性的影响在训练中。在本文中，我们提出了一个新颖的FL训练框架，使用适当设计的模糊合成网络（FSNET）来减轻非I.I.I.D。 fl源。具体而言，我们在云服务器中维护一个边缘无形的隐藏模型，以估计全局模型的方向意识反转时，估计了不正确的模型。然后，隐藏的模型可以模糊地合成几个模拟I.I.D.数据示例（示例特征）仅在全局模型上进行条件，边缘设备可以共享，以促进FL训练，以更快，更好的收敛性。此外，由于合成过程既不涉及对本地模型的参数/更新的访问，也不涉及分析各个本地模型输出，因此我们的框架仍然可以确保FL的隐私。几个FL基准的实验结果表明，我们的方法可以显着减轻非I.I.D。发行并获得其他代表性方法的更好绩效。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

本文提出了一个传感器数据匿名模型，该模型接受了分散数据的培训，并在数据实用程序和隐私之间进行了理想的权衡，即使在收集到的传感器数据具有不同的基础分布的异质环境中也是如此。我们称为Blinder的匿名模型基于以对抗性方式训练的变异自动编码器和歧视网络。我们使用模型 - 不合稳定元学习框架来调整通过联合学习训练的匿名模型，以适应每个用户的数据分布。我们在不同的设置下评估了盲人，并表明它提供了端到端的隐私保护，以增加隐私损失高达4.00％，并将数据实用程序降低高达4.24％，而最新的数据实用程序则将其降低了4.24％。对集中数据培训的匿名模型。我们的实验证实，Blinder可以一次掩盖多个私人属性，并且具有足够低的功耗和计算开销，以便将其部署在边缘设备和智能手机上，以执行传感器数据的实时匿名化。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

作为一个有前途的分布式机器学习范式，联合学习（FL）在不影响用户隐私的情况下培训具有分散数据的中央模型，这使得其被人工智能互联网（AIT）应用程序广泛使用。然而，传统的流体遭受了模型不准确，因为它会使用数据硬标签培训本地模型，并忽略与小概率不正确的预测的有用信息。虽然各种解决方案尽量解决传统流域的瓶颈，但大多数人都引入了显着的通信和记忆开销，使大规模的AIOT设备部署成为一个巨大的挑战。为了解决上述问题，本文提出了一种基于蒸馏的新型联合学习（DFL）架构，可实现AIT应用的高效准确。灵感来自知识蒸馏（KD），可以提高模型准确性，我们的方法将KD使用的软目标添加到FL模型培训，占用可忽略不计的网络资源。在每轮本地训练之后，通过每种充气设备的局部样品预测生成软目标，并用于下一轮模型训练。在DFL的本地培训期间，软目标和硬质标签都被用作模型预测的近似目标，以通过补充软目标的知识来提高模型准确性。为了进一步提高DFL模型的性能，我们设计了一种动态调整策略，用于调整KD中使用的两个损耗功能的比率，这可以最大限度地利用软目标和硬质标签。众所周知的基准测试的全面实验结果表明，我们的方法可以显着提高独立和相同分布（IID）和非IID数据的FL的模型精度。

The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients' fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.

联邦学习〜（FL）最近引起了学术界和行业的越来越多的关注，其最终目标是在隐私和沟通限制下进行协作培训。现有的基于FL算法的现有迭代模型需要大量的通信回合，以获得良好的模型，这是由于不同客户之间的极为不平衡和非平衡的I.D数据分配。因此，我们建议FedDM从多个本地替代功能中构建全球培训目标，这使服务器能够获得对损失格局的更全球视野。详细说明，我们在每个客户端构建了合成数据集，以在本地匹配从原始数据到分发匹配的损失景观。与笨拙的模型权重相比，FedDM通过传输更多信息和较小的合成数据来降低通信回合并提高模型质量。我们对三个图像分类数据集进行了广泛的实验，结果表明，在效率和模型性能方面，我们的方法可以优于其他FL的实验。此外，我们证明，FedDM可以适应使用高斯机制来保护差异隐私，并在相同的隐私预算下训练更好的模型。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

联合学习（FL）是一种流行的分布式学习模式，它可以从一组参与用户中学习模型而无需共享原始数据。 FL的一个主要挑战是异质用户，他们的分布不同（或非IID）数据和不同的计算资源。由于联合用户将使用该模型进行预测，因此他们经常要求训练有素的模型在测试时对恶意攻击者保持强大的态度。尽管对抗性培训（AT）为集中学习提供了一个合理的解决方案，但扩大对联合用户的使用范围已经引起了重大挑战，因为许多用户可能拥有非常有限的培训数据和严格的计算预算，以负担得起数据繁殖和成本高昂。在本文中，我们研究了一种新颖的FL策略：在联邦学习期间，从可负担得起的富裕用户的富裕用户传播对抗性的鲁棒性。我们表明，现有的FL技术不能与非IID用户之间稳健性的策略有效整合，并通过正确使用批处理规范化提出了有效的传播方法。我们通过广泛的实验证明了我们方法的合理性和有效性。特别是，即使只有一小部分用户在学习过程中，提出的方法也证明可以赋予联合模型出色的鲁棒性。源代码将发布。

机器学习模型已在移动网络中部署，以处理来自不同层的数据，以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题，已提出联合学习（FL）来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制，但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据，经典FL可能会遭受更长的模型训练时间（超过$ 4 \ times $）和显着的推理准确性（超过$ 7 \％\％$），则遭受了损失，观察到了。在我们的实验中。在这项工作中，我们迈出了第一步，考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量，以在FL中进行数据选择：在设备数据样本上，局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode}，一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架，用于协作网络设备，以协作存储有价值的数据示例，并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务（移动网络流量分类）和三个公共任务（综合任务，图像分类，人类活动识别）的实验结果显示了ODE的显着优势，而不是最先进的方法。特别是，在工业数据集上，ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加，并且在实践环境中对各种因素都有强大的态度。

联合学习（FL）在许多分散的用户中训练全球模型，每个用户都有本地数据集。与传统的集中学习相比，FL不需要直接访问本地数据集，因此旨在减轻数据隐私问题。但是，由于推理攻击，包括成员推理，属性推理和数据反演，FL中的数据隐私泄漏仍然存在。在这项工作中，我们提出了一种新型的隐私推理攻击，创造的偏好分析攻击（PPA），它准确地介绍了本地用户的私人偏好，例如，最喜欢（不喜欢）来自客户的在线购物中的（不喜欢）项目和最常见的表达式从用户的自拍照中。通常，PPA可以在本地客户端（用户）的特征上介绍top-k（即，尤其是k = 1、2、3和k = 1）的偏好。我们的关键见解是，本地用户模型的梯度变化对给定类别的样本比例（尤其是大多数（少数）类别的样本比例具有明显的敏感性。通过观察用户模型对类的梯度敏感性，PPA可以介绍用户本地数据集中类的样本比例，从而公开用户对类的偏好。 FL的固有统计异质性进一步促进了PPA。我们使用四个数据集（MNIST，CIFAR10，RAF-DB和PRODUCTS-10K）广泛评估了PPA的有效性。我们的结果表明，PPA分别达到了MNIST和CIFAR10的90％和98％的TOP-1攻击精度。更重要的是，在实际的购物商业商业场景（即产品-10k）和社交网络（即RAF-DB）中，PPA在前一种情况下，PPA获得了78％的TOP-1攻击精度，以推断出最有序的物品（即作为商业竞争对手），在后一种情况下，有88％来推断受害者用户最常见的面部表情，例如恶心。

联合学习（FL）能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战（例如，非IID数据，用户异质性），我们首先基于联合平均（称为FedFog）的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来，我们通过调查新的网络知识的流动系统，在无线雾云系统中雇用FEDFog，这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量，这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果，我们提出了一种灵活的用户聚合策略，可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明，拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时，基本上提高资源利用是必要的。

零击学习是一种学习制度，通过概括从可见类中学到的视觉语义关系来识别看不见的课程。为了获得有效的ZSL模型，可以诉诸于来自多个来源的培训样本，这可能不可避免地提高了有关不同组织之间数据共享的隐私问题。在本文中，我们提出了一个新颖的联合零摄影学习FedZSL框架，该框架从位于边缘设备上的分散数据中学习了一个中心模型。为了更好地概括为以前看不见的类，FEDZSL允许从非重叠类采样的每个设备上的训练数据，这些数据远非I.I.D.传统的联邦学习通常假设。我们在FEDZSL协议中确定了两个关键挑战：1）受过训练的模型容易偏向于本地观察到的类，因此未能推广到其他设备上的看不见的类和/或所见类别； 2）由于培训数据中的每个类别都来自单个来源，因此中心模型非常容易受到模型置换（后门）攻击的影响。为了解决这些问题，我们提出了三个局部目标，以通过关系蒸馏来进行视觉声音对齐和跨设备对齐，这利用了归一化的类协方差，以使跨设备的预测逻辑的一致性正常。为了防止后门攻击，提出了一种功能级防御技术。由于恶意样本与给定的语义属性的相关性较小，因此将丢弃低大小的视觉特征以稳定模型更新。 FedZSL的有效性和鲁棒性通过在三个零击基准数据集上进行的广泛实验证明。

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.