通过隐私作为动机，联合学习（FL）是一种越来越多的范式，其中学习在边缘设备上集体进行，每个边缘设备都有一个用户生成的训练示例的高速缓存，该训练示例仍然驻留在本地设备上。这些在用户对其与设备的交互过程中原位收集了这些设备训练示例，因此对至少部分推断数据分布的至少一部分具有高度反射性。然而，分配换档仍然存在;设备上的培训示例可能缺少预期在推理时间遇到的一些数据输入。本文提出了一种方法来减轻这种班次：选择性使用数据中心数据，用FL混合。通过混合分散（联合）和集中（Datacenter）数据，我们可以形成有效的培训数据分布，比推断数据分布更好地匹配，导致更有用的模型，同时仍会遇到FL强加的私人培训数据访问约束。

联合学习（FL）可从分散的隐私敏感数据中学习，并在Edge客户端进行原始数据的计算。本文介绍了混合FL，其中包含在协调服务器上计算出的附加损失项（同时维护FL的私人数据限制）。有很多好处。例如，可以利用其他数据中心数据从集中式（数据中心）共同学习，并分散（联合）培训数据，并更好地匹配预期的推断数据分布。混合FL还可以将一些密集的计算（例如，将正则化）卸载到服务器中，从而大大减少了通信和客户端计算负载。对于这些和其他混合FL用例，我们提出了三种算法：平行训练，1向梯度转移和2向梯度转移。我们陈述了每种融合界限，并提供适合特定混合FL问题的直觉。最后，我们对三个任务进行了广泛的实验，表明混合FL可以将训练数据融合以达到推理分布上的准确性，并可以将通信和计算开销降低90％以上。我们的实验证实了关于算法在不同的混合FL问题设置下的性能的理论预测。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

Federated Learning (FL) has been widely accepted as the solution for privacy-preserving machine learning without collecting raw data. While new technologies proposed in the past few years do evolve the FL area, unfortunately, the evaluation results presented in these works fall short in integrity and are hardly comparable because of the inconsistent evaluation metrics and experimental settings. In this paper, we propose a holistic evaluation framework for FL called FedEval, and present a benchmarking study on seven state-of-the-art FL algorithms. Specifically, we first introduce the core evaluation taxonomy model, called FedEval-Core, which covers four essential evaluation aspects for FL: Privacy, Robustness, Effectiveness, and Efficiency, with various well-defined metrics and experimental settings. Based on the FedEval-Core, we further develop an FL evaluation platform with standardized evaluation settings and easy-to-use interfaces. We then provide an in-depth benchmarking study between the seven well-known FL algorithms, including FedSGD, FedAvg, FedProx, FedOpt, FedSTC, SecAgg, and HEAgg. We comprehensively analyze the advantages and disadvantages of these algorithms and further identify the suitable practical scenarios for different algorithms, which is rarely done by prior work. Lastly, we excavate a set of take-away insights and future research directions, which are very helpful for researchers in the FL area.

Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.

在金融和医疗保健等高度监管域中的机构通常存在围绕数据共享的限制性规则。联合学习是一种分布式学习框架，可以实现对分散数据的多机构合作，并改善了每个合作师的数据隐私的保护。在本文中，我们提出了一种用于分散的联邦学习的通信有效的方案，称为ProxyFL或基于代理的联合学习。 ProxyFL中的每个参与者都维护了两个模型，私人模型和旨在保护参与者隐私的公开共享代理模型。代理模型允许参与者之间的高效信息交换，使用PushSum方法而无需集中式服务器。所提出的方法通过允许模型异质性消除了规范联合学习的显着限制;每个参与者都可以拥有任何架构的私有模型。此外，我们通过代理通信的协议导致使用差异隐私分析的隐私保障更强。对流行的图像数据集的实验，以及使用超过30,000多个高质量的千兆的千兆子痫组织的泛癌诊断问题整个幻灯片图像，表明ProxyFL可以优于现有的现有替代方案，越来越少的沟通开销和更强大的隐私。

联合学习是一种数据解散隐私化技术，用于以安全的方式执行机器或深度学习。在本文中，我们介绍了有关联合学习的理论方面客户次数有所不同的用例。具体而言，使用从开放数据存储库中获得的胸部X射线图像提出了医学图像分析的用例。除了与隐私相关的优势外，还将研究预测的改进（就曲线下的准确性和面积而言）和减少执行时间（集中式方法）。将从培训数据中模拟不同的客户，以不平衡的方式选择，即，他们并非都有相同数量的数据。考虑三个或十个客户之间的结果与集中案件相比。间歇性客户将分析两种遵循方法，就像在实际情况下，某些客户可能会离开培训，一些新的新方法可能会进入培训。根据准确性，曲线下的区域和执行时间的结果，结果的结果的演变显示为原始数据被划分的客户次数。最后，提出了该领域的改进和未来工作。

联合学习（FL）可以对机器学习模型进行分布式培训，同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用，例如人类活动识别（HAR），但在多设备环境（MDE）的背景下，尚未对FL进行研究，其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散，MDE在Ubicomp设置中越来越受欢迎，因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂，并不是独立的，并且在客户端之间并非独立分布（非IID）。此外，确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中，我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性，并在设备之间引起推理性能的一致性。火焰功能（i）以用户为中心的FL培训，利用同一用户的设备之间的时间对齐； （ii）准确性和效率感知设备的选择； （iii）对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试，以及一种基于类的新型数据分配方案，以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明，火焰的表现优于各种基准，F1得分高4.3-25.8％，能源效率提高1.02-2.86倍，并高达2.06倍的收敛速度，以通过FL的公平分布来获得目标准确性工作量。

联邦学习（FL）已成为解决消费者隐私需求的有效方法。 FL已成功应用于某些机器学习任务，例如训练智能键盘模型和关键字发现。尽管FL最初取得了成功，但许多重要的深度学习用例（例如排名和推荐任务）受到了设备学习的限制。实际采用基于DL的排名和建议所面临的主要挑战之一是现代移动系统无法满足的高度资源要求。我们建议联合合奏学习（FEL）作为解决深度学习排名和推荐任务的庞大记忆要求的解决方案。 FEL通过同时在客户端设备的分离群中训练多个模型版本，从而实现大规模排名和建议模型培训。 FEL通过拱门层将受过训练的子模型集成到服务器上托管的集合模型中。我们的实验表明，与传统的联合学习设备相比，FEL导致0.43-2.31％的模型质量改进 - 对排名和建议系统用例的重大改进。

联合学习（FL）是数据是私人且敏感时的有前途的分布式学习框架。但是，当数据是异质且非独立且相同分布的（非IID）时，此框架中最新的解决方案并不是最佳的。我们提出了一种实用且强大的佛罗里达州个性化方法，该方法通过平衡探索和利用几种全球模型来适应异质和非IID数据。为了实现我们的个性化目标，我们使用了专家（MOE）的混合，这些专家（MOE）学会了分组彼此相似的客户，同时更有效地使用全球模型。我们表明，与病理非IID环境中的本地模型相比，我们的方法的准确性高达29.78％，高达4.38％，即使我们在IID环境中调整了方法。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

联合学习（FL）在分布式客户端上培训机器学习模型，而不会暴露单个数据。与通常基于仔细组织的数据的集中培训不同，FL处理通常不混阻和不平衡的设备数据。因此，处理所有数据的传统流行训练协议同样地导致浪费本地计算资源，并减慢全局学习过程。为此，我们提出了一个系统性的FLBalancer，它积极选择客户的培训样本。我们的示例选择策略在尊重客户端的隐私和计算能力的同时优先确定更多“信息性”数据。为了更好地利用样本选择来加速全球培训，我们进一步推出了一种自适应截止日期控制方案，该方案预测每个轮的最佳截止日期，具有不同的客户端列车数据。与具有截止日期配置方法的现有流算法相比，我们对三个不同域的五个数据集的评估表明，FedBalancer将时间至准确性的性能提高1.22〜4.62倍，同时提高模型精度1.0〜3.3％。我们还表明，通过展示在与三种不同的FL算法共同运行时，FedBalancer提高了收敛速度和准确性，可以随时适用于其他流动方法。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning.We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100× as compared to synchronized stochastic gradient descent.

联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。

随着对数据隐私和所有权的越来越关注，近年来见证了机器学习（ML）的范式转移。新兴的范式，联合学习（FL）引起了人们的关注，并已成为机器学习实现的新设计。 FL可以在中央服务器的协调下启用数据筒仓的ML模型培训，从而消除了开销，而无需共享原始数据。在本文中，我们对FL范式进行了综述，尤其是比较类型，网络结构和全局模型聚合方法。然后，我们对能源域中的FL应用进行了全面审查（请参阅本文的智能电网）。我们提供FL的主题分类，以解决各种与能源有关的问题，包括需求响应，识别，预测和联合优化。我们详细描述了分类法，并以讨论各个方面的讨论，包括其能源信息学应用程序中的挑战，机会和局限性，例如能源系统建模和设计，隐私和进化。

Federated learning involves training statistical models over remote devices or siloed data centers, such as mobile phones or hospitals, while keeping data localized. Training in heterogeneous and potentially massive networks introduces novel challenges that require a fundamental departure from standard approaches for large-scale machine learning, distributed optimization, and privacy-preserving data analysis. In this article, we discuss the unique characteristics and challenges of federated learning, provide a broad overview of current approaches, and outline several directions of future work that are relevant to a wide range of research communities.

联邦学习（FL）试图在本地客户端分发模型培训，而无需在集中式数据中心收集数据，从而消除了数据私人关系问题。 FL的一个主要挑战是数据异质性（每个客户的数据分布可能会有所不同），因为它可能导致本地客户的权重差异并减慢全球融合。当前专为数据异质性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响，并且是状态算法，即它们随着时间的推移维持局部统计数据。尽管有效，但这些方法只能用于FL的特殊情况，仅涉及少数可靠的客户。对于fl的更典型应用，客户端数量很大（例如，边缘设备和移动应用程序），这些方法无法应用，激发了对任何可用于任何数量客户端使用的无状态方法的无状态方法的需求。我们得出了一阶梯度正则化，以惩罚由于本地数据异质性而导致的本地更新不一致。具体而言，为了减轻权重差异，我们将全局数据分布的一阶近似引入本地目标，该目标凭直觉地惩罚了与全局更新相反方向的更新。最终结果是一种无状态的FL算法，可实现1）在非IID数据分布下，比SOTA方法明显更快地收敛（即较少的通信回合）和2）总体融合性能更高。重要的是，我们的方法不会对客户大小施加不切实际的限制，从而可以从大多数FL应用程序中向大量客户学习。

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。