联合学习是一种来自分散数据集的培训模型的新兴技术。在许多应用程序中，参与联合学习系统的数据所有者不仅拥有数据，还拥有一组域知识。这些知识包括人类的知识和工艺，对联邦学习任务非常有帮助。在这项工作中，我们提出了一个联合学习框架，该框架允许注入参与者的领域知识，其中关键思想是通过本地知识来完善全球模型。我们认为的方案是由真正的行业级应用激励的，我们证明了我们采用该应用的有效性。

联合学习是一种新兴的分散机器学习方案，允许多个数据所有者在确保数据隐私的同时协同工作。联邦学习的成功在很大程度上取决于数据所有者的参与。为了维持和鼓励数据业主的参与，公正地评估数据所有者提供的数据质量并相应地奖励它们是至关重要的。联邦福利价值，最近由Wang等人提出。 [联合学习，2020]是联合学习框架下的数据值的措施，其满足数据估值的许多所需属性。然而，联邦福利价值设计中潜在的不公平仍然存在因素，因为具有相同本地数据的两个数据所有者可能无法接收相同的评估。我们提出了一种新的措施，称为已联邦福利价值，以提高联邦福利价值的公平性。该设计取决于完成由数据所有者的不同子集的所有可能贡献组成的矩阵。它在温和条件下显示，该矩阵通过利用优化而利用概念和工具而大致低等级。理论分析和实证评估都验证了拟议的措施在许多情况下改善公平性。

联合学习是一种流行的技术，用于在不共享数据的情况下培训分布式数据源上的机器学习模型。基于垂直的联合学习或基于功能的联合学习适用于不同数据源共享相同的样本ID空间但在特征空间中不同的情况。为了确保数据所有者的长期参与，客观地评估每个数据源的贡献并相应地汇总贡献至关重要。福利价值（SV）是源自合作博弈论的可怕公平贡献估值指标。然而，计算SV需要在数据源的每个子集中广泛地重新培训模型，这导致联合学习中的高通信成本。我们提出了一种基于SV的垂直联合福利价值（VerfedSv）的贡献估值度量。我们表明Verfedsv不仅满足了公平性的许多理想的属性，而且还有效地计算，并且可以适用于同步和异步垂直联合学习算法。理论分析和广泛的实验结果均验证了Verfedsv的公平性，效率和适应性。

Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

个性化联合学习（FL）是佛罗里达州的一个新兴研究领域，在客户之间存在数据异质性的情况下，可以学习一个易于适应的全球模型。但是，个性化FL的主要挑战之一是，由于客户数据与服务器隔离以确保隐私，因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题，我们专注于服务器可以独立于客户数据独立于客户数据的问题设置，这是各种应用程序中普遍的问题设置，但在现有文献中相对尚未探索。具体而言，我们提出了FedSim，这是一种针对个性化FL的新方法，该方法积极利用此类服务​​器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上，我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法，通过计算服务器中的完整元梯度，在计算上更有效，并且收敛速度高达34.2％。

联合学习是一种数据解散隐私化技术，用于以安全的方式执行机器或深度学习。在本文中，我们介绍了有关联合学习的理论方面客户次数有所不同的用例。具体而言，使用从开放数据存储库中获得的胸部X射线图像提出了医学图像分析的用例。除了与隐私相关的优势外，还将研究预测的改进（就曲线下的准确性和面积而言）和减少执行时间（集中式方法）。将从培训数据中模拟不同的客户，以不平衡的方式选择，即，他们并非都有相同数量的数据。考虑三个或十个客户之间的结果与集中案件相比。间歇性客户将分析两种遵循方法，就像在实际情况下，某些客户可能会离开培训，一些新的新方法可能会进入培训。根据准确性，曲线下的区域和执行时间的结果，结果的结果的演变显示为原始数据被划分的客户次数。最后，提出了该领域的改进和未来工作。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

联合学习（FL）有助于多个客户共同培训机器学习模型，而无需共享其私人数据。但是，客户的非IID数据给FL带来了艰巨的挑战。现有的个性化方法在很大程度上依赖于将一个完整模型作为基本单元的默认处理方法，而忽略了不同层对客户非IID数据的重要性。在这项工作中，我们提出了一个新的框架，联合模型组成部分自我注意力（FEDMCSA），以处理FL中的非IID数据，该数据采用模型组件自我注意机制来颗粒片促进不同客户之间的合作。这种机制促进了相似模型组件之间的合作，同时减少了差异很大的模型组件之间的干扰。我们进行了广泛的实验，以证明FEDMCSA在四个基准数据集上的表现优于先前的方法。此外，我们从经验上展示了模型组成部分自我发项机制的有效性，该机制与现有的个性化FL互补，可以显着提高FL的性能。

联合学习允许客户在保持数据本地时协同学习统计模型。联合学习最初用于培训一个独特的全局模型来为所有客户提供服务，但是当客户的本地数据分布是异构时，这种方法可能是次优。为了解决此限制，最近的个性化联合学习方法为每个客户提供单独的模型，同时仍然利用其他客户端提供的知识。在这项工作中，我们利用深神经网络从非表格数据中提取高质量矢量表示（嵌入），例如图像和文本的能力，提出基于本地记忆的个性化机制。根据全局模型提供的共享表示，将个性化与All-Nealest邻居（KNN）模型插入预先训练的全局模型。我们为所提出的方法提供泛化界限，我们展示了一套联合数据集，这种方法比最先进的方法实现了更高的准确性和公平性。

随着对数据隐私和所有权的越来越关注，近年来见证了机器学习（ML）的范式转移。新兴的范式，联合学习（FL）引起了人们的关注，并已成为机器学习实现的新设计。 FL可以在中央服务器的协调下启用数据筒仓的ML模型培训，从而消除了开销，而无需共享原始数据。在本文中，我们对FL范式进行了综述，尤其是比较类型，网络结构和全局模型聚合方法。然后，我们对能源域中的FL应用进行了全面审查（请参阅本文的智能电网）。我们提供FL的主题分类，以解决各种与能源有关的问题，包括需求响应，识别，预测和联合优化。我们详细描述了分类法，并以讨论各个方面的讨论，包括其能源信息学应用程序中的挑战，机会和局限性，例如能源系统建模和设计，隐私和进化。

机器学习模型已在移动网络中部署，以处理来自不同层的数据，以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题，已提出联合学习（FL）来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制，但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据，经典FL可能会遭受更长的模型训练时间（超过$ 4 \ times $）和显着的推理准确性（超过$ 7 \％\％$），则遭受了损失，观察到了。在我们的实验中。在这项工作中，我们迈出了第一步，考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量，以在FL中进行数据选择：在设备数据样本上，局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode}，一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架，用于协作网络设备，以协作存储有价值的数据示例，并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务（移动网络流量分类）和三个公共任务（综合任务，图像分类，人类活动识别）的实验结果显示了ODE的显着优势，而不是最先进的方法。特别是，在工业数据集上，ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加，并且在实践环境中对各种因素都有强大的态度。

联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。

With the development and progress of science and technology, the Internet of Things(IoT) has gradually entered people's lives, bringing great convenience to our lives and improving people's work efficiency. Specifically, the IoT can replace humans in jobs that they cannot perform. As a new type of IoT vehicle, the current status and trend of research on Unmanned Aerial Vehicle(UAV) is gratifying, and the development prospect is very promising. However, privacy and communication are still very serious issues in drone applications. This is because most drones still use centralized cloud-based data processing, which may lead to leakage of data collected by drones. At the same time, the large amount of data collected by drones may incur greater communication overhead when transferred to the cloud. Federated learning as a means of privacy protection can effectively solve the above two problems. However, federated learning when applied to UAV networks also needs to consider the heterogeneity of data, which is caused by regional differences in UAV regulation. In response, this paper proposes a new algorithm FedBA to optimize the global model and solves the data heterogeneity problem. In addition, we apply the algorithm to some real datasets, and the experimental results show that the algorithm outperforms other algorithms and improves the accuracy of the local model for UAVs.

A fundamental challenge to providing edge-AI services is the need for a machine learning (ML) model that achieves personalization (i.e., to individual clients) and generalization (i.e., to unseen data) properties concurrently. Existing techniques in federated learning (FL) have encountered a steep tradeoff between these objectives and impose large computational requirements on edge devices during training and inference. In this paper, we propose SplitGP, a new split learning solution that can simultaneously capture generalization and personalization capabilities for efficient inference across resource-constrained clients (e.g., mobile/IoT devices). Our key idea is to split the full ML model into client-side and server-side components, and impose different roles to them: the client-side model is trained to have strong personalization capability optimized to each client's main task, while the server-side model is trained to have strong generalization capability for handling all clients' out-of-distribution tasks. We analytically characterize the convergence behavior of SplitGP, revealing that all client models approach stationary points asymptotically. Further, we analyze the inference time in SplitGP and provide bounds for determining model split ratios. Experimental results show that SplitGP outperforms existing baselines by wide margins in inference time and test accuracy for varying amounts of out-of-distribution samples.

空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。

如今，信息技术的发展正在迅速增长。在大数据时代，个人信息的隐私更加明显。主要的挑战是找到一种方法来确保在发布和分析数据时不会披露敏感的个人信息。在信任的第三方数据策展人的假设上建立了集中式差异隐私。但是，这个假设在现实中并不总是正确的。作为一种新的隐私保护模型，当地的差异隐私具有相对强大的隐私保证。尽管联邦学习相对是一种用于分布式学习的隐私方法，但它仍然引入了各种隐私问题。为了避免隐私威胁并降低沟通成本，我们建议将联合学习和当地差异隐私与动量梯度下降整合在一起，以提高机器学习模型的性能。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。