联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

鲁棒性正成为联合学习的另一个重要挑战，因为每个客户的数据收集过程自然都伴有嘈杂的标签。但是，由于客户的数据异质性和噪音的不同程度，这加剧了客户到客户的性能差异，因此它更加复杂且具有挑战性。在这项工作中，我们提出了一种名为FedRn的强大联合学习方法，该方法利用具有高数据专业知识或相似性的K邻居邻居。我们的方法仅通过一组选定的干净示例训练，通过其结合混合模型确定，有助于减轻低绩效客户端之间的差距。我们通过对三个现实世界或合成基准数据集进行广泛评估来证明FedRN的优势。与现有的强大训练方法相比，结果表明，在嘈杂标签的存在下，联邦烷可显着提高测试准确性。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

联邦学习（FL）旨在以隐私的方式从大规模的分散设备中学习联合知识。但是，由于高质量标记的数据需要昂贵的人类智能和努力，因此带有错误标签的数据（称为嘈杂标签）无处不在，实际上不可避免地会导致性能退化。尽管提出了许多直接处理嘈杂标签的方法，但这些方法要么需要过多的计算开销，要么违反FL的隐私保护原则。为此，我们将重点放在FL上，目的是减轻嘈杂标签所产生的性能退化，同时保证数据隐私。具体而言，我们提出了一种局部自我调节方法，该方法通过隐式阻碍模型记忆噪声标签并明确地缩小了使用自我蒸馏之间的原始实例和增强实例之间的模型输出差异，从而有效地规范了局部训练过程。实验结果表明，我们提出的方法可以在三个基准数据集上的各种噪声水平中获得明显的抵抗力。此外，我们将方法与现有的最新方法集成在一起，并在实际数据集服装1M上实现卓越的性能。该代码可在https://github.com/sprinter1999/fedlsr上找到。

空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

联合学习（FL）是一个分布式的机器学习范式，可从分散的私人数据集中进行学习模型，在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上，标签噪声自然会发生在FL中，并遵循非i.i.d。客户之间的分布。由于非IID的挑战，现有的最先进的集中式方法表现出不令人满意的性能，而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里，我们提出了Fedln，这是一个框架，可以在不同的FL训练阶段处理标签噪声；即，FL初始化，设备模型培训和服务器模型聚合。具体而言，FedLN在单个联合回合中计算每客户噪声级估计，并通过纠正（或限制）噪声样本的效果来改善模型的性能。与其他现有方法相比，对各种公开视觉和音频数据集的广泛实验平均提高了24％，标签噪声水平为70％。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率，并报告了模型的识别率平均增长了9％，这强调了FEDLN对于改善提供给日常用户的FL服务很有用。

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。

With the development and progress of science and technology, the Internet of Things(IoT) has gradually entered people's lives, bringing great convenience to our lives and improving people's work efficiency. Specifically, the IoT can replace humans in jobs that they cannot perform. As a new type of IoT vehicle, the current status and trend of research on Unmanned Aerial Vehicle(UAV) is gratifying, and the development prospect is very promising. However, privacy and communication are still very serious issues in drone applications. This is because most drones still use centralized cloud-based data processing, which may lead to leakage of data collected by drones. At the same time, the large amount of data collected by drones may incur greater communication overhead when transferred to the cloud. Federated learning as a means of privacy protection can effectively solve the above two problems. However, federated learning when applied to UAV networks also needs to consider the heterogeneity of data, which is caused by regional differences in UAV regulation. In response, this paper proposes a new algorithm FedBA to optimize the global model and solves the data heterogeneity problem. In addition, we apply the algorithm to some real datasets, and the experimental results show that the algorithm outperforms other algorithms and improves the accuracy of the local model for UAVs.

Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.

传统的联邦优化方法的性能较差（即降低准确性），尤其是对于高度偏斜的数据。在本文中，我们调查了佛罗里达州的标签分布偏斜，在那里标签的分布各不相同。首先，我们从统计视图研究了标签分布偏斜。我们在理论上和经验上都证明了基于软马克斯跨凝结的先前方法不合适，这可能会导致本地模型非常适合少数群体和缺失的类别。此外，我们从理论上引入了一个偏离，以测量本地更新后梯度的偏差。最后，我们建议通过\ textbf {l} ogits \ textbf {c}启动）FedLc（\ textbf {fed {fed}学习，该学习根据每个类别的出现可能性。 FedLC通过添加成对标签的边距将细粒度校准的跨透镜损失应用于本地更新。联合数据集和现实世界数据集的广泛实验表明，联邦快递会导致更准确的全球模型和大大改善的性能。此外，将其他FL方法集成到我们的方法中可以进一步增强全球模型的性能。

机器学习模型已在移动网络中部署，以处理来自不同层的数据，以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题，已提出联合学习（FL）来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制，但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据，经典FL可能会遭受更长的模型训练时间（超过$ 4 \ times $）和显着的推理准确性（超过$ 7 \％\％$），则遭受了损失，观察到了。在我们的实验中。在这项工作中，我们迈出了第一步，考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量，以在FL中进行数据选择：在设备数据样本上，局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode}，一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架，用于协作网络设备，以协作存储有价值的数据示例，并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务（移动网络流量分类）和三个公共任务（综合任务，图像分类，人类活动识别）的实验结果显示了ODE的显着优势，而不是最先进的方法。特别是，在工业数据集上，ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加，并且在实践环境中对各种因素都有强大的态度。

联合学习（FL）是一种分布式机器学习方法，其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功，但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战，我们从新颖的角度重新考虑防御，即模型重量不断发展的频率。从经验上讲，我们获得了一种新颖的见解，即在FL的训练中，模型权重的频率不断发展，自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发，我们提出了一种基于模型权重演化频率的新型防御方法，称为WEF-DEFENSE。特别是，我们在本地训练期间首先收集重量演变的频率（定义为WEF-MATRIX）。对于每个客户端，它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后，服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后，服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明，与最先进的基线相比，WEF防御能力更好。

将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

由于客户之间统计异质性的诅咒，采用个性化联合学习方法已成为成功部署基于联合学习的服务的基本选择。在个性化技术的各种分支中，基于模型混合物的个性化方法是优选的，因为每个客户都有自己的个性化模型，因为联合学习。它通常需要本地模型和联合模型，但是这种方法要么仅限于部分参数交换，要么需要其他本地更新，每种都对新颖客户端无助，并且对客户的计算能力负担重。由于已经发现了两个或更多独立深度网络之间包含多种低损失解决方案的连接子空间的存在，因此我们将这种有趣的属性与基于模型混合物的个性化联合学习方法相结合，以改善个性化的性能。我们提出了一种个性化的联合学习方法，该方法诱导了体重空间中本地和联合模型的优势之间的明确联系，以相互促进。通过在几个基准数据集上进行的广泛实验，我们证明了我们的方法在个性化绩效和鲁棒性方面都可以在现实服务中实现有问题的情况。

联合学习通过与大量参与者启用学习统计模型的同时将其数据保留在本地客户中，从而提供了沟通效率和隐私的培训过程。但是，将平均损失函数天真地最小化的标准联合学习技术容易受到来自异常值，系统错误标签甚至对手的数据损坏。此外，由于对用户数据隐私的关注，服务提供商通常会禁止使用数据样本的质量。在本文中，我们通过提出自动加权的强大联合学习（ARFL）来应对这一挑战，这是一种新颖的方法，可以共同学习全球模型和本地更新的权重，以提供针对损坏的数据源的鲁棒性。我们证明了关于预测因素和客户权重的预期风险的学习，这指导着强大的联合学习目标的定义。通过将客户的经验损失与最佳P客户的平均损失进行比较，可以分配权重，因此我们可以减少损失较高的客户，从而降低对全球模型的贡献。我们表明，当损坏的客户的数据与良性不同时，这种方法可以实现鲁棒性。为了优化目标函数，我们根据基于块最小化范式提出了一种通信效率算法。我们考虑了不同的深层神经网络模型，在包括CIFAR-10，女权主义者和莎士比亚在内的多个基准数据集上进行实验。结果表明，我们的解决方案在不同的情况下具有鲁棒性，包括标签改组，标签翻转和嘈杂的功能，并且在大多数情况下都优于最先进的方法。

联合学习使不同的各方能够在服务器的编排下协作建立全球模型，同时将培训数据保留在客户的设备上。但是，当客户具有异质数据时，性能会受到影响。为了解决这个问题，我们假设尽管数据异质性，但有些客户的数据分布可以集群。在以前的方法中，为了群集客户端，服务器要求客户端同时发送参数。但是，在有大量参与者可能有限的参与者的情况下，这可能是有问题的。为了防止这种瓶颈，我们提出了FLIC（使用增量聚类的联合学习），其中服务器利用客户在联合培训期间发送的客户发送的更新，而不是要求他们同时发送参数。因此，除了经典的联合学习所需的内容外，服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例，我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式，并从经验上表明，即使恶意客户的比例高于50 \％，FLIC也是针对中毒攻击的强大防御。