在现实世界应用中，联合学习（FL）遇到了两个挑战：（1）可伸缩性，尤其是应用于大型物联网网络时； （2）如何使用异质数据对环境进行健全。意识到第一个问题，我们旨在设计一个名为Full-Stack FL（F2L）的新型FL框架。更具体地说，F2L使用层次结构架构，使扩展FL网络可以访问而无需重建整个网络系统。此外，利用层次网络设计的优势，我们在全球服务器上提出了一种新的标签驱动知识蒸馏（LKD）技术来解决第二个问题。与当前的知识蒸馏技术相反，LKD能够训练学生模型，该模型由所有教师模型的良好知识组成。因此，我们提出的算法可以有效地提取区域数据分布（即区域汇总模型）的知识，以减少客户在使用非独立分布数据的FL系统下操作时客户模型之间的差异。广泛的实验结果表明：（i）我们的F2L方法可以显着提高所有全球蒸馏的总体FL效率，并且（ii）F2L随着全球蒸馏阶段的发生而迅速达到收敛性，而不是在每个通信周期中提高。

将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。

随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

联合学习（FL）在中央服务器的帮助下支持多个客户的全球机器学习模型的分布式培训。每个客户端持有的本地数据集从未在FL中交换，因此保护本地数据集隐私受到保护。尽管FL越来越流行，但不同客户的数据异质性导致客户模型漂移问题，并导致模型性能降级和模型公平不佳。为了解决这个问题，我们在本文中使用全球本地知识融合（FEDKF）计划设计联合学习。 FEDKF中的关键思想是让服务器返回每个训练回合中的全局知识，以与本地知识融合，以便可以将本地模型正规化为全球最佳选择。因此，可以缓解客户模型漂移问题。在FEDKF中，我们首先提出了支持精确的全球知识表示形式的主动模型聚合技术。然后，我们提出了一种无数据的知识蒸馏（KD）方法，以促进KD从全局模型到本地模型，而本地模型仍然可以同时学习本地知识（嵌入本地数据集中），从而实现了全局 - 本地知识融合过程。理论分析和密集实验表明，FEDKF同时实现高模型性能，高公平性和隐私性。纸质审查后，项目源代码将在GitHub上发布。

联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。

联邦学习（FL）旨在以隐私的方式从大规模的分散设备中学习联合知识。但是，由于高质量标记的数据需要昂贵的人类智能和努力，因此带有错误标签的数据（称为嘈杂标签）无处不在，实际上不可避免地会导致性能退化。尽管提出了许多直接处理嘈杂标签的方法，但这些方法要么需要过多的计算开销，要么违反FL的隐私保护原则。为此，我们将重点放在FL上，目的是减轻嘈杂标签所产生的性能退化，同时保证数据隐私。具体而言，我们提出了一种局部自我调节方法，该方法通过隐式阻碍模型记忆噪声标签并明确地缩小了使用自我蒸馏之间的原始实例和增强实例之间的模型输出差异，从而有效地规范了局部训练过程。实验结果表明，我们提出的方法可以在三个基准数据集上的各种噪声水平中获得明显的抵抗力。此外，我们将方法与现有的最新方法集成在一起，并在实际数据集服装1M上实现卓越的性能。该代码可在https://github.com/sprinter1999/fedlsr上找到。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

一滴联合学习（FL）最近被出现为有希望的方法，允许中央服务器在单个通信中学习模型。尽管通信成本低，但现有的一次性的单次方法大多是不切实际或面临的固有限制，例如，需要公共数据集，客户的型号是同质的，需要上传其他数据/型号信息。为了克服这些问题，我们提出了一种更实用的无数据方法，名为FEDSYN的一枪框架，具有异质性。我们的Fedsyn通过数据生成阶段和模型蒸馏阶段列出全球模型。据我们所知，FEDSYN是由于以下优点，FEDSYN可以实际应用于各种实际应用程序的方法：（1）FEDSYN不需要在客户端之间传输的其他信息（模型参数除外）服务器; （2）FEDSYN不需要任何用于培训的辅助数据集; （3）FEDSYN是第一个考虑FL中的模型和统计异质性，即客户的数据是非IID，不同的客户端可能具有不同的模型架构。关于各种现实世界数据集的实验表明了我们的Fedsyn的优越性。例如，当数据是非IID时，FEDSYN在CIFAR10数据集中优于CEFAR10数据集的最佳基线方法FED-ADI的最佳基准方法。

联合学习（FL）是一个新的人工智能概念，它使得互联网（IoT）设备能够学习协作模型，而无需将原始数据发送到集中的节点进行处理。尽管有许多优势，但在物联网设备上的计算资源较低，交换模型参数的高通信成本使得FL在大型物联网网络中的应用非常有限。在这项工作中，我们为非常大的物联网网络开发了一种新型的FL压缩方案，称为高压联合学习（HCFL）。 HCFL可以减少FL过程的数据负载，而无需更改其结构和超参数。通过这种方式，我们不仅可以显着降低沟通成本，而且使密集学习过程更适应低计算资源的物联网设备。此外，我们研究了IoT设备数量与FL模型的收敛水平之间的关系，从而更好地评估了FL过程的质量。我们在模拟和数学分析中演示了HCFL方案。我们提出的理论研究可以用作最低满意度的水平，证明在满足确定的配置时，FL过程可以实现良好的性能。因此，我们表明HCFL适用于具有许多物联网设备的任何FLENTECTED网络。

Federated Learning (FL) enables the training of Deep Learning models without centrally collecting possibly sensitive raw data. This paves the way for stronger privacy guarantees when building predictive models. The most used algorithms for FL are parameter-averaging based schemes (e.g., Federated Averaging) that, however, have well known limits: (i) Clients must implement the same model architecture; (ii) Transmitting model weights and model updates implies high communication cost, which scales up with the number of model parameters; (iii) In presence of non-IID data distributions, parameter-averaging aggregation schemes perform poorly due to client model drifts. Federated adaptations of regular Knowledge Distillation (KD) can solve and/or mitigate the weaknesses of parameter-averaging FL algorithms while possibly introducing other trade-offs. In this article, we provide a review of KD-based algorithms tailored for specific FL issues.

联邦学习（FL）的稳健性对于分布式培训的准确全球模型的分布式培训至关重要。通过典型聚合模型更新的协作学习框架容易受到来自对抗客户的中毒攻击。由于全局服务器和参与者之间的共享信息仅限于模型参数，因此检测错误的模型更新是挑战性的。此外，现实世界数据集通常在参与者中异质且不独立，并且不独立，并且在非IID中分布（非IID），这使得这种稳健的流水线更加困难。在这项工作中，我们提出了一种新颖的鲁棒聚集方法，联邦鲁棒自适应蒸馏（Fedrad），以检测基于中值统计的属性的对手和鲁棒地聚合本地模型，然后执行适应的集合知识蒸馏。我们运行广泛的实验，以评估拟议的方法对最近公布的作品。结果表明，FEDRAD在存在对手的情况下表现出所有其他聚合器，以及异构数据分布。

In federated learning, a strong global model is collaboratively learned by aggregating clients' locally trained models. Although this precludes the need to access clients' data directly, the global model's convergence often suffers from data heterogeneity. This study starts from an analogy to continual learning and suggests that forgetting could be the bottleneck of federated learning. We observe that the global model forgets the knowledge from previous rounds, and the local training induces forgetting the knowledge outside of the local distribution. Based on our findings, we hypothesize that tackling down forgetting will relieve the data heterogeneity problem. To this end, we propose a novel and effective algorithm, Federated Not-True Distillation (FedNTD), which preserves the global perspective on locally available data only for the not-true classes. In the experiments, FedNTD shows state-of-the-art performance on various setups without compromising data privacy or incurring additional communication costs.

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

对于大多数现有的联合学习算法，每一轮都包括最大程度地减少每个客户端的损失功能，以在客户端学习最佳模型，然后在服务器上汇总这些客户端模型。客户端的模型参数的点估计并未考虑到每个客户端估计的模型中的不确定性。但是，在许多情况下，尤其是在有限的数据设置中，考虑到客户模型中的不确定性以实现更准确和健壮的预测是有益的。不确定性还为其他重要任务提供了有用的信息，例如主动学习和分布（OOD）检测。我们提出了一个贝叶斯联合学习的框架，每个客户都使用其培训数据侵入后验预测分布，并提出各种方法，以在服务器上汇总这些特定于客户端的预测分布。由于交流和汇总预测分布可能具有挑战性且昂贵，因此我们的方法基于将每个客户的预测分布提炼成一个深层的神经网络。这使我们能够利用标准联合学习的进步，也可以为贝叶斯联邦学习。与最近试图估算每个客户模型不确定性的最近作品不同，我们的工作也没有做出任何限制性假设，例如客户后分布的形式。我们评估了我们在联合环境中的分类方法，以及在联邦设置中的积极学习和OOD检测，我们的方法在其上优于各种现有的联合学习基线。

聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。

一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。