我们研究了在分散的点对点环境中培训个性化深度学习模型的问题，重点是客户之间的数据分布在客户之间有所不同，而不同的客户具有不同的本地学习任务。我们研究了协变量和标签变化，我们的贡献是一种算法，对于每个客户，根据本地任务的相似性估计，它都会发现有益的协作。我们的方法不依赖于难以估计的超参数，例如客户群的数量，而是使用基于新颖的自适应八卦算法的软群集分配不断适应网络拓扑。我们在各种设置中测试了所提出的方法，其中数据并非独立且在客户端之间分布相同。实验评估表明，对于此问题设置，所提出的方法的性能优于以前的最新算法，并且在以前的方法失败的情况下处理情况很好。

联合学习（FL）是数据是私人且敏感时的有前途的分布式学习框架。但是，当数据是异质且非独立且相同分布的（非IID）时，此框架中最新的解决方案并不是最佳的。我们提出了一种实用且强大的佛罗里达州个性化方法，该方法通过平衡探索和利用几种全球模型来适应异质和非IID数据。为了实现我们的个性化目标，我们使用了专家（MOE）的混合，这些专家（MOE）学会了分组彼此相似的客户，同时更有效地使用全球模型。我们表明，与病理非IID环境中的本地模型相比，我们的方法的准确性高达29.78％，高达4.38％，即使我们在IID环境中调整了方法。

事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。

联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning.We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100× as compared to synchronized stochastic gradient descent.

联合学习允许一组分布式客户端培训私有数据的公共机器学习模型。模型更新的交换由中央实体或以分散的方式管理，例如，由一个区间的。但是，所有客户端的强大概括都使得这些方法不合适，不合适地分布（非IID）数据。我们提出了一个统一的统一方法，在联合学习中的权力下放和个性化，该方法是基于模型更新的定向非循环图（DAG）。客户端代替培训单个全局模型，客户端专门从事来自其他客户端的模型更新的本地数据，而不是依赖于各自数据的相似性。这种专业化从基于DAG的沟通和模型更新的选择隐含地出现。因此，我们启用专业模型的演变，它专注于数据的子集，因此覆盖非IID数据，而不是在基于区块的基于区块的设置中的联合学习。据我们所知，拟议的解决方案是第一个在完全分散的联邦学习中团结的个性化和中毒鲁棒性。我们的评价表明，模型的专业化直接从基于DAG的模型更新通信到三个不同的数据集。此外，与联合平均相比，我们在客户端展示稳定的模型精度和更少的方差。

联合学习使不同的各方能够在服务器的编排下协作建立全球模型，同时将培训数据保留在客户的设备上。但是，当客户具有异质数据时，性能会受到影响。为了解决这个问题，我们假设尽管数据异质性，但有些客户的数据分布可以集群。在以前的方法中，为了群集客户端，服务器要求客户端同时发送参数。但是，在有大量参与者可能有限的参与者的情况下，这可能是有问题的。为了防止这种瓶颈，我们提出了FLIC（使用增量聚类的联合学习），其中服务器利用客户在联合培训期间发送的客户发送的更新，而不是要求他们同时发送参数。因此，除了经典的联合学习所需的内容外，服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例，我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式，并从经验上表明，即使恶意客户的比例高于50 \％，FLIC也是针对中毒攻击的强大防御。

我们介绍了一个新颖的联合学习框架FedD3，该框架减少了整体沟通量，并开放了联合学习的概念，从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法（i）大大减少沟通量，并（ii）将转移限制为一击通信，而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集，然后汇总那些去中心化的蒸馏数据集（通常以几个无法识别的图像，通常小于模型小于模型），而不是像其他联合学习方法共享模型更新，而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明，FedD3在所需的沟通量方面显着优于其他联合学习框架，同时，根据使用情况或目标数据集，它为能够在准确性和沟通成本之间的权衡平衡。例如，要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型，FedD3可以通过相似的通信量增加准确性超过71％，或者节省98％的通信量，同时达到相同的准确性与其他联合学习方法相比。

在存在参与者的非IID数据分布的情况下，经典联合学习方法会产生明显的绩效降解。当每个本地数据集的分布与全局数据集有很大不同时，每个客户端的本地目标将与全局Optima不一致，从而导致本地更新中的漂移。这种现象极大地影响了客户的表现。这是为了让客户参加联合学习的主要动力是获得更好的个性化模型。为了解决上述问题，我们提出了一种新的算法弗利斯（Flis），该算法通过利用客户模型的推理相似性，将客户人口与可共同训练数据分布的群集分组。该框架捕获了设置，其中不同的用户组具有自己的目标（学习任务），但通过在同一集群（相同的学习任务）中汇总其数据以执行更有效和个性化的联合学习。我们提出了实验结果，以证明FLIS比CIFAR-100/10，SVHN和FMNIST数据集的最先进基准的好处。我们的代码可在https://github.com/mmorafah/flis上找到。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

培训具有分布式数据的集中模型的联合学习工作流程越来越受欢迎。但是，直到最近，这是贡献具有类似计算能力的客户的领域。在边缘生成和处理的快速扩展IOT空间和数据正在鼓励更多地努力扩展联合学习以包括异构系统。以前的方法将较小模型分发给客户端，以蒸馏出本地数据的特性。但是，在客户端的大量本地数据仍然存在培训的问题。我们建议减少培训全球模型所需的本地数据量。我们通过将模型分成通用特征提取的下部和对本地数据的特性更敏感的上部来执行此操作。我们通过聚类本地数据并仅选择用于培训的最具代表性样本来培训上部所需的数据量。我们的实验表明，小于1％的本地数据可以通过我们的缝隙网络方法将客户数据的特征传输到全球模型。这些初步结果令人鼓舞的是，在计算资源有限的设备上缩短数据，持续减少数据，但这阻碍了对全球模型有助于贡献的关键信息。

知识共享和模型个性化是应对联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端：1）学习共享模型，以使用非IID数据为所有客户提供服务，以及2）为每个客户（即个性化fl）学习个性化模型。有一个权衡解决方案，即群集或集群个性化的FL，旨在将相似的客户聚集到一个集群中，然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架，以通过考虑客户之间的凝聚力来证明融合。此外，我们以一种称为加权聚类联合学习（WECFL）的算法体现了该框架。经验分析验证了理论结果，并证明了在拟议的集群非IID设置下提出的WECFL的有效性。

联合学习允许多方协作，在不共享本地数据的情况下协作培训联合模型。这使得机器学习在固有的分布式的，诸如医疗领域中的固有分布式的未差异数据的设置中的应用。在实践中，通常通过聚合当地模型来实现联合培训，其中当地培训目标必须与联合（全球）目标相似。然而，通常，当地数据集是如此之小，即当地目标从全球目标差异很大，导致联合学习失败。我们提出了一种新的方法，它与本地模型的排列交织在一起。排列将每个本地模型暴露给当地数据集的菊花链，导致数据稀疏域中的更有效培训。这使得能够培训极小的本地数据集，例如跨医院的患者数据，同时保留联合学习的培训效率和隐私效益。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

联合学习提供了以分布式方式学习异质用户数据的能力，同时保留用户隐私。但是，当前的客户选择技术是偏见的来源，因为它歧视了缓慢的客户。对于初学者，它选择满足某些网络和系统特定标准的客户端，从而选择慢速客户端。即使将这些客户包括在培训过程中，他们要么踩踏培训，要么因太慢而从回合中完全掉下来。我们提出的想法希望通过查看智能客户的选择和调度技术来找到快速融合和异质性之间的绝佳位置。

Federated Learning (FL) is currently the most widely adopted framework for collaborative training of (deep) machine learning models under privacy constraints. Albeit it's popularity, it has been observed that Federated Learning yields suboptimal results if the local clients' data distributions diverge. To address this issue, we present Clustered Federated Learning (CFL), a novel Federated Multi-Task Learning (FMTL) framework, which exploits geometric properties of the FL loss surface, to group the client population into clusters with jointly trainable data distributions. In contrast to existing FMTL approaches, CFL does not require any modifications to the FL communication protocol to be made, is applicable to general non-convex objectives (in particular deep neural networks) and comes with strong mathematical guarantees on the clustering quality. CFL is flexible enough to handle client populations that vary over time and can be implemented in a privacy preserving way. As clustering is only performed after Federated Learning has converged to a stationary point, CFL can be viewed as a post-processing method that will always achieve greater or equal performance than conventional FL by allowing clients to arrive at more specialized models. We verify our theoretical analysis in experiments with deep convolutional and recurrent neural networks on commonly used Federated Learning datasets.

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。