Swarm learning (SL) is an emerging promising decentralized machine learning paradigm and has achieved high performance in clinical applications. SL solves the problem of a central structure in federated learning by combining edge computing and blockchain-based peer-to-peer network. While there are promising results in the assumption of the independent and identically distributed (IID) data across participants, SL suffers from performance degradation as the degree of the non-IID data increases. To address this problem, we propose a generative augmentation framework in swarm learning called SL-GAN, which augments the non-IID data by generating the synthetic data from participants. SL-GAN trains generators and discriminators locally, and periodically aggregation via a randomly elected coordinator in SL network. Under the standard assumptions, we theoretically prove the convergence of SL-GAN using stochastic approximations. Experimental results demonstrate that SL-GAN outperforms state-of-art methods on three real world clinical datasets including Tuberculosis, Leukemia, COVID-19.

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

Federated学习（FL）最近已成为流行的隐私合作学习范式。但是，它遭受了客户之间非独立和相同分布的（非IID）数据的困扰。在本文中，我们提出了一个新颖的框架，称为合成数据辅助联合学习（SDA-FL），以通过共享合成数据来解决这一非IID挑战。具体而言，每个客户端都预测了本地生成对抗网络（GAN）以生成差异化私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享的合成数据集。为了为合成数据集生成自信的伪标签，我们还提出了PS执行的迭代伪标记机制。本地私人数据集和合成数据集与自信的伪标签的结合可导致客户之间的数据分布几乎相同，从而提高了本地模型之间的一致性并使全球聚合受益。广泛的实验证明，在监督和半监督的设置下，所提出的框架在几个基准数据集中的大幅度优于基线方法。

将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。

事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。

在医学领域，通常寻求多中心协作来通过利用患者和临床数据的异质性来产生更广泛的发现。但是，最近的隐私法规阻碍了共享数据的可能性，因此，提出了支持诊断和预后的基于机器学习的解决方案。联合学习（FL）旨在通过将基于AI的解决方案带入数据所有者，而仅共享需要汇总的本地AI模型或其部分，以避免这种限制。但是，大多数现有的联合学习解决方案仍处于起步阶段，并且由于缺乏可靠和有效的聚合计划能够保留本地学到的知识，从而显示出薄弱的隐私保护，因为可以从模型更新中重建实际数据，因此显示出几个缺点。此外，这些方法中的大多数，尤其是那些处理医学数据的方法，都依赖于一种集中的分布式学习策略，该策略构成了稳健性，可伸缩性和信任问题。在本文中，我们提出了一种分散的分布式方法，该方法从经验重播和生成对抗性研究中利用概念，有效地整合了本地节点的功能，从而提供了能够在维持隐私的同时跨多个数据集进行概括的模型。为了模拟现实的非i.i.d，使用多个数据集对两项任务进行了两项任务测试：结核病和黑色素瘤分类。数据方案。结果表明，我们的方法实现了与标准（未赋予）学习和联合方法相当的性能（因此，更有利）。

联邦学习（FL）是利用属于患者，人，公司或行业的敏感数据的合适解决方案，这些数据在刚性隐私约束下工作的难题。 FL主要或部分地支持数据隐私和安全问题，并提供促进促进多个边缘设备或组织的模型问题的替代方案，以使用许多本地数据培训全局模型而不具有它们。由其分布式自然引起的FL的非IID数据具有显着的性能下降和稳定性偏斜。本文介绍了一种新颖的方法，通过增强图像动态平衡客户端的数据分布，以解决FL的非IID数据问题。介绍的方法非常稳定模型培训，并将模型的测试精度从83.22％提高到89.43％，对于高度IID FL设定中的胸部X射线图像的多胸疾病检测。 IID，非IID和非IID的结果，联合培训表明，该方法可能有助于鼓励组织或研究人员开发更好的系统，以获得与数据隐私的数据的价值不仅适用于医疗保健，而且领域。

Clustering has been extensively studied in centralized settings, but relatively unexplored in federated ones that data are distributed among multiple clients and can only be kept local at the clients. The necessity to invest more resources in improving federated clustering methods is twofold: 1) The performance of supervised federated learning models can benefit from clustering. 2) It is non-trivial to extend centralized ones to perform federated clustering tasks. In centralized settings, various deep clustering methods that perform dimensionality reduction and clustering jointly have achieved great success. To obtain high-quality cluster information, it is natural but non-trivial to extend these methods to federated settings. For this purpose, we propose a simple but effective federated deep clustering method. It requires only one communication round between the central server and clients, can run asynchronously, and can handle device failures. Moreover, although most studies have highlighted adverse effects of the non-independent and identically distributed (non-IID) data across clients, experimental results indicate that the proposed method can significantly benefit from this scenario.

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

更广泛的覆盖范围和更好的解决方案延迟减少5G需要其与多访问边缘计算（MEC）技术的组合。分散的深度学习（DDL），如联邦学习和群体学习作为对数百万智能边缘设备的隐私保留数据处理的有希望的解决方案，利用了本地客户端网络内的多层神经网络的分布式计算，而无需披露原始本地培训数据。值得注意的是，在金融和医疗保健等行业中，谨慎维护交易和个人医疗记录的敏感数据，DDL可以促进这些研究所的合作，以改善培训模型的性能，同时保护参与客户的数据隐私。在本调查论文中，我们展示了DDL的技术基础，通过分散的学习使社会许多人走。此外，我们通过概述DDL的挑战以及从新颖的沟通效率和可靠性的观点来概述目前本领域最先进的全面概述。

自从联合学习（FL）被引入具有隐私保护的分散学习技术以来，分布式数据的统计异质性是实现FL应用中实现稳健性能和稳定收敛性的主要障碍。已经研究了模型个性化方法来克服这个问题。但是，现有的方法主要是在完全标记的数据的先决条件下，这在实践中是不现实的，由于需要专业知识。由部分标记的条件引起的主要问题是，标记数据不足的客户可能会遭受不公平的性能增益，因为他们缺乏足够的本地分销见解来自定义全球模型。为了解决这个问题，1）我们提出了一个新型的个性化的半监督学习范式，该范式允许部分标记或未标记的客户寻求与数据相关的客户（助手代理）的标签辅助，从而增强他们对本地数据的认识； 2）基于此范式，我们设计了一个基于不确定性的数据关系度量，以确保选定的帮助者可以提供值得信赖的伪标签，而不是误导当地培训； 3）为了减轻助手搜索引入的网络过载，我们进一步开发了助手选择协议，以实现有效的绩效牺牲的有效沟通。实验表明，与其他具有部分标记数据的相关作品相比，我们提出的方法可以获得卓越的性能和更稳定的收敛性，尤其是在高度异质的环境中。

隐私法规法（例如GDPR）将透明度和安全性作为数据处理算法的设计支柱。在这种情况下，联邦学习是保护隐私的分布式机器学习的最具影响力的框架之一，从而实现了许多自然语言处理和计算机视觉任务的惊人结果。一些联合学习框架采用差异隐私，以防止私人数据泄漏到未经授权的政党和恶意攻击者。但是，许多研究突出了标准联邦学习对中毒和推理的脆弱性，因此引起了人们对敏感数据潜在风险的担忧。为了解决此问题，我们提出了SGDE，这是一种生成数据交换协议，可改善跨索洛联合会中的用户安全性和机器学习性能。 SGDE的核心是共享具有强大差异隐私的数据生成器，保证了对私人数据培训的培训，而不是通信显式梯度信息。这些发电机合成了任意大量数据，这些数据保留了私人样品的独特特征，但有很大差异。我们展示了将SGDE纳入跨核心联合网络如何提高对联邦学习最有影响力的攻击的弹性。我们在图像和表格数据集上测试我们的方法，利用β变量自动编码器作为数据生成器，并突出了对非生成数据的本地和联合学习的公平性和绩效改进。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

空中接入网络已被识别为各种事物互联网（物联网）服务和应用程序的重要驾驶员。特别是，以无人机互联网为中心的空中计算网络基础设施已经掀起了自动图像识别的新革命。这种新兴技术依赖于共享地面真理标记的无人机（UAV）群之间的数据，以培训高质量的自动图像识别模型。但是，这种方法将带来数据隐私和数据可用性挑战。为了解决这些问题，我们首先向一个半监督的联邦学习（SSFL）框架提供隐私保留的UAV图像识别。具体而言，我们提出了模型参数混合策略，以改善两个现实场景下的FL和半监督学习方法的天真组合（标签 - 客户端和标签 - 服务器），其被称为联合混合（FEDMIX）。此外，在不同环境中使用不同的相机模块，在不同环境中使用不同的相机模块，在不同的相机模块，即统计异质性，存在显着差异。为了减轻统计异质性问题，我们提出了基于客户参与训练的频率的聚合规则，即FedFReq聚合规则，可以根据其频率调整相应的本地模型的权重。数值结果表明，我们提出的方法的性能明显优于当前基线的性能，并且对不同的非IID等级的客户数据具有强大。

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

联邦学习（FL）和分裂学习（SL）是两个流行的分布式机器学习方法。遵循模型到数据方案;客户培训和测试机器学习模型而不共享原始数据。由于客户端和服务器之间的机器学习模型架构，SL提供比FL更好的模型隐私。此外，分割模型使SL成为资源受限环境的更好选择。然而，由于基于中继的训练，SL表现在多个客户端的继电器训练引起的速度。在这方面，本文提出了一种名为Splitfed Learning（SFL）的新方法，该方法可分摊两种方法消除其固有缺点，以及包含差异隐私和PIXELD的精制架构配置，以增强数据隐私和模型鲁棒性。我们的分析和经验结果表明，（纯）SFL提供了类似的测试精度和通信效率，作为SL，同时每个全球时代显着降低其用于多个客户端的SL中的计算时间。此外，如SL在SL中，它的通信效率随着客户的数量而改善。此外，在扩展实验环境下进一步评估了具有隐私和鲁棒性度量的SFL的性能。

跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。

With its capability to deal with graph data, which is widely found in practical applications, graph neural networks (GNNs) have attracted significant research attention in recent years. As societies become increasingly concerned with the need for data privacy protection, GNNs face the need to adapt to this new normal. Besides, as clients in Federated Learning (FL) may have relationships, more powerful tools are required to utilize such implicit information to boost performance. This has led to the rapid development of the emerging research field of federated graph neural networks (FedGNNs). This promising interdisciplinary field is highly challenging for interested researchers to grasp. The lack of an insightful survey on this topic further exacerbates the entry difficulty. In this paper, we bridge this gap by offering a comprehensive survey of this emerging field. We propose a 2-dimensional taxonomy of the FedGNNs literature: 1) the main taxonomy provides a clear perspective on the integration of GNNs and FL by analyzing how GNNs enhance FL training as well as how FL assists GNNs training, and 2) the auxiliary taxonomy provides a view on how FedGNNs deal with heterogeneity across FL clients. Through discussions of key ideas, challenges, and limitations of existing works, we envision future research directions that can help build more robust, explainable, efficient, fair, inductive, and comprehensive FedGNNs.

联合学习是分布式机器学习领域中的一个新兴概念。这个概念使甘斯能够从保留隐私的同时从丰富的分布式培训数据中受益。但是，在非IID设置中，当前的联合GAN体系结构是不稳定的，努力学习独特的功能并容易崩溃。在本文中，我们提出了一种新型的体系结构多流体，以解决非IID数据集的低质量图像，模式崩溃和不稳定性的问题。我们的结果表明，与基线Flgan相比，多流通量是平均20多个客户的稳定且性能的四倍。

联合学习（FL）是一个分布式的机器学习框架，可以减轻数据孤岛，在该筒仓中，分散的客户在不共享其私人数据的情况下协作学习全球模型。但是，客户的非独立且相同分布的（非IID）数据对训练有素的模型产生了负面影响，并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中，我们提出了一种联合矢量平均（FedVeca）方法来解决上述非IID数据问题。具体而言，我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量，其中步长为局部更新的数量，并且根据我们的定义将方向分为正和负。在FedVeca中，方向受步尺的影响，因此我们平均双向向量，以降低不同步骤尺寸的效果。然后，我们理论上分析了步骤大小与全球目标之间的关系，并在每个通信循环的步骤大小上获得上限。基于上限，我们为服务器和客户端设计了一种算法，以自适应调整使目标接近最佳的步骤大小。最后，我们通过构建原型系统对不同数据集，模型和场景进行实验，实验结果证明了FedVeca方法的有效性和效率。