联合学习已被引入新的机器学习范式，以增强本地设备的使用。在服务器级别，FL定期聚集在分布式客户端上本地学习的模型，以获得更通用的模型。当前的解决方案依赖于客户端的大量存储数据的可用性，以微调服务器发送的模型。这种设置在移动普遍计算中不现实，在该计算中必须保持数据存储较低，并且数据特征可能会发生巨大变化。为了解释这种可变性，解决方案是使用客户定期收集的数据来逐步调整接收到的模型。但是这种天真的方法使客户面临着灾难性遗忘的众所周知的问题。为了解决这个问题，我们定义了一种联合的持续学习方法，该方法主要基于蒸馏。我们的方法允许更好地利用资源，从而消除了在新数据到达时从头开始重新审阅的需求，并通过限制存储的数据量来减少内存使用量。该提案已在人类活动识别（HAR）领域进行了评估，并已证明可以有效地降低灾难性的遗忘效果。

联合学习已被引入新的机器学习范式，以增强本地设备的使用。在服务器级别，FL定期聚集在分布式客户端上本地学习的模型，以获得更通用的模型。这样，没有通过网络发送私人数据，并且降低了通信成本。但是，当前的解决方案依赖于客户端的大量存储数据的可用性，以微调服务器发送的模型。这种设置在移动普遍计算中不现实，在该计算中必须保持数据存储较低，并且数据特征（分布）可能会发生巨大变化。为了解释这种可变性，解决方案是使用客户定期收集的数据来逐步调整接收到的模型。但是这种天真的方法使客户面临着灾难性遗忘的众所周知的问题。本文的目的是在智能手机的移动人类活动识别环境中证明这个问题。

Deep Neural Networks (DNNs) have been ubiquitously adopted in internet of things and are becoming an integral of our daily life. When tackling the evolving learning tasks in real world, such as classifying different types of objects, DNNs face the challenge to continually retrain themselves according to the tasks on different edge devices. Federated continual learning is a promising technique that offers partial solutions but yet to overcome the following difficulties: the significant accuracy loss due to the limited on-device processing, the negative knowledge transfer caused by the limited communication of non-IID data, and the limited scalability on the tasks and edge devices. In this paper, we propose FedKNOW, an accurate and scalable federated continual learning framework, via a novel concept of signature task knowledge. FedKNOW is a client side solution that continuously extracts and integrates the knowledge of signature tasks which are highly influenced by the current task. Each client of FedKNOW is composed of a knowledge extractor, a gradient restorer and, most importantly, a gradient integrator. Upon training for a new task, the gradient integrator ensures the prevention of catastrophic forgetting and mitigation of negative knowledge transfer by effectively combining signature tasks identified from the past local tasks and other clients' current tasks through the global model. We implement FedKNOW in PyTorch and extensively evaluate it against state-of-the-art techniques using popular federated continual learning benchmarks. Extensive evaluation results on heterogeneous edge devices show that FedKNOW improves model accuracy by 63.24% without increasing model training time, reduces communication cost by 34.28%, and achieves more improvements under difficult scenarios such as large numbers of tasks or clients, and training different complex networks.

Federated Learning (FL) enables the training of Deep Learning models without centrally collecting possibly sensitive raw data. This paves the way for stronger privacy guarantees when building predictive models. The most used algorithms for FL are parameter-averaging based schemes (e.g., Federated Averaging) that, however, have well known limits: (i) Clients must implement the same model architecture; (ii) Transmitting model weights and model updates implies high communication cost, which scales up with the number of model parameters; (iii) In presence of non-IID data distributions, parameter-averaging aggregation schemes perform poorly due to client model drifts. Federated adaptations of regular Knowledge Distillation (KD) can solve and/or mitigate the weaknesses of parameter-averaging FL algorithms while possibly introducing other trade-offs. In this article, we provide a review of KD-based algorithms tailored for specific FL issues.

随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。

一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。

近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。

In federated learning, a strong global model is collaboratively learned by aggregating clients' locally trained models. Although this precludes the need to access clients' data directly, the global model's convergence often suffers from data heterogeneity. This study starts from an analogy to continual learning and suggests that forgetting could be the bottleneck of federated learning. We observe that the global model forgets the knowledge from previous rounds, and the local training induces forgetting the knowledge outside of the local distribution. Based on our findings, we hypothesize that tackling down forgetting will relieve the data heterogeneity problem. To this end, we propose a novel and effective algorithm, Federated Not-True Distillation (FedNTD), which preserves the global perspective on locally available data only for the not-true classes. In the experiments, FedNTD shows state-of-the-art performance on various setups without compromising data privacy or incurring additional communication costs.

联合学习是一种新的机器学习范式，涉及独立设备上的分布式模型学习。联合学习的众多优点之一是，培训数据留在设备上（例如智能手机），并且仅与集中式服务器共享学习的模型。在监督学习的情况下，标签被委托给客户。但是，对于许多任务，例如人类活动识别，获取此类标签可能非常昂贵且容易出错。因此，大量数据仍然没有标记和未能探索。主要关注监督学习的大多数现有联合学习方法主要忽略了这些未标记的数据。此外，目前尚不清楚标准联合学习方法是否适合于自制学习。处理该问题的少数研究局限于同质数据集的有利状况。这项工作为在现实的环境中对联合学习的参考评估奠定了基础。我们表明，标准的轻型自动编码器和标准联合平均值无法通过几个现实的异质数据集学习对人类活动识别的强大表示形式。这些发现倡导在联合自我监督学习方面进行更深入的研究工作，以利用移动设备上存在的异质无标记数据的质量。

Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.

The heterogeneity of hardware and data is a well-known and studied problem in the community of Federated Learning (FL) as running under heterogeneous settings. Recently, custom-size client models trained with Knowledge Distillation (KD) has emerged as a viable strategy for tackling the heterogeneity challenge. However, previous efforts in this direction are aimed at client model tuning rather than their impact onto the knowledge aggregation of the global model. Despite performance of global models being the primary objective of FL systems, under heterogeneous settings client models have received more attention. Here, we provide more insights into how the chosen approach for training custom client models has an impact on the global model, which is essential for any FL application. We show the global model can fully leverage the strength of KD with heterogeneous data. Driven by empirical observations, we further propose a new approach that combines KD and Learning without Forgetting (LwoF) to produce improved personalised models. We bring heterogeneous FL on pair with the mighty FedAvg of homogeneous FL, in realistic deployment scenarios with dropping clients.

联合学习可以使许多应用程序受益于大量潜在数据持有客户的分布式和私人数据集。但是，不同客户通常就可以从数据中学到的任务具有自己的特定目标。因此，使用元学习工具（例如多任务学习和转移学习）来支持联合学习，将通过让不同但相关任务的客户共享可以进一步更新和更新和相关任务的客户来帮助扩大联合学习的潜在应用程序。由每个客户为其特定任务量身定制。在联合的多任务学习问题中，应对每个客户的各个目标进行训练的深度神经网络模型，同时共享一些参数以提高概括性。我们建议训练一个深层的神经网络模型，其更广泛的层更接近输入，并且更具个性化的层贴在输出中。我们通过引入层类型（例如预训练，常见，特定于任务和个人层）来实现这一目标。我们提供仿真结果，以突出特定的方案，在这种情况下，基于元学习的联合学习被证明是有用的。

当将人员重新识别（REID）模型部署到现实世界设备中时，数据漂移是一个棘手的挑战，在该设备中，数据分布与培训环境的数据分配明显不同并不断变化。为了解决这个问题，我们提出了一种名为FedStil的联合时空增量学习方法，该方法既利用终身学习和联合学习，以不断优化在许多分布式边缘客户端部署的模型。与以前的努力不同，FedStil的目标是挖掘从不同优势客户中学到的知识之间的时空相关性。具体而言，Edge客户端首先定期提取漂移数据的一般表示，以优化其本地模型。然后，从Edge客户端学习的知识将通过集中参数服务器汇总，其中知识将通过精心设计的机制进行选择性和专注于从空间和时间维度进行蒸馏。最后，蒸馏的信息空间知识将被发送回相关的边缘客户端，以进一步通过终身学习方法提高每个边缘客户端的识别精度。对五个现实世界数据集的混合物进行了广泛的实验表明，我们的方法在排名1的准确性上优于其他方法，同时将沟通成本降低62％。所有实施代码均在https://github.com/msnlab/federated-lifelong-person-reid上公开可用

联合学习（FL）在中央服务器的帮助下支持多个客户的全球机器学习模型的分布式培训。每个客户端持有的本地数据集从未在FL中交换，因此保护本地数据集隐私受到保护。尽管FL越来越流行，但不同客户的数据异质性导致客户模型漂移问题，并导致模型性能降级和模型公平不佳。为了解决这个问题，我们在本文中使用全球本地知识融合（FEDKF）计划设计联合学习。 FEDKF中的关键思想是让服务器返回每个训练回合中的全局知识，以与本地知识融合，以便可以将本地模型正规化为全球最佳选择。因此，可以缓解客户模型漂移问题。在FEDKF中，我们首先提出了支持精确的全球知识表示形式的主动模型聚合技术。然后，我们提出了一种无数据的知识蒸馏（KD）方法，以促进KD从全局模型到本地模型，而本地模型仍然可以同时学习本地知识（嵌入本地数据集中），从而实现了全局 - 本地知识融合过程。理论分析和密集实验表明，FEDKF同时实现高模型性能，高公平性和隐私性。纸质审查后，项目源代码将在GitHub上发布。

联合学习是一种新颖的框架，允许多个设备或机构在保留其私有数据时协同地培训机器学习模型。这种分散的方法易于遭受数据统计异质性的后果，无论是在不同的实体还是随着时间的推移，这可能导致缺乏会聚。为避免此类问题，在过去几年中提出了不同的方法。然而，数据可能在许多不同的方式中是异构的，并且当前的建议并不总是确定他们正在考虑的异质性的那种。在这项工作中，我们正式地分类数据统计异质性，并审查能够面对它的最显着的学习策略。与此同时，我们介绍了其他机器学习框架的方法，例如持续学习，也处理数据异质性，并且可以很容易地适应联邦学习设置。

联合学习（FL）是一个分布式的机器学习范式，可从分散的私人数据集中进行学习模型，在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上，标签噪声自然会发生在FL中，并遵循非i.i.d。客户之间的分布。由于非IID的挑战，现有的最先进的集中式方法表现出不令人满意的性能，而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里，我们提出了Fedln，这是一个框架，可以在不同的FL训练阶段处理标签噪声；即，FL初始化，设备模型培训和服务器模型聚合。具体而言，FedLN在单个联合回合中计算每客户噪声级估计，并通过纠正（或限制）噪声样本的效果来改善模型的性能。与其他现有方法相比，对各种公开视觉和音频数据集的广泛实验平均提高了24％，标签噪声水平为70％。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率，并报告了模型的识别率平均增长了9％，这强调了FEDLN对于改善提供给日常用户的FL服务很有用。

将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。

Federated Learning (FL), as a rapidly evolving privacy-preserving collaborative machine learning paradigm, is a promising approach to enable edge intelligence in the emerging Industrial Metaverse. Even though many successful use cases have proved the feasibility of FL in theory, in the industrial practice of Metaverse, the problems of non-independent and identically distributed (non-i.i.d.) data, learning forgetting caused by streaming industrial data, and scarce communication bandwidth remain key barriers to realize practical FL. Facing the above three challenges simultaneously, this paper presents a high-performance and efficient system named HFEDMS for incorporating practical FL into Industrial Metaverse. HFEDMS reduces data heterogeneity through dynamic grouping and training mode conversion (Dynamic Sequential-to-Parallel Training, STP). Then, it compensates for the forgotten knowledge by fusing compressed historical data semantics and calibrates classifier parameters (Semantic Compression and Compensation, SCC). Finally, the network parameters of the feature extractor and classifier are synchronized in different frequencies (Layer-wiseAlternative Synchronization Protocol, LASP) to reduce communication costs. These techniques make FL more adaptable to the heterogeneous streaming data continuously generated by industrial equipment, and are also more efficient in communication than traditional methods (e.g., Federated Averaging). Extensive experiments have been conducted on the streamed non-i.i.d. FEMNIST dataset using 368 simulated devices. Numerical results show that HFEDMS improves the classification accuracy by at least 6.4% compared with 8 benchmarks and saves both the overall runtime and transfer bytes by up to 98%, proving its superiority in precision and efficiency.

在现实世界应用中，联合学习（FL）遇到了两个挑战：（1）可伸缩性，尤其是应用于大型物联网网络时； （2）如何使用异质数据对环境进行健全。意识到第一个问题，我们旨在设计一个名为Full-Stack FL（F2L）的新型FL框架。更具体地说，F2L使用层次结构架构，使扩展FL网络可以访问而无需重建整个网络系统。此外，利用层次网络设计的优势，我们在全球服务器上提出了一种新的标签驱动知识蒸馏（LKD）技术来解决第二个问题。与当前的知识蒸馏技术相反，LKD能够训练学生模型，该模型由所有教师模型的良好知识组成。因此，我们提出的算法可以有效地提取区域数据分布（即区域汇总模型）的知识，以减少客户在使用非独立分布数据的FL系统下操作时客户模型之间的差异。广泛的实验结果表明：（i）我们的F2L方法可以显着提高所有全球蒸馏的总体FL效率，并且（ii）F2L随着全球蒸馏阶段的发生而迅速达到收敛性，而不是在每个通信周期中提高。

在点击率（CTR）预测的联合学习（FL）中，用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的，并仅将模型更改传达给服务器。有两个主要的挑战：（i）客户异质性，制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意； （ii）由于每个实验所需的大量计算时间和资源，因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战，我们提出了一种简单的在线元学习方法，以学习汇总模型更新的策略，该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。