有效分布式参数的快速全局聚合对于联邦学习（FL）至关重要，这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则，FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，即Pressfl，该框架将联合模型培训取代联合的及时培训，即让联邦参与者培训提示而不是共享模型，以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型（FM）的功率来利用数据不足。 ProSTERFL将现成的FM（即剪辑）运送到分布式客户端，这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型，因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析，并在系统的可行性，用户隐私和性能方面表现出了优势。

联合学习（FL）通过汇总模型更新，以隐私的方式对分散数据进行了全球模型培训。但是，对于使用具有大量参数的预训练的语言模型（PLM）的许多自然语言处理（NLP）任务，与FL相关的沟通成本相当大。最近，迅速调整了一些不修改PLM的软提示的调音，它作为新的学习范式取得了出色的表现。因此，我们要组合两种方法，并探索在FL下迅速调整的效果。在本文中，我们提出“ FedPrompt”作为第一个工作研究促使使用FL以模型分开学习方式进行调整，并证明该研究大大降低了沟通成本，只有PLMS参数的0.01％，而准确性几乎没有降低。在IID和非IID数据分布上。这提高了FL方法的效率，同时还可以在及时调整中保护数据隐私。此外，PLMS，提示在公共平台和个人用户之间被上传和下载，因此我们试图弄清楚是否仍然只有使用后门威胁在FL场景中软提示。我们通过对FedPrompt的数据中毒进一步进行后门攻击。我们的实验表明，正常的后门攻击无法实现高攻击成功率，证明了FedPrompt的稳健性。我们希望这项工作能够促进FL的应用，并提高对可能的安全威胁的认识。

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning pre-trained language models (PLMs) in the FL paradigm can mitigate the data heterogeneity problem and close the performance gap with centralized training. However, large PLMs bring the curse of prohibitive communication overhead and local model adaptation costs for the FL system. To this end, we introduce various parameter-efficient tuning (PETuning) methods into federated learning. Specifically, we provide a holistic empirical study of representative PLMs tuning methods in FL. The experimental results cover the analysis of data heterogeneity levels, data scales, and different FL scenarios. Overall communication overhead can be significantly reduced by locally tuning and globally aggregating lightweight model parameters while maintaining acceptable performance in various FL settings. To facilitate the research of PETuning in FL, we also develop a federated tuning framework FedPETuning, which allows practitioners to exploit different PETuning methods under the FL training paradigm conveniently. The source code is available at \url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.

Natural language processing (NLP) sees rich mobile applications. To support various language understanding tasks, a foundation NLP model is often fine-tuned in a federated, privacy-preserving setting (FL). This process currently relies on at least hundreds of thousands of labeled training samples from mobile clients; yet mobile users often lack willingness or knowledge to label their data. Such an inadequacy of data labels is known as a few-shot scenario; it becomes the key blocker for mobile NLP applications. For the first time, this work investigates federated NLP in the few-shot scenario (FedFSL). By retrofitting algorithmic advances of pseudo labeling and prompt learning, we first establish a training pipeline that delivers competitive accuracy when only 0.05% (fewer than 100) of the training data is labeled and the remaining is unlabeled. To instantiate the workflow, we further present a system FFNLP, addressing the high execution cost with novel designs. (1) Curriculum pacing, which injects pseudo labels to the training workflow at a rate commensurate to the learning progress; (2) Representational diversity, a mechanism for selecting the most learnable data, only for which pseudo labels will be generated; (3) Co-planning of a model's training depth and layer capacity. Together, these designs reduce the training delay, client energy, and network traffic by up to 46.0$\times$, 41.2$\times$ and 3000.0$\times$, respectively. Through algorithm/system co-design, FFNLP demonstrates that FL can apply to challenging settings where most training samples are unlabeled.

Federated learning has been predominantly concerned with collaborative training of deep networks from scratch, and especially the many challenges that arise, such as communication cost, robustness to heterogeneous data, and support for diverse device capabilities. However, there is no unified framework that addresses all these problems together. This paper studies the challenges and opportunities of exploiting pre-trained Transformer models in FL. In particular, we propose to efficiently adapt such pre-trained models by injecting a novel attention-based adapter module at each transformer block that both modulates the forward pass and makes an early prediction. Training only the lightweight adapter by FL leads to fast and communication-efficient learning even in the presence of heterogeneous data and devices. Extensive experiments on standard FL benchmarks, including CIFAR-100, FEMNIST and SpeechCommandsv2 demonstrate that this simple framework provides fast and accurate FL while supporting heterogenous device capabilities, efficient personalization, and scalable-cost anytime inference.

高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而，在联合学习中维护数据隐私提出了几种挑战，包括数据异质性，昂贵的通信成本和有限的资源。在本文中，我们通过（a）通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题，并在中央服务器上聚合所选择的突出参数，（b）分割正常的深度学习模型〜 （例如，CNNS）作为共享编码器和本地预测器，并通过联合学习训练共享编码器，同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法（a）显着降低了联合学习的通信开销，并加速了模型推断，而方法（b）则在联合学习中解决数据异质性问题。此外，我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明，我们的方法产生了稳定的训练过程，并与最先进的方法相比实现了显着的结果。在培训VGG-11时，我们的方法明显降低了通信成本最高108 GB，并在培训Reset-20时需要7.6美元的通信开销，同时通过减少高达39.7 \％$ 39.7 \％$ vgg- 11.

启用摄像头的移动设备的无处不在导致在边缘生产大量未标记的视频数据。尽管已经提出了各种自我监督学习（SSL）方法来收集其潜在的时空表征，以进行特定于任务的培训，但实际挑战包括隐私问题和沟通成本，可以阻止SSL在大规模上部署。为了减轻这些问题，我们建议将联合学习（FL）用于视频SSL的任务。在这项工作中，我们评估了当前最新ART（SOTA）视频-SSL技术的性能，并确定其在与Kinetics-400数据集模拟的大规模FL设置中集成到大规模的FL设置时的缺陷。我们遵循，为视频（称为FedVSSL）提出了一个新颖的Federated SSL框架，该框架集成了不同的聚合策略和部分重量更新。广泛的实验证明了FEDVSSL的有效性和意义，因为它在UCF-101上优于下游检索任务的集中式SOTA，而HMDB-51的效率为6.66％。

最近，事物的人工智能（Aiot）一直在引起人们的关注，具有通过事物的网络连接提供高度智能服务的有趣愿景，从而导致了先进的AI驱动生态。但是，对数据隐私的最新监管限制排除将敏感的本地数据上传到数据中心，并以集中式方法利用它们。在这种情况下，直接应用联合学习算法几乎不能满足效率和准确性的工业要求。因此，我们在面部识别应用方面为AIOT提出了一个有效的工业联合学习框架。具体而言，我们建议利用转移学习的概念来加快设备上的联合培训，并进一步介绍私人投影仪的新颖设计，该设计有助于保护共享梯度，而不会产生额外的记忆消耗或计算成本。对亚洲私人面部数据集的实证研究表明，我们的方法仅在20轮沟通中就可以实现高认识的准确性，这表明了其在预测和培训方面的有效性。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联合学习（FL）是分布式学习范例，可以从边缘设备上的分散数据集中学习全局或个性化模型。然而，在计算机视觉域中，由于统一的流行框架缺乏探索，FL的模型性能远远落后于集中培训。在诸如物体检测和图像分割之类的高级计算机视觉任务中，FL很少有效地说明。为了弥合差距并促进电脑视觉任务的流动，在这项工作中，我们提出了一个联邦学习库和基准框架，命名为FEDCV，评估了三个最具代表性的计算机视觉任务：图像分类，图像分割，和物体检测。我们提供非I.I.D。基准测试数据集，模型和各种参考FL算法。我们的基准研究表明，存在多种挑战值得未来的探索：集中式培训技巧可能不会直接申请fl;非i.i.d。 DataSet实际上将模型精度降级到不同的任务中的某种程度;给出了联合培训的系统效率，具有挑战性，鉴于大量参数和每个客户端记忆成本。我们认为，这种图书馆和基准以及可比的评估设置是必要的，以便在计算机视觉任务中进行有意义的进展。 Fedcv公开可用：https://github.com/fedml-ai/fedcv。

尽管结果令人印象深刻，但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应，已经出现了集中培训的替代方案，例如联邦学习（FL）。也许出乎意料的是，FL开始在全球范围内部署，这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是，与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后，我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明，根据配置，FL可以比集中的机器学习高达两个数量级。但是，在某些情况下，由于嵌入式设备的能源消耗减少，它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集，设置和各种深度学习模型的广泛实验。最后，我们强调并将报告的结果与FL的未来挑战和趋势联系起来，以减少其环境影响，包括算法效率，硬件能力和更强的行业透明度。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

目前最先进的基于深度学习的面部识别（FR）模型需要大量的核心训练身份。然而，由于隐私意识不断增长，禁止访问用户设备上的面部图像以不断改进面部识别模型。联合学习（FL）是一种解决隐私问题的技术，可以在不共享客户端之间的数据的情况下协作优化模型。在这项工作中，我们提出了一个基于FLIS的框架，称为FEDFR，以通过隐私感知方式改进通用面部表示。此外，该框架通过所提出的解耦特征定制模块共同优化相应客户端的个性化模型。客户特定的个性化模型可以服务于本地设备的注册标识所需的优化面部识别体验。据我们所知，我们是第一个探索FL Setup中的个性化脸部识别的人。拟议的框架被验证，优于以前的几种通用和个性化的面部识别基准与多种情景的识别基准。源代码和我们提出的个性化FR基准下的FL Setup可用于https://github.com/jackie840129/fedfr。

联合学习用于大量（数百万）边缘移动设备的机器学习模型的分散培训。它充满挑战，因为移动设备通常具有有限的通信带宽和本地计算资源。因此，提高联合学习的效率对于可扩展性和可用性至关重要。在本文中，我们建议利用部分训练的神经网络，该网络在整个训练过程中冻结了一部分模型参数，以降低对模型性能的影响几乎没有影响的通信成本。通过广泛的实验，我们经验证明，部分培训的神经网络（FEDPT）的联合学习可能导致卓越的通信准确性权衡，通信成本高达46美元，以小的准确度成本。我们的方法还实现了更快的培训，具有较小的内存占用空间，更好的效用，以便强​​大的差异隐私保证。对于推动设备上学习中的过度参数化的局限性，所提出的FEDPT方法可以特别有趣。

Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.

联合学习（FL）可以对机器学习模型进行分布式培训，同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用，例如人类活动识别（HAR），但在多设备环境（MDE）的背景下，尚未对FL进行研究，其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散，MDE在Ubicomp设置中越来越受欢迎，因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂，并不是独立的，并且在客户端之间并非独立分布（非IID）。此外，确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中，我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性，并在设备之间引起推理性能的一致性。火焰功能（i）以用户为中心的FL培训，利用同一用户的设备之间的时间对齐； （ii）准确性和效率感知设备的选择； （iii）对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试，以及一种基于类的新型数据分配方案，以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明，火焰的表现优于各种基准，F1得分高4.3-25.8％，能源效率提高1.02-2.86倍，并高达2.06倍的收敛速度，以通过FL的公平分布来获得目标准确性工作量。

随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。

联合学习（FL）可以使用学习者使用本地数据进行分布式培训，从而增强隐私和减少沟通。但是，它呈现出与数据分布，设备功能和参与者可用性的异质性有关的众多挑战，作为部署量表，这可能会影响模型融合和偏置。现有的FL方案使用随机参与者选择来提高公平性;然而，这可能导致资源低效和更低的质量培训。在这项工作中，我们系统地解决了FL中的资源效率问题，展示了智能参与者选择的好处，并将更新从争吵的参与者纳入。我们展示了这些因素如何实现资源效率，同时还提高了训练有素的模型质量。

联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。

Transformer-based pre-trained models have become the de-facto solution for NLP tasks. Fine-tuning such pre-trained models for downstream tasks often requires tremendous amount of data that is both private and labeled. However, in reality: 1) such private data cannot be collected and is distributed across mobile devices, and 2) well-curated labeled data is scarce. To tackle those issues, we first define a data generator for federated few-shot learning tasks, which encompasses the quantity and distribution of scarce labeled data in a realistic setting. Then we propose AUG-FedPrompt, a prompt-based federated learning algorithm that carefully annotates abundant unlabeled data for data augmentation. AUG-FedPrompt can perform on par with full-set fine-tuning with very few initial labeled data.