The mainstream workflow of image recognition applications is first training one global model on the cloud for a wide range of classes and then serving numerous clients, each with heterogeneous images from a small subset of classes to be recognized. From the cloud-client discrepancies on the range of image classes, the recognition model is desired to have strong adaptiveness, intuitively by concentrating the focus on each individual client's local dynamic class subset, while incurring negligible overhead. In this work, we propose to plug a new intra-client and inter-image attention (ICIIA) module into existing backbone recognition models, requiring only one-time cloud-based training to be client-adaptive. In particular, given a target image from a certain client, ICIIA introduces multi-head self-attention to retrieve relevant images from the client's historical unlabeled images, thereby calibrating the focus and the recognition result. Further considering that ICIIA's overhead is dominated by linear projection, we propose partitioned linear projection with feature shuffling for replacement and allow increasing the number of partitions to dramatically improve efficiency without scarifying too much accuracy. We finally evaluate ICIIA using 3 different recognition tasks with 9 backbone models over 5 representative datasets. Extensive evaluation results demonstrate the effectiveness and efficiency of ICIIA. Specifically, for ImageNet-1K with the backbone models of MobileNetV3-L and Swin-B, ICIIA can improve the testing accuracy to 83.37% (+8.11%) and 88.86% (+5.28%), while adding only 1.62% and 0.02% of FLOPs, respectively.
translated by 谷歌翻译
Federated learning has been predominantly concerned with collaborative training of deep networks from scratch, and especially the many challenges that arise, such as communication cost, robustness to heterogeneous data, and support for diverse device capabilities. However, there is no unified framework that addresses all these problems together. This paper studies the challenges and opportunities of exploiting pre-trained Transformer models in FL. In particular, we propose to efficiently adapt such pre-trained models by injecting a novel attention-based adapter module at each transformer block that both modulates the forward pass and makes an early prediction. Training only the lightweight adapter by FL leads to fast and communication-efficient learning even in the presence of heterogeneous data and devices. Extensive experiments on standard FL benchmarks, including CIFAR-100, FEMNIST and SpeechCommandsv2 demonstrate that this simple framework provides fast and accurate FL while supporting heterogenous device capabilities, efficient personalization, and scalable-cost anytime inference.
translated by 谷歌翻译
为了保留用户隐私,在实现移动智能的同时,已经提出了技术来培训有关分散数据的深神经网络。但是,对分散数据的培训使神经体系结构的设计非常困难。在设计和部署异质移​​动平台的不同神经体系结构时,这种困难将进一步扩大。在这项工作中,我们提出了一个自动的神经体系结构搜索,以分散的培训,这是一种新的DNN培训范式,称为联合神经建筑搜索,即Federated Nas。为了应对有限的客户计算和通信资源的主要挑战,我们提出了FedNAS,这是一个高度优化的有效联合NAS的框架。 FedNAS充分利用了在建筑搜索过程中重新训练模型候选人不足的关键机会,并结合了三个关键的优化:对偏见客户培训的平行候选人,早期降低了较不优点的候选人和动态的回合数。在大规模数据集和典型的CNN体​​系结构上测试,FedNAS可以达到可比较的模型精度作为最先进的NAS NAS算法,该算法训练具有集中式数据的模型,并且与直接的直线相比,最多将客户成本降低了两个幅度。联邦NAS的设计。
translated by 谷歌翻译
个性化联合学习认为在异质网络中每个客户独有的学习模型。据称,最终的客户特定模型是为了改善联合网络中的准确性,公平性和鲁棒性等指标。但是,尽管该领域有很多工作,但仍不清楚:(1)哪些个性化技术在各种环境中最有效,以及(2)个性化对现实的联合应用程序的真正重要性。为了更好地回答这些问题,我们提出了Motley,这是个性化联合学习的基准。 Motley由一套来自各种问题域的跨设备和跨核管联合数据集组成,以及彻底的评估指标,以更好地理解个性化的可能影响。我们通过比较许多代表性的个性化联合学习方法来建立基准基准。这些最初的结果突出了现有方法的优势和劣势,并为社区提出了几个开放问题。 Motley旨在提供一种可再现的手段,以推进个性化和异质性的联合学习以及转移学习,元学习和多任务学习的相关领域。
translated by 谷歌翻译
有效分布式参数的快速全局聚合对于联邦学习(FL)至关重要,这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则,FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中,我们提出了一个全新的FL框架,即Pressfl,该框架将联合模型培训取代联合的及时培训,即让联邦参与者培训提示而不是共享模型,以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型(FM)的功率来利用数据不足。 ProSTERFL将现成的FM(即剪辑)运送到分布式客户端,这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型,因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析,并在系统的可行性,用户隐私和性能方面表现出了优势。
translated by 谷歌翻译
联邦学习(FL)最近由于其在保留隐私而使用分散数据的能力,最近引起了人们的关注。但是,这也提出了与参与设备的异质性有关的其他挑战,无论是在其计算能力和贡献数据方面。同时,神经体系结构搜索(NAS)已成功用于集中式数据集,从而产生了最新的结果,从而获得了受限(硬件意识)和不受约束的设置。但是,即使是在NAS和FL的交集的最新工作,也假定了与数据中心硬件的均匀计算环境,并且无法解决使用受约束,异质设备的问题。结果,在联合环境中对NAS的实际用法仍然是我们在工作中解决的一个空旷的问题。我们设计我们的系统Fedoras,在处理具有非IID分布数据的不同功能的设备时发现和培训有希望的体系结构,并提供了其在不同环境中有效性的经验证据。具体而言,我们在跨越三种不同模式(视觉,语音,文本)的数据集中评估了Fedoras,并且与最先进的联合解决方案相比,其性能更好,同时保持资源效率。
translated by 谷歌翻译
高效联合学习是在边缘设备上培训和部署AI模型的关键挑战之一。然而,在联合学习中维护数据隐私提出了几种挑战,包括数据异质性,昂贵的通信成本和有限的资源。在本文中,我们通过(a)通过基于本地客户端的深度增强学习引入突出参数选择代理的上述问题,并在中央服务器上聚合所选择的突出参数,(b)分割正常的深度学习模型〜 (例如,CNNS)作为共享编码器和本地预测器,并通过联合学习训练共享编码器,同时通过本地自定义预测器将其知识传送到非IID客户端。所提出的方法(a)显着降低了联合学习的通信开销,并加速了模型推断,而方法(b)则在联合学习中解决数据异质性问题。此外,我们利用梯度控制机制来校正客户之间的梯度异质性。这使得训练过程更稳定并更快地收敛。实验表明,我们的方法产生了稳定的训练过程,并与最先进的方法相比实现了显着的结果。在培训VGG-11时,我们的方法明显降低了通信成本最高108 GB,并在培训Reset-20时需要7.6美元的通信开销,同时通过减少高达39.7 \%$ 39.7 \%$ vgg- 11.
translated by 谷歌翻译
联合学习的目的是从多个分散设备(即客户)培训全球模型,而无需交换其私人本地数据。关键挑战是处理非i.i.d。 (独立分布的)数据,这些数据可能引起其本地功能的差异。我们介绍了超球联邦学习(球形)框架,以解决非i.i.d。通过限制学习数据点的学习表示,以在客户共享的单位超孔上。具体而言,所有客户都通过最大程度地减少固定分类器的损失来学习其本地表示,其权重跨度跨越了单位。在联合培训改善了全球模型后,通过最大程度地减少平方平方损失,通过封闭形式的解决方案进一步校准了该分类器。我们表明,可以有效地计算校准解决方案,而无需直接访问本地数据。广泛的实验表明,我们的球形方法能够通过相当大的利润率(在具有挑战性的数据集中达到6%)来提高多个现有联合学习算法的准确性,并具有增强的计算和跨数据集和模型架构的通信效率。
translated by 谷歌翻译
当前的Modus Operandi在改编预训练的模型中涉及更新所有骨干参数,即,完整的微调。本文介绍了视觉及时调整(VPT),作为视觉中大规模变压器模型的全面微调的有效替代方案。VPT从最近有效地调整大型语言模型的最新进展中汲取灵感,在输入空间中仅引入了少量的可训练参数(少于模型参数),同时保持模型骨架冻结。通过对各种下游识别任务的广泛实验,我们表明VPT与其他参数有效调整协议相比获得了显着的性能增长。最重要的是,在许多情况下,VPT甚至在模型能力和培训数据量表的许多情况下都胜过全面的微调,同时降低了每任务的存储成本。
translated by 谷歌翻译
联合学习(FL)是一种机器学习范式,允许分散的客户在不共享其私人数据的情况下进行协作学习。但是,过度的计算和沟通要求对当前的FL框架构成挑战,尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署,我们提出了一个轻巧的框架,客户共同学习融合由多个固定预训练的模型生成的表示形式,而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息,并共同提高每个客户利用这些现成模型的能力,从而导致我们解决了一个更实用的FL问题。在这项工作中,我们设计了一种联合原型对比度学习(FEDPCL)方法,该方法通过其类原型共享客户的知识,并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示,同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估,以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。
translated by 谷歌翻译
现代的深度学习系统越来越多地部署在个性化和联合学习等情况下,需要支持i)学习少量数据,ii)沟通有效的分布式培训协议。在这项工作中,我们开发了胶片转移(FIT),该胶片在图像分类设置中满足了这些要求。 FIT使用自动配置的幼稚贝叶斯分类器在固定的主链上,该主链在大型图像数据集上仔细考虑。参数有效膜层用于调节主链,从而为下游任务塑造表示形式。该网络通过情节微调协议进行培训。该方法是参数效率的,这对于能够实现几次学习,廉价的个性化模型更新以及沟通有效的联合学习的关键。我们尝试适合各种下游数据集,并表明它可以比最先进的大型转移(位)算法在低射击和挑战性的VTAB-1K基准上获得更好的分类准确性,该算法的精度少于1%可更新参数。最后,我们证明了在分布式低弹药应用中拟合的参数效率,包括模型个性化和联合学习,其中模型更新大小是重要的性能指标。
translated by 谷歌翻译
Natural language processing (NLP) sees rich mobile applications. To support various language understanding tasks, a foundation NLP model is often fine-tuned in a federated, privacy-preserving setting (FL). This process currently relies on at least hundreds of thousands of labeled training samples from mobile clients; yet mobile users often lack willingness or knowledge to label their data. Such an inadequacy of data labels is known as a few-shot scenario; it becomes the key blocker for mobile NLP applications. For the first time, this work investigates federated NLP in the few-shot scenario (FedFSL). By retrofitting algorithmic advances of pseudo labeling and prompt learning, we first establish a training pipeline that delivers competitive accuracy when only 0.05% (fewer than 100) of the training data is labeled and the remaining is unlabeled. To instantiate the workflow, we further present a system FFNLP, addressing the high execution cost with novel designs. (1) Curriculum pacing, which injects pseudo labels to the training workflow at a rate commensurate to the learning progress; (2) Representational diversity, a mechanism for selecting the most learnable data, only for which pseudo labels will be generated; (3) Co-planning of a model's training depth and layer capacity. Together, these designs reduce the training delay, client energy, and network traffic by up to 46.0$\times$, 41.2$\times$ and 3000.0$\times$, respectively. Through algorithm/system co-design, FFNLP demonstrates that FL can apply to challenging settings where most training samples are unlabeled.
translated by 谷歌翻译
The growing interest in intelligent services and privacy protection for mobile devices has given rise to the widespread application of federated learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for personalized services with heterogeneous Machine Learning (ML) models on different devices. Federated Multi-task Learning (FMTL) is proposed to train related but personalized ML models for different devices, whereas previous works suffer from excessive communication overhead during training and neglect the model heterogeneity among devices in MEC. Introducing knowledge distillation into FMTL can simultaneously enable efficient communication and model heterogeneity among clients, whereas existing methods rely on a public dataset, which is impractical in reality. To tackle this dilemma, Federated MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed. FedICT direct local-global knowledge aloof during bi-directional distillation processes between clients and the server, aiming to enable multi-task clients while alleviating client drift derived from divergent optimization directions of client-side local models. Specifically, FedICT includes Federated Prior Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is proposed to reinforce the clients' fitting of local data by introducing prior knowledge of local data distributions. Moreover, LKA is proposed to correct the distillation loss of the server, making the transferred local knowledge better match the generalized representation. Experiments on three datasets show that FedICT significantly outperforms all compared benchmarks in various data heterogeneous and model architecture settings, achieving improved accuracy with less than 1.2% training communication overhead compared with FedAvg and no more than 75% training communication round compared with FedGKT.
translated by 谷歌翻译
Existing federated classification algorithms typically assume the local annotations at every client cover the same set of classes. In this paper, we aim to lift such an assumption and focus on a more general yet practical non-IID setting where every client can work on non-identical and even disjoint sets of classes (i.e., client-exclusive classes), and the clients have a common goal which is to build a global classification model to identify the union of these classes. Such heterogeneity in client class sets poses a new challenge: how to ensure different clients are operating in the same latent space so as to avoid the drift after aggregation? We observe that the classes can be described in natural languages (i.e., class names) and these names are typically safe to share with all parties. Thus, we formulate the classification problem as a matching process between data representations and class representations and break the classification model into a data encoder and a label encoder. We leverage the natural-language class names as the common ground to anchor the class representations in the label encoder. In each iteration, the label encoder updates the class representations and regulates the data representations through matching. We further use the updated class representations at each round to annotate data samples for locally-unaware classes according to similarity and distill knowledge to local models. Extensive experiments on four real-world datasets show that the proposed method can outperform various classical and state-of-the-art federated learning methods designed for learning with non-IID data.
translated by 谷歌翻译
经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中,经验评估通常从随机初始化开始联合培训。但是,在联合学习的许多实际应用中,服务器可以访问培训任务的代理数据,该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪,从预先训练的模型开始,比从随机初始化开始时,缩短了达到目标错误率所需的训练时间,并使训练更准确的模型(最高40 \%)。令人惊讶的是,我们还发现,从预先训练的初始化开始联合培训时,数据异质性的效果不那么重要。相反,从预先训练的模型开始时,使用服务器上的自适应优化器(例如\ textsc {fedadam})始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为,这项研究提出了几个问题,以进一步了解异质性在联合优化中的作用。
translated by 谷歌翻译
使用和部署不同本地模型的个性化联合学习(PFL),由于其在处理佛罗里达州客户的统计异质性方面的成功,近年来引起了人们的关注。但是,对不同PFL方法的标准化评估和系统分析仍然是一个挑战。首先,高度多样化的数据集,FL仿真设置和PFL实现可以防止对PFL方法的快速和公平比较。其次,在各种实践场景中,PFL方法的有效性和鲁棒性不足,例如新客户的概括和资源有限的客户参与。最后,当前的PFL文献在采用的评估和消融方案中有所不同。为了应对这些挑战,我们提出了第一个全面的PFL基准PFL基准,以促进快速,可重现,标准化和彻底的PFL评估。所提出的基准测试包含具有统一数据分区和现实异质设置的不同应用程序域中的10多个数据集;一个模块化且易于扩展的PFL代码库,具有20多个竞争性PFL基线实现;以及在集装环境下进行的系统评估,以概括,公平,系统开销和收敛性。我们强调了最先进的PFL方法的好处和潜力,并希望PFL板台实现了进一步的PFL研究和广泛的应用,否则由于缺乏专用的基准,这将是困难的。该代码在https://github.com/alibaba/federatedscope/tree/master/master/benchmark/pfl-bench上发布。
translated by 谷歌翻译
联邦学习(FL)是一种在分布在大量可能异构客户端的私人数据上培训机器学习模型的方法,例如移动电话和物联网设备。在这项工作中,我们提出了一个名为Heterofl的新联合学习框架来解决具有较差的计算和通信能力的异构客户端。我们的解决方案可以实现具有不同计算复杂性的异构本地模型,并仍然产生单一的全局推理模型。我们的方法是挑战本地模型必须与全球模型共享相同的架构的现有工作的潜在工作。我们展示了提高流行培训的几种策略,并进行广泛的经验评估,包括三个数据集三个模型架构的五个计算复杂性水平。我们表明,根据客户端的功能,自适应分配子网是计算和通信有效的。
translated by 谷歌翻译
联邦学习(FL)一直在不同的ML任务中获得显着的牵引力,从视野到键盘预测。在大规模的部署中,客户异质性是一个事实,并构成公平,培训性能和准确性的主要问题。虽然已经进行了统计数据异质性的重大努力,但是作为系统异质性称为客户端的处理能力和网络带宽的多样性仍然很大程度上是未开发的。当前解决方案无论是忽略大部分可用的设备,也无限制地设定均匀限制,由最低能力的参与者限制。在这项工作中,我们介绍了有序的辍学,这是一种机制,实现了深度神经网络(DNN)中的有序,嵌套的知识表示,并且能够在不需要再培训的情况下提取较低的脚印子模型。我们进一步表明,对于线性地图,我们的订购辍学等同于SVD。我们采用这种技术,以及一种自蒸馏方法,在一个叫做峡湾的框架中。 Fjord通过将模型宽度定制到客户端的功能来减轻客户体系异质性的问题。在各种方式上对CNN和RNN的广泛评估表明,峡湾始终如一地导致最先进的基线的显着性能,同时保持其嵌套结构。
translated by 谷歌翻译
A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.
translated by 谷歌翻译
在存在数据掠夺性保存问题的情况下,有效地在许多设备和资源限制上(尤其是在边缘设备上)的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型,同时保持每个本地培训数据分散(即数据杂质性),或者培训一个曾经是一个曾经是一个曾经是的网络,该网络支持多样化的建筑设置,以解决配备不同计算功能的异质系统(即模型杂种)。但是,很少的研究同时考虑了这两个方向。在这项工作中,我们提出了一个新颖的框架来考虑两种情况,即超级网训练联合会(FEDSUP),客户在该场景中发送和接收一条超级网,其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段(FL)中平均参数的启发,类似于超级网训练中的体重分享。具体而言,在FedSup框架中,训练单射击模型中广泛使用的重量分享方法与联邦学习的平均(FedAvg)结合在一起。在我们的框架下,我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用,提出有效的算法(电子馈SUP)。我们展示了几种增强FL环境中超网训练的策略,并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。
translated by 谷歌翻译