Smart Sensing提供了一种更轻松,方便的数据驱动机制,用于在建筑环境中监视和控制。建筑环境中生成的数据对隐私敏感且有限。 Federated Learning是一个新兴的范式,可在多个参与者之间提供隐私的合作,以进行模型培训,而无需共享私人和有限的数据。参与者数据集中的嘈杂标签降低了表现,并增加了联合学习收敛的通信巡回赛数量。如此大的沟通回合需要更多的时间和精力来训练模型。在本文中,我们提出了一种联合学习方法,以抑制每个参与者数据集中嘈杂标签的不平等分布。该方法首先估计每个参与者数据集的噪声比,并使用服务器数据集将噪声比归一化。所提出的方法可以处理服务器数据集中的偏差,并最大程度地减少其对参与者数据集的影响。接下来,我们使用每个参与者的归一化噪声比和影响来计算参与者的最佳加权贡献。我们进一步得出表达式,以估计提出方法收敛所需的通信回合数。最后,实验结果证明了拟议方法对现有技术的有效性,从交流回合和在建筑环境中实现了性能。
translated by 谷歌翻译
随着人们的生活水平的增强和通信技术的快速增长,住宅环境变得聪明且连接,从而大大增加了整体能源消耗。由于家用电器是主要的能源消费者,因此他们的认可对于避免无人看管的用途至关重要,从而节省了能源并使智能环境更可持续。传统上,通过从客户(消费者)收集通过智能插头记录的电力消耗数据,在中央服务器(服务提供商)中培训设备识别模型,从而导致隐私漏洞。除此之外,当设备连接到非指定的智能插头时,数据易受嘈杂的标签。在共同解决这些问题的同时,我们提出了一种新型的联合学习方法来识别设备识别,即Fedar+,即使使用错误的培训数据,也可以以隐私的方式跨客户进行分散的模型培训。 Fedar+引入了一种自适应噪声处理方法,本质上是包含权重和标签分布的关节损耗函数,以增强设备识别模型的能力,以抵制嘈杂标签。通过将智能插头部署在公寓大楼中,我们收集了一个标记的数据集,该数据集以及两个现有数据集可用于评估Fedar+的性能。实验结果表明,我们的方法可以有效地处理高达$ 30 \%$的嘈杂标签,同时以较大的准确性优于先前的解决方案。
translated by 谷歌翻译
对网络攻击的现代防御越来越依赖于主动的方法,例如,基于过去的事件来预测对手的下一个行动。建立准确的预测模型需要许多组织的知识; las,这需要披露敏感信息,例如网络结构,安全姿势和政策,这些信息通常是不受欢迎的或完全不可能的。在本文中,我们探讨了使用联合学习(FL)预测未来安全事件的可行性。为此,我们介绍了Cerberus,这是一个系统,可以为参与组织的复发神经网络(RNN)模型进行协作培训。直觉是,FL可能会在非私有方法之间提供中间地面,在非私有方法中,训练数据在中央服务器上合并,而仅训练本地模型的较低性替代方案。我们将Cerberus实例化在从一家大型安全公司的入侵预防产品中获得的数据集上,并评估其有关实用程序,鲁棒性和隐私性,以及参与者如何从系统中贡献和受益。总体而言,我们的工作阐明了将FL执行此任务的积极方面和挑战,并为部署联合方法以进行预测安全铺平了道路。
translated by 谷歌翻译
联合学习(FL)可以培训全球模型,而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化,FL框架难以解决Straggler效应和过时模型的问题。此外,数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题,我们提出了一个层次同步FL框架,即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后,将不同类别培训的模型同时上传到中央服务器。在单个类别中,设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备,基于计算能力的分类减轻了Straggler效应的影响。此外,多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题,同时达到高精度。我们评估了基于MNIST,EMNIST,CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明,在训练准确性和效率方面,Fedhisyn的表现优于六种基线方法,例如FedAvg,脚手架和Fedat。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联合学习(FL)是一个分布式的机器学习框架,可以减轻数据孤岛,在该筒仓中,分散的客户在不共享其私人数据的情况下协作学习全球模型。但是,客户的非独立且相同分布的(非IID)数据对训练有素的模型产生了负面影响,并且具有不同本地更新的客户可能会在每个通信回合中对本地梯度造成巨大差距。在本文中,我们提出了一种联合矢量平均(FedVeca)方法来解决上述非IID数据问题。具体而言,我们为与本地梯度相关的全球模型设定了一个新的目标。局部梯度定义为具有步长和方向的双向向量,其中步长为局部更新的数量,并且根据我们的定义将方向分为正和负。在FedVeca中,方向受步尺的影响,因此我们平均双向向量,以降低不同步骤尺寸的效果。然后,我们理论上分析了步骤大小与全球目标之间的关系,并在每个通信循环的步骤大小上获得上限。基于上限,我们为服务器和客户端设计了一种算法,以自适应调整使目标接近最佳的步骤大小。最后,我们通过构建原型系统对不同数据集,模型和场景进行实验,实验结果证明了FedVeca方法的有效性和效率。
translated by 谷歌翻译
Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.
translated by 谷歌翻译
联合学习(FL)可以使用学习者使用本地数据进行分布式培训,从而增强隐私和减少沟通。但是,它呈现出与数据分布,设备功能和参与者可用性的异质性有关的众多挑战,作为部署量表,这可能会影响模型融合和偏置。现有的FL方案使用随机参与者选择来提高公平性;然而,这可能导致资源低效和更低的质量培训。在这项工作中,我们系统地解决了FL中的资源效率问题,展示了智能参与者选择的好处,并将更新从争吵的参与者纳入。我们展示了这些因素如何实现资源效率,同时还提高了训练有素的模型质量。
translated by 谷歌翻译
联合学习(FL)可以对机器学习模型进行分布式培训,同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用,例如人类活动识别(HAR),但在多设备环境(MDE)的背景下,尚未对FL进行研究,其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散,MDE在Ubicomp设置中越来越受欢迎,因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂,并不是独立的,并且在客户端之间并非独立分布(非IID)。此外,确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中,我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性,并在设备之间引起推理性能的一致性。火焰功能(i)以用户为中心的FL培训,利用同一用户的设备之间的时间对齐; (ii)准确性和效率感知设备的选择; (iii)对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试,以及一种基于类的新型数据分配方案,以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明,火焰的表现优于各种基准,F1得分高4.3-25.8%,能源效率提高1.02-2.86倍,并高达2.06倍的收敛速度,以通过FL的公平分布来获得目标准确性工作量。
translated by 谷歌翻译
联合学习(FL)根据多个本地客户端协同聚合共享全球模型,同时保持培训数据分散以保护数据隐私。但是,标准的FL方法忽略了嘈杂的客户问题,这可能会损害聚合模型的整体性能。在本文中,我们首先分析了嘈杂的客户声明,然后用不同的噪声分布模型噪声客户端(例如,Bernoulli和截断的高斯分布)。要使用嘈杂的客户,我们提出了一个简单但有效的FL框架,名为联邦嘈杂的客户学习(FED-NCL),它是一个即插即用算法,并包含两个主要组件:动态的数据质量测量(DQM)量化每个参与客户端的数据质量,以及噪声鲁棒聚合(NRA),通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明,我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译
联合学习(FL)是一个分布式的机器学习范式,可从分散的私人数据集中进行学习模型,在该数据集中将标签工作委托给客户。尽管大多数现有的FL方法都假定用户的设备很容易获得高质量的标签。实际上,标签噪声自然会发生在FL中,并遵循非i.i.d。客户之间的分布。由于非IID的挑战,现有的最先进的集中式方法表现出不令人满意的性能,而先前的FL研究依靠数据交换或重复的服务器端援助来提高模型的性能。在这里,我们提出了Fedln,这是一个框架,可以在不同的FL训练阶段处理标签噪声;即,FL初始化,设备模型培训和服务器模型聚合。具体而言,FedLN在单个联合回合中计算每客户噪声级估计,并通过纠正(或限制)噪声样本的效果来改善模型的性能。与其他现有方法相比,对各种公开视觉和音频数据集的广泛实验平均提高了24%,标签噪声水平为70%。我们进一步验证了FedLN在人类通知的现实世界嘈杂数据集中的效率,并报告了模型的识别率平均增长了9%,这强调了FEDLN对于改善提供给日常用户的FL服务很有用。
translated by 谷歌翻译
联合学习(FL)是一种有效的分布式机器学习范式,以隐私的方式采用私人数据集。 FL的主要挑战是,END设备通常具有各种计算和通信功能,其培训数据并非独立且分布相同(非IID)。由于在移动网络中此类设备的通信带宽和不稳定的可用性,因此只能在每个回合中选择最终设备(也称为参与者或客户端的参与者或客户端)。因此,使用有效的参与者选择方案来最大程度地提高FL的性能,包括最终模型的准确性和训练时间,这一点至关重要。在本文中,我们对FL的参与者选择技术进行了评论。首先,我们介绍FL并突出参与者选择期间的主要挑战。然后,我们根据其解决方案来审查现有研究并将其分类。最后,根据我们对该主题领域最新的分析的分析,我们为FL的参与者选择提供了一些未来的指示。
translated by 谷歌翻译
鲁棒性正成为联合学习的另一个重要挑战,因为每个客户的数据收集过程自然都伴有嘈杂的标签。但是,由于客户的数据异质性和噪音的不同程度,这加剧了客户到客户的性能差异,因此它更加复杂且具有挑战性。在这项工作中,我们提出了一种名为FedRn的强大联合学习方法,该方法利用具有高数据专业知识或相似性的K邻居邻居。我们的方法仅通过一组选定的干净示例训练,通过其结合混合模型确定,有助于减轻低绩效客户端之间的差距。我们通过对三个现实世界或合成基准数据集进行广泛评估来证明FedRN的优势。与现有的强大训练方法相比,结果表明,在嘈杂标签的存在下,联邦烷可显着提高测试准确性。
translated by 谷歌翻译
Federated learning (FL) is a method to train model with distributed data from numerous participants such as IoT devices. It inherently assumes a uniform capacity among participants. However, participants have diverse computational resources in practice due to different conditions such as different energy budgets or executing parallel unrelated tasks. It is necessary to reduce the computation overhead for participants with inefficient computational resources, otherwise they would be unable to finish the full training process. To address the computation heterogeneity, in this paper we propose a strategy for estimating local models without computationally intensive iterations. Based on it, we propose Computationally Customized Federated Learning (CCFL), which allows each participant to determine whether to perform conventional local training or model estimation in each round based on its current computational resources. Both theoretical analysis and exhaustive experiments indicate that CCFL has the same convergence rate as FedAvg without resource constraints. Furthermore, CCFL can be viewed of a computation-efficient extension of FedAvg that retains model performance while considerably reducing computation overhead.
translated by 谷歌翻译
机器学习模型已在移动网络中部署,以处理来自不同层的数据,以实现自动化网络管理和设备的智能。为了克服集中式机器学习的高度沟通成本和严重的隐私问题,已提出联合学习(FL)来实现网络设备之间的分布式机器学习。虽然在FL中广泛研究了计算和通信限制,但仍未探索设备存储对FL性能的影响。如果没有有效有效的数据选择政策来过滤设备上的大量流媒体数据,经典FL可能会遭受更长的模型训练时间(超过$ 4 \ times $)和显着的推理准确性(超过$ 7 \%\%$),则遭受了损失,观察到了。在我们的实验中。在这项工作中,我们迈出了第一步,考虑使用有限的在设备存储的FL的在线数据选择。我们首先定义了一个新的数据评估度量,以在FL中进行数据选择:在设备数据样本上,局部梯度在所有设备的数据上投影到全球梯度上。我们进一步设计\ textbf {ode},一个\ textbf {o} nline \ textbf {d} ata s \ textbf {e textbf {e} fl for f for fl f textbf {o}的框架,用于协作网络设备,以协作存储有价值的数据示例,并保证用于快速的理论保证同时提高模型收敛并增强最终模型精度。一项工业任务(移动网络流量分类)和三个公共任务(综合任务,图像分类,人类活动识别)的实验结果显示了ODE的显着优势,而不是最先进的方法。特别是,在工业数据集上,ODE的成就高达$ 2.5 \ times $ $加速的培训时间和6美元的最终推理准确性增加,并且在实践环境中对各种因素都有强大的态度。
translated by 谷歌翻译
跨不同边缘设备(客户)局部数据的分布不均匀,导致模型训练缓慢,并降低了联合学习的准确性。幼稚的联合学习(FL)策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型,即集群键,其中客户组具有具有相似分布的本地数据,从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据,尤其是群集串数据的数据,我们提出了FedDrl,这是一种新型的FL模型,它采用了深厚的强化学习来适应每个客户的影响因素(将用作聚合过程中的权重)。在一组联合数据集上进行了广泛的实验证实,拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进,例如,高达4.05%和2.17%。
translated by 谷歌翻译
作为一个有前途的分布式机器学习范式,联合学习(FL)在不影响用户隐私的情况下培训具有分散数据的中央模型,这使得其被人工智能互联网(AIT)应用程序广泛使用。然而,传统的流体遭受了模型不准确,因为它会使用数据硬标签培训本地模型,并忽略与小概率不正确的预测的有用信息。虽然各种解决方案尽量解决传统流域的瓶颈,但大多数人都引入了显着的通信和记忆开销,使大规模的AIOT设备部署成为一个巨大的挑战。为了解决上述问题,本文提出了一种基于蒸馏的新型联合学习(DFL)架构,可实现AIT应用的高效准确。灵感来自知识蒸馏(KD),可以提高模型准确性,我们的方法将KD使用的软目标添加到FL模型培训,占用可忽略不计的网络资源。在每轮本地训练之后,通过每种充气设备的局部样品预测生成软目标,并用于下一轮模型训练。在DFL的本地培训期间,软目标和硬质标签都被用作模型预测的近似目标,以通过补充软目标的知识来提高模型准确性。为了进一步提高DFL模型的性能,我们设计了一种动态调整策略,用于调整KD中使用的两个损耗功能的比率,这可以最大限度地利用软目标和硬质标签。众所周知的基准测试的全面实验结果表明,我们的方法可以显着提高独立和相同分布(IID)和非IID数据的FL的模型精度。
translated by 谷歌翻译
联合学习(FL)是一种机器学习技术,它使参与者能够在不交换私人数据的情况下协作培训高质量的模型。利用跨索洛FL(CS-FL)设置的参与者是具有不同任务需求的独立组织,他们不仅关心数据隐私,而且由于知识产权的考虑而独立培训其独特的模型。大多数现有的FL方法无法满足上述方案。在本文中,我们提出了一种基于未标记数据的伪标记的FL方法,该方法是通过诸如辅助的过程。据我们所知,这是第一种与异质任务,异质模型和异质培训算法同时兼容的第一种FL方法。实验结果表明,所提出的方法比竞争能力更好。对于非独立和相同分布的(IID)设置和异质模型而言,尤其如此,其中提出的方法可实现35%的性能提高。
translated by 谷歌翻译
当上行链路和下行链路通信都有错误时联合学习(FL)工作吗?通信噪音可以处理多少,其对学习性能的影响是什么?这项工作致力于通过明确地纳入流水线中的上行链路和下行链路嘈杂的信道来回答这些实际重要的问题。我们在同时上行链路和下行链路嘈杂通信通道上提供了多种新的融合分析,其包括完整和部分客户端参与,直接模型和模型差分传输,以及非独立和相同分布的(IID)本地数据集。这些分析表征了嘈杂通道的流动条件,使其具有与无通信错误的理想情况相同的融合行为。更具体地,为了保持FEDAVG的O(1 / T)具有完美通信的O(1 / T)收敛速率,应控制用于直接模型传输的上行链路和下行链路信噪比(SNR),使得它们被缩放为O(t ^ 2)其中T是通信轮的索引,但可以保持常量的模型差分传输。这些理论结果的关键洞察力是“雷达下的飞行”原则 - 随机梯度下降(SGD)是一个固有的噪声过程,并且可以容忍上行链路/下行链路通信噪声,只要它们不占据时变的SGD噪声即可。我们举例说明了具有两种广泛采用的通信技术 - 传输功率控制和多样性组合的这些理论发现 - 并通过使用多个真实世界流动任务的广泛数值实验进一步通过标准方法验证它们的性能优势。
translated by 谷歌翻译
联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势,但也带来了新的挑战。在本报告中,我们探讨了这个新的研究领域,并执行了几项实验,以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后,我们为这些挑战之一提供了一种新颖的方法,并将其与文献中的其他方法进行了比较。
translated by 谷歌翻译