专门针对联合学习(SDAGFL)的定向无环图(SDAGFL)是一个新的联合学习框架,它通过有向的无循环图分布式分类帐技术(DAG-DLT)从设备中更新模型。 SDAGFL具有个性化的优势,可抵抗完全分散的联邦学习中的单点失败和中毒攻击。由于这些优点,SDAGFL适用于在设备通常由电池供电的物联网场景中进行联合学习。为了促进SDAGFL在物联网中的应用,我们提出了一个基于ESDAGFL的基于事件触发的通信机制的能量优化的。在ESDAGFL中,仅当新模型发生显着更改时才会广播。我们在莎士比亚和歌德的作品中从群集的合成女性数据集中评估了eSDAGFL的合成女性数据集和数据集。实验结果表明,与SDAGFL相比,我们的方法可以将能源消耗降低33 \%,并在训练准确性和专业化之间达到与SDAGFL相同的平衡。
translated by 谷歌翻译
联合学习允许一组分布式客户端培训私有数据的公共机器学习模型。模型更新的交换由中央实体或以分散的方式管理,例如,由一个区间的。但是,所有客户端的强大概括都使得这些方法不合适,不合适地分布(非IID)数据。我们提出了一个统一的统一方法,在联合学习中的权力下放和个性化,该方法是基于模型更新的定向非循环图(DAG)。客户端代替培训单个全局模型,客户端专门从事来自其他客户端的模型更新的本地数据,而不是依赖于各自数据的相似性。这种专业化从基于DAG的沟通和模型更新的选择隐含地出现。因此,我们启用专业模型的演变,它专注于数据的子集,因此覆盖非IID数据,而不是在基于区块的基于区块的设置中的联合学习。据我们所知,拟议的解决方案是第一个在完全分散的联邦学习中团结的个性化和中毒鲁棒性。我们的评价表明,模型的专业化直接从基于DAG的模型更新通信到三个不同的数据集。此外,与联合平均相比,我们在客户端展示稳定的模型精度和更少的方差。
translated by 谷歌翻译
联合学习(FL)是标准集中学习范式的最吸引人的替代方案之一,允许异质的设备集训练机器学习模型而无需共享其原始数据。但是,FL需要中央服务器来协调学习过程,从而引入潜在的可扩展性和安全性问题。在文献中,已经提出了诸如八卦联合学习(GFL)和支持区块链的联合学习(BFL)之类的无服务器的方法来减轻这些问题。在这项工作中,我们提出了这三种技术的完整概述,该技术根据整体性能指标进行比较,包括模型准确性,时间复杂性,交流开销,收敛时间和能源消耗。广泛的模拟活动允许进行定量分析。特别是,GFL能够节省18%的训练时间,68%的能源和51%的数据相对于CFL解决方案,但无法达到CFL的准确性水平。另一方面,BFL代表了一个可行的解决方案,用于以更高级别的安全性实施分散的学习,以额外的能源使用和数据共享为代价。最后,我们确定了两个分散的联合学习实施的开放问题,并就该新研究领域的潜在扩展和可能的研究方向提供见解。
translated by 谷歌翻译
联合学习(FL)已成为工业物联网(IIOT)网络中数字双胞胎的必不可少的技术。但是,由于FL的主/奴隶结构,抵制主聚合器的单点失败以及恶意IIOT设备的攻击是非常具有挑战性的,同时保证了模型收敛速度和准确性。最近,区块链已进入FL系统,将范式转换为分散的方式,从而进一步提高了系统的安全性和学习可靠性。不幸的是,由于资源消耗庞大,交易量有限和高度沟通复杂性,区块链系统的传统共识机制和架构几乎无法处理大规模的FL任务并在IIT设备上运行。为了解决这些问题,本文提出了一个两层区块链驱动的FL系统,称为Chainfl,该系统将IIOT网络分为多个碎片,作为限制信息交换的标准层,并采用直接的无循环图(DAG) - 基于主链作为主链层,以实现平行和异步的横断面验证。此外,FL程序是定制的,以与区块链深入集成,并提出了修改的DAG共识机制来减轻由异常模型引起的失真。为了提供概念验证的实施和评估,部署了基于HyperLeDger面料和基于自发DAG的Mainchain的多个子链。广泛的实验结果表明,我们提出的链条系统以可接受和快速的训练效率(最高14%)和更强的鲁棒性(最多3次)优于现有的主要FL系统。
translated by 谷歌翻译
通过参与大规模联合学习(FL)优化的设备的异构性质的激励,我们专注于由区块链(BC)技术赋予的异步服务器的FL解决方案。与主要采用的FL方法相比,假设同步操作,我们提倡一个异步方法,由此,模型聚合作为客户端提交本地更新。异步设置与具有异构客户端的实际大规模设置中的联合优化思路非常适合。因此,它可能导致通信开销和空闲时段的效率提高。为了评估启用了BC启用的FL的学习完成延迟,我们提供了基于批量服务队列理论的分析模型。此外,我们提供仿真结果以评估同步和异步机制的性能。涉及BC启用的流量的重要方面,例如网络大小,链路容量或用户要求,并分析并分析。随着我们的结果表明,同步设置导致比异步案例更高的预测精度。然而,异步联合优化在许多情况下提供了更低的延迟,从而在处理大数据集时成为一种吸引力的FL解决方案,严重的时序约束(例如,近实时应用)或高度不同的训练数据。
translated by 谷歌翻译
Federated learning (FL) is a collaborative machine learning framework that requires different clients (e.g., Internet of Things devices) to participate in the machine learning model training process by training and uploading their local models to an FL server in each global iteration. Upon receiving the local models from all the clients, the FL server generates a global model by aggregating the received local models. This traditional FL process may suffer from the straggler problem in heterogeneous client settings, where the FL server has to wait for slow clients to upload their local models in each global iteration, thus increasing the overall training time. One of the solutions is to set up a deadline and only the clients that can upload their local models before the deadline would be selected in the FL process. This solution may lead to a slow convergence rate and global model overfitting issues due to the limited client selection. In this paper, we propose the Latency awarE Semi-synchronous client Selection and mOdel aggregation for federated learNing (LESSON) method that allows all the clients to participate in the whole FL process but with different frequencies. That is, faster clients would be scheduled to upload their models more frequently than slow clients, thus resolving the straggler problem and accelerating the convergence speed, while avoiding model overfitting. Also, LESSON is capable of adjusting the tradeoff between the model accuracy and convergence rate by varying the deadline. Extensive simulations have been conducted to compare the performance of LESSON with the other two baseline methods, i.e., FedAvg and FedCS. The simulation results demonstrate that LESSON achieves faster convergence speed than FedAvg and FedCS, and higher model accuracy than FedCS.
translated by 谷歌翻译
联合学习(FL)是一种有效的分布式机器学习范式,以隐私的方式采用私人数据集。 FL的主要挑战是,END设备通常具有各种计算和通信功能,其培训数据并非独立且分布相同(非IID)。由于在移动网络中此类设备的通信带宽和不稳定的可用性,因此只能在每个回合中选择最终设备(也称为参与者或客户端的参与者或客户端)。因此,使用有效的参与者选择方案来最大程度地提高FL的性能,包括最终模型的准确性和训练时间,这一点至关重要。在本文中,我们对FL的参与者选择技术进行了评论。首先,我们介绍FL并突出参与者选择期间的主要挑战。然后,我们根据其解决方案来审查现有研究并将其分类。最后,根据我们对该主题领域最新的分析的分析,我们为FL的参与者选择提供了一些未来的指示。
translated by 谷歌翻译
电负载预测已成为电力系统操作的组成部分。深入学习模型为此目的被发现。然而,为了达到期望的预测准确性,它们需要大量的培训数据。分享负载预测的各个家庭的电力消耗数据可能会损害用户隐私,并且在通信资源方面可能是昂贵的。因此,诸如联邦学习的边缘计算方法正在为此目的获得更多重要性。这些方法可以利用数据,而无需集中存储它。本文评估了联合学习对单个房屋负荷的短期预测以及总负荷的表现。它通过将其与集中和局部学习方案进行比较来讨论该方法的优点和缺点。此外,提出了一种新的客户端聚类方法,以减少联合学习的收敛时间。结果表明,联合学习具有良好的性能,具有0.117kWh的最小根均匀误差(RMSE),为单独的负载预测。
translated by 谷歌翻译
联合学习允许多个参与者在不公开数据隐私的情况下协作培训高效模型。但是,这种分布式的机器学习培训方法容易受到拜占庭客户的攻击,拜占庭客户通过修改模型或上传假梯度来干扰全球模型的训练。在本文中,我们提出了一种基于联邦学习(CMFL)的新型无服务器联合学习框架委员会机制,该机制可以确保算法具有融合保证的鲁棒性。在CMFL中,设立了一个委员会系统,以筛选上载已上传的本地梯度。 The committee system selects the local gradients rated by the elected members for the aggregation procedure through the selection strategy, and replaces the committee member through the election strategy.基于模型性能和防御的不同考虑,设计了两种相反的选择策略是为了精确和鲁棒性。广泛的实验表明,与典型的联邦学习相比,与传统的稳健性相比,CMFL的融合和更高的准确性比传统的稳健性,以分散的方法的方式获得了传统的耐受性算法。此外,我们理论上分析并证明了在不同的选举和选择策略下CMFL的收敛性,这与实验结果一致。
translated by 谷歌翻译
这项工作调查了联合学习的可能性,了解IOT恶意软件检测,并研究该新学习范式固有的安全问题。在此上下文中,呈现了一种使用联合学习来检测影响物联网设备的恶意软件的框架。 n-baiot,一个数据集在由恶意软件影响的几个实际物联网设备的网络流量,已被用于评估所提出的框架。经过培训和评估监督和无监督和无监督的联邦模型(多层Perceptron和AutoEncoder)能够检测到MATEN和UNEEN的IOT设备的恶意软件,并进行了培训和评估。此外,它们的性能与两种传统方法进行了比较。第一个允许每个参与者在本地使用自己的数据局面训练模型,而第二个包括使参与者与负责培训全局模型的中央实体共享他们的数据。这种比较表明,在联合和集中方法中完成的使用更多样化和大数据,对模型性能具有相当大的积极影响。此外,联邦模型,同时保留了参与者的隐私,将类似的结果与集中式相似。作为额外的贡献,并衡量联邦方法的稳健性,已经考虑了具有若干恶意参与者中毒联邦模型的对抗性设置。即使使用单个对手,大多数联邦学习算法中使用的基线模型聚合平均步骤也很容易受到不同攻击的影响。因此,在相同的攻击方案下评估了作为对策的其他模型聚合函数的性能。这些职能对恶意参与者提供了重大改善,但仍然需要更多的努力来使联邦方法强劲。
translated by 谷歌翻译
With the development and progress of science and technology, the Internet of Things(IoT) has gradually entered people's lives, bringing great convenience to our lives and improving people's work efficiency. Specifically, the IoT can replace humans in jobs that they cannot perform. As a new type of IoT vehicle, the current status and trend of research on Unmanned Aerial Vehicle(UAV) is gratifying, and the development prospect is very promising. However, privacy and communication are still very serious issues in drone applications. This is because most drones still use centralized cloud-based data processing, which may lead to leakage of data collected by drones. At the same time, the large amount of data collected by drones may incur greater communication overhead when transferred to the cloud. Federated learning as a means of privacy protection can effectively solve the above two problems. However, federated learning when applied to UAV networks also needs to consider the heterogeneity of data, which is caused by regional differences in UAV regulation. In response, this paper proposes a new algorithm FedBA to optimize the global model and solves the data heterogeneity problem. In addition, we apply the algorithm to some real datasets, and the experimental results show that the algorithm outperforms other algorithms and improves the accuracy of the local model for UAVs.
translated by 谷歌翻译
联合学习(FL)和分裂学习(SL)是两种新兴的协作学习方法,可能会极大地促进物联网(IoT)中无处不在的智能。联合学习使机器学习(ML)模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习,每个学习都有独特的优势和各自的局限性,可能会相互补充,在物联网中无处不在的智能。因此,联合学习和分裂学习的结合最近成为一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联合学习和拆分学习方面的最新发展,并介绍了有关最先进技术的调查,该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题,并讨论了该领域未来研究的可能方向,希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
随着对数据隐私和所有权的越来越关注,近年来见证了机器学习(ML)的范式转移。新兴的范式,联合学习(FL)引起了人们的关注,并已成为机器学习实现的新设计。 FL可以在中央服务器的协调下启用数据筒仓的ML模型培训,从而消除了开销,而无需共享原始数据。在本文中,我们对FL范式进行了综述,尤其是比较类型,网络结构和全局模型聚合方法。然后,我们对能源域中的FL应用进行了全面审查(请参阅本文的智能电网)。我们提供FL的主题分类,以解决各种与能源有关的问题,包括需求响应,识别,预测和联合优化。我们详细描述了分类法,并以讨论各个方面的讨论,包括其能源信息学应用程序中的挑战,机会和局限性,例如能源系统建模和设计,隐私和进化。
translated by 谷歌翻译
联合学习(FL)是AI的新出现的分支,它有助于边缘设备进行协作训练全球机器学习模型,而无需集中数据并默认使用隐私。但是,尽管进步显着,但这种范式面临着各种挑战。具体而言,在大规模部署中,客户异质性是影响培训质量(例如准确性,公平性和时间)的规范。此外,这些电池约束设备的能源消耗在很大程度上尚未探索,这是FL的广泛采用的限制。为了解决这个问题,我们开发了EAFL,这是一种能源感知的FL选择方法,该方法考虑了能源消耗以最大程度地提高异质目标设备的参与。 \ Scheme是一种功能感知的培训算法,该算法与电池电量更高的挑选客户结合使用,并具有最大化系统效率的能力。我们的设计共同最大程度地减少了临界时间,并最大程度地提高了其余的电池电池水平。 \方案将测试模型的精度提高了高达85 \%,并将客户的辍学率降低了2.45 $ \ times $。
translated by 谷歌翻译
尽管结果令人印象深刻,但深度学习的技术还引起了经常在数据中心进行的培训程序引起的严重隐私和环境问题。作为回应,已经出现了集中培训的替代方案,例如联邦学习(FL)。也许出乎意料的是,FL开始在全球范围内部署,这些公司必须遵守源自倡导隐私保护的政府和社会团体的新法律要求和政策。 \ textit {但是,与FL有关的潜在环境影响仍然不清楚和未开发。本文提供了有关佛罗里达碳足迹的首次系统研究。然后,我们将FL的碳足迹与传统的集中学习进行了比较。我们的发现表明,根据配置,FL可以比集中的机器学习高达两个数量级。但是,在某些情况下,由于嵌入式设备的能源消耗减少,它可以与集中学习相提并论。我们使用FL进行了不同类型的数据集,设置和各种深度学习模型的广泛实验。最后,我们强调并将报告的结果与FL的未来挑战和趋势联系起来,以减少其环境影响,包括算法效率,硬件能力和更强的行业透明度。
translated by 谷歌翻译
在存在数据掠夺性保存问题的情况下,有效地在许多设备和资源限制上(尤其是在边缘设备上)的有效部署深度神经网络是最具挑战性的问题之一。传统方法已经演变为改善单个全球模型,同时保持每个本地培训数据分散(即数据杂质性),或者培训一个曾经是一个曾经是一个曾经是的网络,该网络支持多样化的建筑设置,以解决配备不同计算功能的异质系统(即模型杂种)。但是,很少的研究同时考虑了这两个方向。在这项工作中,我们提出了一个新颖的框架来考虑两种情况,即超级网训练联合会(FEDSUP),客户在该场景中发送和接收一条超级网,其中包含从本身中采样的所有可能的体系结构。它的灵感来自联邦学习模型聚合阶段(FL)中平均参数的启发,类似于超级网训练中的体重分享。具体而言,在FedSup框架中,训练单射击模型中广泛使用的重量分享方法与联邦学习的平均(FedAvg)结合在一起。在我们的框架下,我们通过将子模型发送给广播阶段的客户来降低沟通成本和培训间接费用,提出有效的算法(电子馈SUP)。我们展示了几种增强FL环境中超网训练的策略,并进行广泛的经验评估。结果框架被证明为在几个标准基准上的数据和模型杂质性的鲁棒性铺平了道路。
translated by 谷歌翻译
跨不同边缘设备(客户)局部数据的分布不均匀,导致模型训练缓慢,并降低了联合学习的准确性。幼稚的联合学习(FL)策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型,即集群键,其中客户组具有具有相似分布的本地数据,从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据,尤其是群集串数据的数据,我们提出了FedDrl,这是一种新型的FL模型,它采用了深厚的强化学习来适应每个客户的影响因素(将用作聚合过程中的权重)。在一组联合数据集上进行了广泛的实验证实,拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进,例如,高达4.05%和2.17%。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联合学习(FL)可以对机器学习模型进行分布式培训,同时将个人数据保存在用户设备上。尽管我们目睹了FL在移动传感领域的越来越多的应用,例如人类活动识别(HAR),但在多设备环境(MDE)的背景下,尚未对FL进行研究,其中每个用户都拥有多个数据生产设备。随着移动设备和可穿戴设备的扩散,MDE在Ubicomp设置中越来越受欢迎,因此需要对其中的FL进行研究。 MDE中的FL的特征是在客户和设备异质性的存在中并不复杂,并不是独立的,并且在客户端之间并非独立分布(非IID)。此外,确保在MDE中有效利用佛罗里达州客户的系统资源仍然是一个重要的挑战。在本文中,我们提出了以用户为中心的FL培训方法来应对MDE中的统计和系统异质性,并在设备之间引起推理性能的一致性。火焰功能(i)以用户为中心的FL培训,利用同一用户的设备之间的时间对齐; (ii)准确性和效率感知设备的选择; (iii)对设备的个性化模型。我们还提出了具有现实的能量流量和网络带宽配置文件的FL评估测试,以及一种基于类的新型数据分配方案,以将现有HAR数据集扩展到联合设置。我们在三个多设备HAR数据集上的实验结果表明,火焰的表现优于各种基准,F1得分高4.3-25.8%,能源效率提高1.02-2.86倍,并高达2.06倍的收敛速度,以通过FL的公平分布来获得目标准确性工作量。
translated by 谷歌翻译
Vanilla联合学习(FL)依赖于集中的全球聚合机制,并假设所有客户都是诚实的。这使得FL减轻单一失败和不诚实客户的挑战。由于FL和区块链的好处(例如,民主,激励性和不变性),FL的设计理念中的这些即将到来的挑战呼吁基于区块链的联邦学习(BFL)。但是,香草BFL中的一个问题是,它的功能不会以动态的方式遵循采用者的需求。此外,Vanilla BFL依赖于无法验证的客户的自我报告的贡献,例如数据大小,因为在FL中不允许检查客户的原始数据是否存在隐私问题。我们设计和评估了一种新型的BFL框架,并以更大的灵活性和激励机制(称为Fair-BFL)解决了香草BFL中确定的挑战。与现有作品相反,Fair-BFL通过模块化设计提供了前所未有的灵活性,使采用者可以按照动态的方式调整其业务需求的能力。我们的设计说明了BFL量化每个客户对全球学习过程的贡献的能力。这种量化提供了一个合理的指标,可以在联邦客户之间分配奖励,并帮助发现可能毒害全球模型的恶意参与者。
translated by 谷歌翻译