本文考虑了用于训练机器学习模型的物联网(IoT)数据的市场。数据通过网络提供给市场平台,并根据其给机器学习模型带来的价值来控制数据的价格。我们在游戏理论环境中探索数据的相关性属性,最终为数据交易机制提供了简化的分布解决方案,该解决方案强调了设备和市场的共同利益。关键建议是针对市场的有效算法,该算法共同解决了参与中的可用性和异质性的挑战,以及信任的转移以及物联网网络中数据交换的经济价值。提出的方法通过通过相关数据加强设备之间的协作机会来建立数据市场,以避免信息泄漏。在其中,我们开发了一个整个网络优化问题,可最大程度地提高相似数据类型的IoT设备之间联盟的社会价值;同时,它最大程度地减少了由于网络外部性而引起的成本,即由于数据相关性而引起的信息泄漏的影响以及机会成本。最后,我们揭示了该法式问题作为分布式联盟游戏的结构,并根据简化的分裂和合并算法解决了它。仿真结果表明,我们提出的机制设计对值得信赖的物联网数据市场的功效,每个卖方的平均收益高达32.72%。
translated by 谷歌翻译
联邦学习(FL)变得流行,并在训练大型机器学习(ML)模型的情况下表现出很大的潜力,而不会使所有者的原始数据曝光。在FL中,数据所有者可以根据其本地数据培训ML模型,并且仅将模型更新发送到模型更新,而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效,招募足够的参与者至关重要。同时,数据所有者是理性的,可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题,最近有各种作品旨在激励数据业主贡献其资源。在本文中,我们为文献中提出的经济和游戏理论方法提供了全面的审查,以设计刺激数据业主参加流程培训过程的各种计划。特别是,我们首先在激励机制设计中常用的佛罗里达州的基础和背景,经济理论。然后,我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后,我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。
translated by 谷歌翻译
由于机器学习(ML)模型变得越来越复杂,其中一个中央挑战是它们在规模的部署,使得公司和组织可以通过人工智能(AI)创造价值。 ML中的新兴范式是一种联合方法,其中学习模型部分地将其交付给一组异构剂,允许代理与自己的数据一起培训模型。然而,模型的估值问题,以及数据/模型的协作培训和交易的激励问题,在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型,兴趣的卖家将本地计算花在他们的数据上,以增强该模型的质量。在这样做时,考虑了本地数据与训练型型号的质量之间的比例关系,并且通过分布式数据福价(DSV)估计了销售课程中的训练中的数据的估值。同时,通过分布式分区技术(DLT)提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效,在参与者的激励方面下降了15 \%。
translated by 谷歌翻译
A key feature of federated learning (FL) is to preserve the data privacy of end users. However, there still exist potential privacy leakage in exchanging gradients under FL. As a result, recent research often explores the differential privacy (DP) approaches to add noises to the computing results to address privacy concerns with low overheads, which however degrade the model performance. In this paper, we strike the balance of data privacy and efficiency by utilizing the pervasive social connections between users. Specifically, we propose SCFL, a novel Social-aware Clustered Federated Learning scheme, where mutually trusted individuals can freely form a social cluster and aggregate their raw model updates (e.g., gradients) inside each cluster before uploading to the cloud for global aggregation. By mixing model updates in a social group, adversaries can only eavesdrop the social-layer combined results, but not the privacy of individuals. We unfold the design of SCFL in three steps. \emph{i) Stable social cluster formation. Considering users' heterogeneous training samples and data distributions, we formulate the optimal social cluster formation problem as a federation game and devise a fair revenue allocation mechanism to resist free-riders. ii) Differentiated trust-privacy mapping}. For the clusters with low mutual trust, we design a customizable privacy preservation mechanism to adaptively sanitize participants' model updates depending on social trust degrees. iii) Distributed convergence}. A distributed two-sided matching algorithm is devised to attain an optimized disjoint partition with Nash-stable convergence. Experiments on Facebook network and MNIST/CIFAR-10 datasets validate that our SCFL can effectively enhance learning utility, improve user payoff, and enforce customizable privacy protection.
translated by 谷歌翻译
在联合学习(FL)设置中,许多设备有助于培训通用模型。我们提出了一种选择提供更新的设备,以实现改进的概括,快速收敛和更好的设备级别性能。我们制定了最低 - 最大优化问题,并将其分解为原始偶的设置,在该设置中,双重性差距用于量化设备级的性能。我们的策略通过\ emph {exploitation}的随机设备选择,通过简化的设备贡献来结合数据新鲜度。这在概括和个性化方面都改善了受过训练的模型的性能。在开发阶段,应用了修改的截短蒙特卡洛(TMC)方法,以估计设备的贡献并降低开销的通信。实验结果表明,所提出的方法具有竞争性能,对基线方案的沟通开销和竞争性个性化绩效较低。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联合学习(FL)是一个有前途的分布式框架,用于协作人工智能模型培训,同时保护用户隐私。引起大量研究关注的引导组件是激励机制刺激佛罗里达用户协作的设计。大多数作品采用以经纪人为中心的方法来帮助中央运营商吸引参与者并进一步获得训练有素的模型。很少有作品认为参与者之间以参与者为中心的合作来追求其共同利益的FL模型,这会引起以经纪人FL的激励机制设计的显着差异。为了协调自私和异质参与者,我们提出了一个新颖的分析框架,以激励以参与者为中心的FL有效,有效的合作。具体而言,我们分别提出了两个新型游戏模型,用于贡献符合贡献的FL(COFL)和贡献感知的FL(CAFL),后者在其中实现了最低贡献阈值机制。我们进一步分析了COFL和CAFL游戏的NASH平衡的独特性和存在,并设计有效的算法以实现平衡溶液。广泛的绩效评估表明,COFL中存在自由骑行现象,通过采用CAFL模型具有优化的最低阈值,可以极大地缓解这种现象。
translated by 谷歌翻译
在这项工作中,我们提出了一种新颖的框架来解决联邦学习(FL)的移动应用程序服务的争吵和隐私问题,考虑到移动用户(MUS)/移动应用程序提供者(MAP),隐私的有限计算/通信资源在贡献数据到地图中的MU中的成本,合理性和激励竞争。特别是,该地图首先基于MUS的信息/特征确定FL过程的一组最佳MU。为了缓解隐私意识的讨论问题,每个选定的MU可以加密本地数据的一部分,并除了本地培训过程之外,还可以将加密数据上载到加密培训过程的地图。为此,每个选定的MU可以根据其预期的培训本地数据和隐私保护的加密数据向地图提出合同。为了找到最佳合同,可以最大限度地利用地图和所有参与峰的同时保持整个系统的高学习质量,首先开发一个基于多个实用程序的基于多个实用程序的基于多项基于的一个基于的基于替代的问题。这些实用程序函数占MUS'隐私成本,地图的计算资源有限,地图和MU之间的不对称信息。然后,我们将问题转换为等同的低复杂性问题,并开发轻量级迭代算法,以有效地找到最佳解决方案。具有真实世界数据集的实验表明,我们的框架可以加快培训时间高达49%,提高预测准确性高达4.6倍,同时增强网络的社会福利,即所有参与实体的总实用性,高达114%与基线方法相比,隐私费用考虑。
translated by 谷歌翻译
互联网连接系统的指数增长产生了许多挑战,例如频谱短缺问题,需要有效的频谱共享(SS)解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题,需要保护机制是自适应,可靠和可扩展的。基于机器学习(ML)的方法经常提议解决这些问题。在本文中,我们对最近的基于ML的SS方法,最关键的安全问题和相应的防御机制提供了全面的调查。特别是,我们详细说明了用于提高SS通信系统的性能的最先进的方法,包括基于ML基于ML的基于的数据库辅助SS网络,ML基于基于的数据库辅助SS网络,包括基于ML的数据库辅助的SS网络,基于ML的LTE-U网络,基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题,包括主要用户仿真(PUE)攻击,频谱感测数据伪造(SSDF)攻击,干扰攻击,窃听攻击和隐私问题。最后,还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题,提供基础和促进未来的研究。
translated by 谷歌翻译
由于数据量增加,金融业的快速变化已经彻底改变了数据处理和数据分析的技术,并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比,解决模型假设的财务决策问题,强化学习(RL)的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程,这是许多常用的RL方法的设置。然后引入各种算法,重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的,以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用,包括最佳执行,投资组合优化,期权定价和对冲,市场制作,智能订单路由和Robo-Awaring。
translated by 谷歌翻译
在本文中,引入了传输分配系统灵活性市场,其中系统运营商(SOS)共同采购不同系统的灵活性,以满足他们使用公共市场的需求(平衡和拥堵管理)。然后,这种共同的市场是作为一个合作游戏,旨在识别参与SOS之间联合采购灵活性的成本稳定有效地分配,以激励其合作。然后在数学上证明了这场比赛的核心的非空虚,暗示了游戏的稳定性以及SOS之间的合作自然而然的激励。然后引入了几种成本分配机制,同时表征了它们的数学特性。专注于互连系统的数值结果(由IEEE 14总线传输系统和MATPower 18-Bus,69总线和141母线分布系统组成)展示了系统范围内灵活性采购成本的合作诱导的降低,在各种成本分配方法下识别不同的SOS所承受的不同成本。
translated by 谷歌翻译
弥补联邦学习(FL)模型的分散培训中所涉及的成本的激励措施是客户长期参与的关键刺激。但是,由于缺乏以下信息,请说服客户在FL上进行质量参与:(i)有关客户数据质量和属性的完整信息; (ii)客户数据贡献的价值; (iii)货币奖励优惠的可信赖机制。这通常会导致培训和沟通效率较差。尽管有几项工作着重于战略激励设计和客户选择以克服这个问题,但就针对预见的数字经济(包括Web 3.0)量身定制的总体设计存在一个重大的知识差距,同时同时实现了学习目标。为了解决这一差距,我们提出了一个基于贡献的令牌化激励方案,即\ texttt {fedToken},并得到区块链技术的支持,可确保在模型培训期间与其数据估值相对应的客户之间的公平分配。利用工程设计的基于Shapley的计划,我们首先近似模型聚合过程中本地模型的贡献,然后战略性地安排客户降低沟通循环的融合和锚定方式,以分配\ emph {负担得起的}代币在受限的货币预算下。广泛的模拟证明了我们提出的方法的功效。
translated by 谷歌翻译
The advent of Federated Learning (FL) has ignited a new paradigm for parallel and confidential decentralized Machine Learning (ML) with the potential of utilizing the computational power of a vast number of IoT, mobile and edge devices without data leaving the respective device, ensuring privacy by design. Yet, in order to scale this new paradigm beyond small groups of already entrusted entities towards mass adoption, the Federated Learning Framework (FLF) has to become (i) truly decentralized and (ii) participants have to be incentivized. This is the first systematic literature review analyzing holistic FLFs in the domain of both, decentralized and incentivized federated learning. 422 publications were retrieved, by querying 12 major scientific databases. Finally, 40 articles remained after a systematic review and filtering process for in-depth examination. Although having massive potential to direct the future of a more distributed and secure AI, none of the analyzed FLF is production-ready. The approaches vary heavily in terms of use-cases, system design, solved issues and thoroughness. We are the first to provide a systematic approach to classify and quantify differences between FLF, exposing limitations of current works and derive future directions for research in this novel domain.
translated by 谷歌翻译
Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
在本文中,我们研究了多服务器边缘计算中基于区块链的联合学习(BFL)的新延迟优化问题。在此系统模型中,分布式移动设备(MDS)与一组Edge服务器(ESS)通信,以同时处理机器学习(ML)模型培训和阻止开采。为了协助ML模型培训用于资源受限的MD,我们制定了一种卸载策略,使MD可以将其数据传输到相关的ESS之一。然后,我们基于共识机制在边缘层上提出了一个新的分散的ML模型聚合解决方案,以通过基于对等(P2P)基于基于的区块链通信构建全局ML模型。区块链在MDS和ESS之间建立信任,以促进可靠的ML模型共享和合作共识形成,并能够快速消除由中毒攻击引起的操纵模型。我们将延迟感知的BFL作为优化,旨在通过联合考虑数据卸载决策,MDS的传输功率,MDS数据卸载,MDS的计算分配和哈希功率分配来最大程度地减少系统延迟。鉴于离散卸载和连续分配变量的混合作用空间,我们提出了一种具有参数化优势演员评论家算法的新型深度强化学习方案。从理论上讲,我们根据聚合延迟,迷你批量大小和P2P通信回合的数量来表征BFL的收敛属性。我们的数值评估证明了我们所提出的方案优于基线,从模型训练效率,收敛速度,系统潜伏期和对模型中毒攻击的鲁棒性方面。
translated by 谷歌翻译
联邦学习(FL)是一个新兴机器学习范式,数据所有者可以在不共享其原始数据的情况下协作培训模型。 FL中的两个基本研究问题是激励机制和隐私保护。前者侧重于如何激励数据所有者参加FL。后者研究如何保护数据所有者的隐私,同时保持训练型模型的高效用。但是,FL中的激励机制和隐私保护已被分开研究,并且没有工作同时解决这两个问题。在这项工作中,我们通过提供适当的付款和隐私保护来解决飞行市场的两个问题,这会激励数据所有者的参与。 FL-Market使数据所有者能够根据本地差异隐私(LDP)量化的隐私损失来获得赔偿。我们的识别是,通过满足数据所有者的个性化隐私偏好并提供适当的付款,我们可以(1)激励隐私风险数据所有者设置更大的隐私参数(即,具有较少噪声的渐变)和(2)提供首选隐私保护对于隐私风险厌恶数据所有者。为实现这一目标,我们设计了一个基于LDP的FL框架,具有深度学习的拍卖机制,可以使用较少的噪音和最佳聚合机制激励交易私人模型,并将本地梯度聚合成准确的全局梯度。我们的实验验证了拟议的框架和机制的有效性。
translated by 谷歌翻译
联合学习通常被认为是一种有益的技术,它允许多个代理人相互协作,提高模型的准确性,并解决这些问题,这些问题否则这些问题是数据密集型 /昂贵而无法单独解决的。但是,在预期其他代理商将共享其数据的情况下,理性的代理人可能会很想从事有害行为,例如自由骑行的行为,他们在哪里贡献了数据,但仍然享有改进的模型。在这项工作中,我们提出了一个框架来分析此类合理数据生成器的行为。我们首先展示了幼稚的方案如何导致灾难性的自由骑行水平,其中数据共享的好处被完全侵蚀。然后,使用合同理论的想法,我们介绍基于准确性的机制,以最大程度地提高每个代理生成的数据量。这些可以防止自由骑行而无需任何付款机制。
translated by 谷歌翻译
本文通过匹配的追求方法开发了一类低复杂设备调度算法,以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能,并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比,所提出的方案在系统上构成了较低的计算负载:对于$ k $设备和参数服务器上的$ n $ antennas,基准的复杂性用$ \ left缩放(n^)2 + k \ right)^3 + n^6 $,而提出的方案量表的复杂性则以$ 0 <p,q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。
translated by 谷歌翻译