在大数据时代,机器学习(ML)已经渗透了各个领域。协作机器学习(CML)比大多数常规ML的优势在于分散节点或代理的共同努力,从而可以提高模型性能和泛化。由于ML模型的培训需要大量的高质量数据,因此有必要消除对数据隐私的担忧并确保高质量的数据。为了解决这个问题,我们注视着CML和智能合约的整合。基于区块链,智能合约可以自动执行数据保存和验证以及CML模型培训的连续性。在我们的仿真实验中,我们定义了智能合约上的激励机制,研究重要因素,例如数据集中的功能数量(num_words),培训数据的大小,数据持有人提交数据等的成本等。并得出结论这些因素如何影响模型的性能指标:训练有素的模型的准确性,模型之前和之后模型的精度之间的差距以及消耗不良代理平衡的时间。例如,NUM_WORDS的值的增加导致更高的模型准确性,并从我们对实验结果的观察结果中消除了恶意药物的负面影响。统计分析表明,借助智能合约,无效数据的影响有效地减少并保持模型鲁棒性。我们还讨论了现有研究的差距,并提出了可能的进一步工作的未来方向。
translated by 谷歌翻译
现在已经普遍研究了机器学习(ML),它已应用于现实生活的许多方面。然而,模型和数据问题仍然伴随着ML的发展。例如,传统ML型号的培训仅限于数据集的访问,这通常是专有的;发布的ML模型可能很快过时,无需更新新数据和持续培训;恶意数据贡献者可能上传错误标记的数据,导致不良培训结果;滥用私有数据和数据泄漏也退出。利用区块链,新兴和迅速发展的技术,可以有效地解决这些问题。在本文中,我们对协同ML和区块链的融合进行了调查。我们调查了这两种技术的不同组合方式及其应用领域。我们还讨论了当前研究及其未来方向的局限性。
translated by 谷歌翻译
机器学习能力已成为跨行业,应用和行业各种解决方案的重要组成部分。许多组织试图利用其在业务服务中基于AI的解决方案,以释放提高效率并提高生产率。但是,如果缺乏用于AI模型培训,可伸缩性和维护的质量数据,可能会出现问题。我们建议通过公共区块链和智能合约利用以数据为中心的联合学习体系结构来克服这一重大问题。我们提出的解决方案提供了一个虚拟的公共市场,开发人员,数据科学家和AI工程师可以发布其模型,并协作创建和访问培训的质量数据。我们通过激励机制增强了数据质量和完整性,该机制奖励了数据贡献和验证。那些与所提出的框架相结合的人只有一个用户模拟训练数据集,平均每天100个输入,模型准确性约为4 \%。
translated by 谷歌翻译
推荐系统已广泛应用于不同的应用领域,包括能量保存,电子商务,医疗保健,社交媒体等。此类应用需要分析和挖掘大量各种类型的用户数据,包括人口统计,偏好,社会互动等,以便开发准确和精确的推荐系统。此类数据集通常包括敏感信息,但大多数推荐系统专注于模型的准确性和忽略与安全性和用户隐私相关的问题。尽管使用不同的风险减少技术克服这些问题,但它们都没有完全成功,确保了对用户的私人信息的密码安全和保护。为了弥合这一差距,区块链技术作为推动推荐系统中的安全和隐私保存的有希望的策略,不仅是因为其安全性和隐私性突出特征,而且由于其恢复力,适应性,容错和信任特性。本文介绍了涵盖挑战,开放问题和解决方案的基于区块链的推荐系统的整体综述。因此,引入了精心设计的分类,以描述安全和隐私挑战,概述现有框架并在使用区块链之前讨论其应用程序和利益,以指示未来的研究机会。
translated by 谷歌翻译
物联网的最新研究已被广泛应用于工业实践,促进了数据和连接设备的指数增长。此后,各方通过某些数据共享策略将访问数据驱动的AI模型。但是,当前大多数培训程序都依赖于集中式数据收集策略和单个计算服务器。但是,这样的集中计划可能会导致许多问题。存储在集中数据库中的客户数据可能会被篡改,因此数据的出处和真实性是不能合理的。一旦出现上述安全问题,训练有素的AI模型的可信度将是值得怀疑的,甚至在测试阶段也可能产生不利的结果。最近,已经探索了行业4.0和Web 3.0的两种核心技术区块链和AI,以促进分散的AI培训策略。为了实现这一目的,我们提出了一种称为Appflchain的新系统体系结构,即基于Hyperledger织物的区块链和联合学习范式的集成体系结构。我们提出的新系统允许不同的各方共同培训AI模型,其客户或利益相关者由基于联盟区块链的网络连接。由于用户不需要向服务器共享敏感的个人信息,因此我们的新系统可以保持高度的安全性和隐私性。为了进行数值评估,我们模拟了现实世界的场景,以说明Appflchain的整个操作过程。仿真结果表明,利用联盟区块链和联邦学习的特征,Appflchain可以证明有利的特性,包括不可耐受性,可追溯性,隐私保护和可靠的决策。
translated by 谷歌翻译
随着物联网,AI和ML/DL算法的出现,数据驱动的医疗应用已成为一种有前途的工具,用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来,这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是,由于这些基于AI的医疗应用程序在满足严格的安全性,隐私和服务标准(例如低延迟)方面的困难,因此仍然采用较差。此外,医疗数据通常是分散的和私人的,这使得在人群之间产生强大的结果具有挑战性。联邦学习(FL)的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此,FL已成为一个积极的研究领域,尤其是以分散的方式处理网络边缘的医疗数据,以保护隐私和安全问题。为此,本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题,设备挑战,安全性,隐私问题及其在医疗领域的潜力。此外,我们的研究还集中在医疗应用上,我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站,以彻底的方式阐明现有的最新最新作品,并为该领域提供开放的问题和未来的研究指示。
translated by 谷歌翻译
由于机器学习(ML)模型变得越来越复杂,其中一个中央挑战是它们在规模的部署,使得公司和组织可以通过人工智能(AI)创造价值。 ML中的新兴范式是一种联合方法,其中学习模型部分地将其交付给一组异构剂,允许代理与自己的数据一起培训模型。然而,模型的估值问题,以及数据/模型的协作培训和交易的激励问题,在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型,兴趣的卖家将本地计算花在他们的数据上,以增强该模型的质量。在这样做时,考虑了本地数据与训练型型号的质量之间的比例关系,并且通过分布式数据福价(DSV)估计了销售课程中的训练中的数据的估值。同时,通过分布式分区技术(DLT)提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效,在参与者的激励方面下降了15 \%。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
联邦学习一直是一个热门的研究主题,使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型,需要开发系统和基础设施,以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统,可以增强深度学习的发展,联邦学习系统(FLSS)是等效的,并且面临各个方面的面临挑战,如有效性,效率和隐私。在本调查中,我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究,我们介绍了联合学习系统的定义并分析了系统组件。此外,我们根据六种不同方面提供联合学习系统的全面分类,包括数据分布,机器学习模型,隐私机制,通信架构,联合集市和联合的动机。分类可以帮助设计联合学习系统,如我们的案例研究所示。通过系统地总结现有联合学习系统,我们展示了设计因素,案例研究和未来的研究机会。
translated by 谷歌翻译
本文旨在研究入侵攻击,然后为区块链网络开发新的网络攻击检测框架。具体来说,我们首先在实验室设计和实施区块链网络。该区块链网络将实现两个目的,即为我们的学习模型生成真实的流量数据(包括正常数据和攻击数据),并实施实时实验,以评估我们建议的入侵检测框架的性能。据我们所知,这是第一个在区块链网络中用于网络攻击的实验室中合成的数据集。然后,我们提出了一个新颖的协作学习模型,该模型允许区块链网络中的有效部署来检测攻击。提出的学习模型的主要思想是使区块链节点能够积极收集数据,从其数据中分享知识,然后与网络中的其他区块链节点交换知识。这样,我们不仅可以利用网络中所有节点的知识,而且还不需要收集所有原始数据进行培训,以便在常规的集中学习解决方案等集中式节点上进行培训。这样的框架还可以避免暴露本地数据的隐私以及过多的网络开销/拥堵的风险。密集模拟和实时实验都清楚地表明,我们提出的基于协作的入侵检测框架可以在检测攻击方面达到高达97.7%的准确性。
translated by 谷歌翻译
使用人工智能(AI)赋予无线网络中数据量的前所未有的数据量激增,为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习(ML)基础的服务。然而,这种传统的训练技术包括两个挑战:(i)由于数据通信增加而导致的高通信和能源成本,(ii)通过允许不受信任的各方利用这些信息来威胁数据隐私。最近,鉴于这些限制,一种新兴的新兴技术,包括联合学习(FL),以使ML带到无线网络的边缘。通过以分布式方式培训全局模型,可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源,在不影响数据隐私的情况下开发广义ML模型。在本文中,我们介绍了对FL的基本面和能够实现技术的全面调查。此外,提出了一个广泛的研究,详细说明了无线网络中的流体的各种应用,并突出了他们的挑战和局限性。进一步探索了FL的疗效,其新兴的前瞻性超出了第五代(B5G)和第六代(6G)通信系统。本调查的目的是在关键的无线技术中概述了流动的技术,这些技术将作为建立对该主题的坚定了解的基础。最后,我们向未来的研究方向提供前进的道路。
translated by 谷歌翻译
联合学习(FL)已成为工业物联网(IIOT)网络中数字双胞胎的必不可少的技术。但是,由于FL的主/奴隶结构,抵制主聚合器的单点失败以及恶意IIOT设备的攻击是非常具有挑战性的,同时保证了模型收敛速度和准确性。最近,区块链已进入FL系统,将范式转换为分散的方式,从而进一步提高了系统的安全性和学习可靠性。不幸的是,由于资源消耗庞大,交易量有限和高度沟通复杂性,区块链系统的传统共识机制和架构几乎无法处理大规模的FL任务并在IIT设备上运行。为了解决这些问题,本文提出了一个两层区块链驱动的FL系统,称为Chainfl,该系统将IIOT网络分为多个碎片,作为限制信息交换的标准层,并采用直接的无循环图(DAG) - 基于主链作为主链层,以实现平行和异步的横断面验证。此外,FL程序是定制的,以与区块链深入集成,并提出了修改的DAG共识机制来减轻由异常模型引起的失真。为了提供概念验证的实施和评估,部署了基于HyperLeDger面料和基于自发DAG的Mainchain的多个子链。广泛的实验结果表明,我们提出的链条系统以可接受和快速的训练效率(最高14%)和更强的鲁棒性(最多3次)优于现有的主要FL系统。
translated by 谷歌翻译
联合学习(FL)和分裂学习(SL)是两种新兴的协作学习方法,可能会极大地促进物联网(IoT)中无处不在的智能。联合学习使机器学习(ML)模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习,每个学习都有独特的优势和各自的局限性,可能会相互补充,在物联网中无处不在的智能。因此,联合学习和分裂学习的结合最近成为一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联合学习和拆分学习方面的最新发展,并介绍了有关最先进技术的调查,该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题,并讨论了该领域未来研究的可能方向,希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
我们提出了一个用于机器学习应用的基于区块链的安全数据交易市场的Omnilytics。利用omnilytics,许多分布式数据所有者可以贡献他们的私人数据,以集体培训某些型号所有者请求的ML模型,并获得数据贡献的补偿。 Omnilytics使这种模型培训能够同时为奇怪的数据所有者提供1)模型安全; 2)对奇怪的模型和数据所有者的数据安全; 3)对恶意数据所有者的弹性,为毒药模型培训提供有错误的结果; 4)打算逃避付款的恶意模型所有者的弹性。 Omnilytics被实施为一个区块链智能合同,以保证付款的原子。在omnilytics中,模型所有者将其模型分成私人和公共部分,并在合同上发布公共部分。通过执行合同,参与的数据所有者将其当地培训的模型安全地汇总以更新模型所有者的公共模式,并通过合同获得报销。我们在以Ethereum区块链中实施了Omnilytics的工作原型,并在各种参数组合下进行了广泛的实验,以测量其天然气成本,执行时间和模型质量。为了在MNIST数据集上训练CNN,MO能够将其模型精度从平板ChangchConsion Time的500毫秒内的62%提升到83%。这证明了Omnilytics对实际部署的有效性。
translated by 谷歌翻译
这项工作调查了联合学习的可能性,了解IOT恶意软件检测,并研究该新学习范式固有的安全问题。在此上下文中,呈现了一种使用联合学习来检测影响物联网设备的恶意软件的框架。 n-baiot,一个数据集在由恶意软件影响的几个实际物联网设备的网络流量,已被用于评估所提出的框架。经过培训和评估监督和无监督和无监督的联邦模型(多层Perceptron和AutoEncoder)能够检测到MATEN和UNEEN的IOT设备的恶意软件,并进行了培训和评估。此外,它们的性能与两种传统方法进行了比较。第一个允许每个参与者在本地使用自己的数据局面训练模型,而第二个包括使参与者与负责培训全局模型的中央实体共享他们的数据。这种比较表明,在联合和集中方法中完成的使用更多样化和大数据,对模型性能具有相当大的积极影响。此外,联邦模型,同时保留了参与者的隐私,将类似的结果与集中式相似。作为额外的贡献,并衡量联邦方法的稳健性,已经考虑了具有若干恶意参与者中毒联邦模型的对抗性设置。即使使用单个对手,大多数联邦学习算法中使用的基线模型聚合平均步骤也很容易受到不同攻击的影响。因此,在相同的攻击方案下评估了作为对策的其他模型聚合函数的性能。这些职能对恶意参与者提供了重大改善,但仍然需要更多的努力来使联邦方法强劲。
translated by 谷歌翻译
通信技术和互联网的最新进展与人工智能(AI)启用了智能医疗保健。传统上,由于现代医疗保健网络的高性性和日益增长的数据隐私问题,AI技术需要集中式数据收集和处理,这可能在现实的医疗环境中可能是不可行的。作为一个新兴的分布式协作AI范例,通过协调多个客户(例如,医院)来执行AI培训而不共享原始数据,对智能医疗保健特别有吸引力。因此,我们对智能医疗保健的使用提供了全面的调查。首先,我们在智能医疗保健中展示了近期进程,动机和使用FL的要求。然后讨论了近期智能医疗保健的FL设计,从资源感知FL,安全和隐私感知到激励FL和个性化FL。随后,我们对关键医疗领域的FL新兴应用提供了最先进的综述,包括健康数据管理,远程健康监测,医学成像和Covid-19检测。分析了几个最近基于智能医疗保健项目,并突出了从调查中学到的关键经验教训。最后,我们讨论了智能医疗保健未来研究的有趣研究挑战和可能的指示。
translated by 谷歌翻译
The advent of Federated Learning (FL) has ignited a new paradigm for parallel and confidential decentralized Machine Learning (ML) with the potential of utilizing the computational power of a vast number of IoT, mobile and edge devices without data leaving the respective device, ensuring privacy by design. Yet, in order to scale this new paradigm beyond small groups of already entrusted entities towards mass adoption, the Federated Learning Framework (FLF) has to become (i) truly decentralized and (ii) participants have to be incentivized. This is the first systematic literature review analyzing holistic FLFs in the domain of both, decentralized and incentivized federated learning. 422 publications were retrieved, by querying 12 major scientific databases. Finally, 40 articles remained after a systematic review and filtering process for in-depth examination. Although having massive potential to direct the future of a more distributed and secure AI, none of the analyzed FLF is production-ready. The approaches vary heavily in terms of use-cases, system design, solved issues and thoroughness. We are the first to provide a systematic approach to classify and quantify differences between FLF, exposing limitations of current works and derive future directions for research in this novel domain.
translated by 谷歌翻译
近年来,随着传感器和智能设备的广泛传播,物联网(IoT)系统的数据生成速度已大大增加。在物联网系统中,必须经常处理,转换和分析大量数据,以实现各种物联网服务和功能。机器学习(ML)方法已显示出其物联网数据分析的能力。但是,将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战,特别是有效的模型选择,设计/调整和更新,这给经验丰富的数据科学家带来了巨大的需求。此外,物联网数据的动态性质可能引入概念漂移问题,从而导致模型性能降解。为了减少人类的努力,自动化机器学习(AUTOML)已成为一个流行的领域,旨在自动选择,构建,调整和更新机器学习模型,以在指定任务上实现最佳性能。在本文中,我们对Automl区域中模型选择,调整和更新过程中的现有方法进行了审查,以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法,在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后,我们讨论并分类了该领域的挑战和研究方向。
translated by 谷歌翻译
Explainable Artificial Intelligence (XAI) is transforming the field of Artificial Intelligence (AI) by enhancing the trust of end-users in machines. As the number of connected devices keeps on growing, the Internet of Things (IoT) market needs to be trustworthy for the end-users. However, existing literature still lacks a systematic and comprehensive survey work on the use of XAI for IoT. To bridge this lacking, in this paper, we address the XAI frameworks with a focus on their characteristics and support for IoT. We illustrate the widely-used XAI services for IoT applications, such as security enhancement, Internet of Medical Things (IoMT), Industrial IoT (IIoT), and Internet of City Things (IoCT). We also suggest the implementation choice of XAI models over IoT systems in these applications with appropriate examples and summarize the key inferences for future works. Moreover, we present the cutting-edge development in edge XAI structures and the support of sixth-generation (6G) communication services for IoT applications, along with key inferences. In a nutshell, this paper constitutes the first holistic compilation on the development of XAI-based frameworks tailored for the demands of future IoT use cases.
translated by 谷歌翻译
通过参与大规模联合学习(FL)优化的设备的异构性质的激励,我们专注于由区块链(BC)技术赋予的异步服务器的FL解决方案。与主要采用的FL方法相比,假设同步操作,我们提倡一个异步方法,由此,模型聚合作为客户端提交本地更新。异步设置与具有异构客户端的实际大规模设置中的联合优化思路非常适合。因此,它可能导致通信开销和空闲时段的效率提高。为了评估启用了BC启用的FL的学习完成延迟,我们提供了基于批量服务队列理论的分析模型。此外,我们提供仿真结果以评估同步和异步机制的性能。涉及BC启用的流量的重要方面,例如网络大小,链路容量或用户要求,并分析并分析。随着我们的结果表明,同步设置导致比异步案例更高的预测精度。然而,异步联合优化在许多情况下提供了更低的延迟,从而在处理大数据集时成为一种吸引力的FL解决方案,严重的时序约束(例如,近实时应用)或高度不同的训练数据。
translated by 谷歌翻译