现在已经普遍研究了机器学习(ML),它已应用于现实生活的许多方面。然而,模型和数据问题仍然伴随着ML的发展。例如,传统ML型号的培训仅限于数据集的访问,这通常是专有的;发布的ML模型可能很快过时,无需更新新数据和持续培训;恶意数据贡献者可能上传错误标记的数据,导致不良培训结果;滥用私有数据和数据泄漏也退出。利用区块链,新兴和迅速发展的技术,可以有效地解决这些问题。在本文中,我们对协同ML和区块链的融合进行了调查。我们调查了这两种技术的不同组合方式及其应用领域。我们还讨论了当前研究及其未来方向的局限性。
translated by 谷歌翻译
在大数据时代,机器学习(ML)已经渗透了各个领域。协作机器学习(CML)比大多数常规ML的优势在于分散节点或代理的共同努力,从而可以提高模型性能和泛化。由于ML模型的培训需要大量的高质量数据,因此有必要消除对数据隐私的担忧并确保高质量的数据。为了解决这个问题,我们注视着CML和智能合约的整合。基于区块链,智能合约可以自动执行数据保存和验证以及CML模型培训的连续性。在我们的仿真实验中,我们定义了智能合约上的激励机制,研究重要因素,例如数据集中的功能数量(num_words),培训数据的大小,数据持有人提交数据等的成本等。并得出结论这些因素如何影响模型的性能指标:训练有素的模型的准确性,模型之前和之后模型的精度之间的差距以及消耗不良代理平衡的时间。例如,NUM_WORDS的值的增加导致更高的模型准确性,并从我们对实验结果的观察结果中消除了恶意药物的负面影响。统计分析表明,借助智能合约,无效数据的影响有效地减少并保持模型鲁棒性。我们还讨论了现有研究的差距,并提出了可能的进一步工作的未来方向。
translated by 谷歌翻译
推荐系统已广泛应用于不同的应用领域,包括能量保存,电子商务,医疗保健,社交媒体等。此类应用需要分析和挖掘大量各种类型的用户数据,包括人口统计,偏好,社会互动等,以便开发准确和精确的推荐系统。此类数据集通常包括敏感信息,但大多数推荐系统专注于模型的准确性和忽略与安全性和用户隐私相关的问题。尽管使用不同的风险减少技术克服这些问题,但它们都没有完全成功,确保了对用户的私人信息的密码安全和保护。为了弥合这一差距,区块链技术作为推动推荐系统中的安全和隐私保存的有希望的策略,不仅是因为其安全性和隐私性突出特征,而且由于其恢复力,适应性,容错和信任特性。本文介绍了涵盖挑战,开放问题和解决方案的基于区块链的推荐系统的整体综述。因此,引入了精心设计的分类,以描述安全和隐私挑战,概述现有框架并在使用区块链之前讨论其应用程序和利益,以指示未来的研究机会。
translated by 谷歌翻译
由于机器学习(ML)模型变得越来越复杂,其中一个中央挑战是它们在规模的部署,使得公司和组织可以通过人工智能(AI)创造价值。 ML中的新兴范式是一种联合方法,其中学习模型部分地将其交付给一组异构剂,允许代理与自己的数据一起培训模型。然而,模型的估值问题,以及数据/模型的协作培训和交易的激励问题,在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型,兴趣的卖家将本地计算花在他们的数据上,以增强该模型的质量。在这样做时,考虑了本地数据与训练型型号的质量之间的比例关系,并且通过分布式数据福价(DSV)估计了销售课程中的训练中的数据的估值。同时,通过分布式分区技术(DLT)提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效,在参与者的激励方面下降了15 \%。
translated by 谷歌翻译
机器学习能力已成为跨行业,应用和行业各种解决方案的重要组成部分。许多组织试图利用其在业务服务中基于AI的解决方案,以释放提高效率并提高生产率。但是,如果缺乏用于AI模型培训,可伸缩性和维护的质量数据,可能会出现问题。我们建议通过公共区块链和智能合约利用以数据为中心的联合学习体系结构来克服这一重大问题。我们提出的解决方案提供了一个虚拟的公共市场,开发人员,数据科学家和AI工程师可以发布其模型,并协作创建和访问培训的质量数据。我们通过激励机制增强了数据质量和完整性,该机制奖励了数据贡献和验证。那些与所提出的框架相结合的人只有一个用户模拟训练数据集,平均每天100个输入,模型准确性约为4 \%。
translated by 谷歌翻译
物联网的最新研究已被广泛应用于工业实践,促进了数据和连接设备的指数增长。此后,各方通过某些数据共享策略将访问数据驱动的AI模型。但是,当前大多数培训程序都依赖于集中式数据收集策略和单个计算服务器。但是,这样的集中计划可能会导致许多问题。存储在集中数据库中的客户数据可能会被篡改,因此数据的出处和真实性是不能合理的。一旦出现上述安全问题,训练有素的AI模型的可信度将是值得怀疑的,甚至在测试阶段也可能产生不利的结果。最近,已经探索了行业4.0和Web 3.0的两种核心技术区块链和AI,以促进分散的AI培训策略。为了实现这一目的,我们提出了一种称为Appflchain的新系统体系结构,即基于Hyperledger织物的区块链和联合学习范式的集成体系结构。我们提出的新系统允许不同的各方共同培训AI模型,其客户或利益相关者由基于联盟区块链的网络连接。由于用户不需要向服务器共享敏感的个人信息,因此我们的新系统可以保持高度的安全性和隐私性。为了进行数值评估,我们模拟了现实世界的场景,以说明Appflchain的整个操作过程。仿真结果表明,利用联盟区块链和联邦学习的特征,Appflchain可以证明有利的特性,包括不可耐受性,可追溯性,隐私保护和可靠的决策。
translated by 谷歌翻译
The advent of Federated Learning (FL) has ignited a new paradigm for parallel and confidential decentralized Machine Learning (ML) with the potential of utilizing the computational power of a vast number of IoT, mobile and edge devices without data leaving the respective device, ensuring privacy by design. Yet, in order to scale this new paradigm beyond small groups of already entrusted entities towards mass adoption, the Federated Learning Framework (FLF) has to become (i) truly decentralized and (ii) participants have to be incentivized. This is the first systematic literature review analyzing holistic FLFs in the domain of both, decentralized and incentivized federated learning. 422 publications were retrieved, by querying 12 major scientific databases. Finally, 40 articles remained after a systematic review and filtering process for in-depth examination. Although having massive potential to direct the future of a more distributed and secure AI, none of the analyzed FLF is production-ready. The approaches vary heavily in terms of use-cases, system design, solved issues and thoroughness. We are the first to provide a systematic approach to classify and quantify differences between FLF, exposing limitations of current works and derive future directions for research in this novel domain.
translated by 谷歌翻译
使用人工智能(AI)赋予无线网络中数据量的前所未有的数据量激增,为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习(ML)基础的服务。然而,这种传统的训练技术包括两个挑战:(i)由于数据通信增加而导致的高通信和能源成本,(ii)通过允许不受信任的各方利用这些信息来威胁数据隐私。最近,鉴于这些限制,一种新兴的新兴技术,包括联合学习(FL),以使ML带到无线网络的边缘。通过以分布式方式培训全局模型,可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源,在不影响数据隐私的情况下开发广义ML模型。在本文中,我们介绍了对FL的基本面和能够实现技术的全面调查。此外,提出了一个广泛的研究,详细说明了无线网络中的流体的各种应用,并突出了他们的挑战和局限性。进一步探索了FL的疗效,其新兴的前瞻性超出了第五代(B5G)和第六代(6G)通信系统。本调查的目的是在关键的无线技术中概述了流动的技术,这些技术将作为建立对该主题的坚定了解的基础。最后,我们向未来的研究方向提供前进的道路。
translated by 谷歌翻译
随着物联网,AI和ML/DL算法的出现,数据驱动的医疗应用已成为一种有前途的工具,用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来,这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是,由于这些基于AI的医疗应用程序在满足严格的安全性,隐私和服务标准(例如低延迟)方面的困难,因此仍然采用较差。此外,医疗数据通常是分散的和私人的,这使得在人群之间产生强大的结果具有挑战性。联邦学习(FL)的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此,FL已成为一个积极的研究领域,尤其是以分散的方式处理网络边缘的医疗数据,以保护隐私和安全问题。为此,本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题,设备挑战,安全性,隐私问题及其在医疗领域的潜力。此外,我们的研究还集中在医疗应用上,我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站,以彻底的方式阐明现有的最新最新作品,并为该领域提供开放的问题和未来的研究指示。
translated by 谷歌翻译
联邦学习一直是一个热门的研究主题,使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型,需要开发系统和基础设施,以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统,可以增强深度学习的发展,联邦学习系统(FLSS)是等效的,并且面临各个方面的面临挑战,如有效性,效率和隐私。在本调查中,我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究,我们介绍了联合学习系统的定义并分析了系统组件。此外,我们根据六种不同方面提供联合学习系统的全面分类,包括数据分布,机器学习模型,隐私机制,通信架构,联合集市和联合的动机。分类可以帮助设计联合学习系统,如我们的案例研究所示。通过系统地总结现有联合学习系统,我们展示了设计因素,案例研究和未来的研究机会。
translated by 谷歌翻译
联合学习(FL)已成为工业物联网(IIOT)网络中数字双胞胎的必不可少的技术。但是,由于FL的主/奴隶结构,抵制主聚合器的单点失败以及恶意IIOT设备的攻击是非常具有挑战性的,同时保证了模型收敛速度和准确性。最近,区块链已进入FL系统,将范式转换为分散的方式,从而进一步提高了系统的安全性和学习可靠性。不幸的是,由于资源消耗庞大,交易量有限和高度沟通复杂性,区块链系统的传统共识机制和架构几乎无法处理大规模的FL任务并在IIT设备上运行。为了解决这些问题,本文提出了一个两层区块链驱动的FL系统,称为Chainfl,该系统将IIOT网络分为多个碎片,作为限制信息交换的标准层,并采用直接的无循环图(DAG) - 基于主链作为主链层,以实现平行和异步的横断面验证。此外,FL程序是定制的,以与区块链深入集成,并提出了修改的DAG共识机制来减轻由异常模型引起的失真。为了提供概念验证的实施和评估,部署了基于HyperLeDger面料和基于自发DAG的Mainchain的多个子链。广泛的实验结果表明,我们提出的链条系统以可接受和快速的训练效率(最高14%)和更强的鲁棒性(最多3次)优于现有的主要FL系统。
translated by 谷歌翻译
In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.
translated by 谷歌翻译
Explainable Artificial Intelligence (XAI) is transforming the field of Artificial Intelligence (AI) by enhancing the trust of end-users in machines. As the number of connected devices keeps on growing, the Internet of Things (IoT) market needs to be trustworthy for the end-users. However, existing literature still lacks a systematic and comprehensive survey work on the use of XAI for IoT. To bridge this lacking, in this paper, we address the XAI frameworks with a focus on their characteristics and support for IoT. We illustrate the widely-used XAI services for IoT applications, such as security enhancement, Internet of Medical Things (IoMT), Industrial IoT (IIoT), and Internet of City Things (IoCT). We also suggest the implementation choice of XAI models over IoT systems in these applications with appropriate examples and summarize the key inferences for future works. Moreover, we present the cutting-edge development in edge XAI structures and the support of sixth-generation (6G) communication services for IoT applications, along with key inferences. In a nutshell, this paper constitutes the first holistic compilation on the development of XAI-based frameworks tailored for the demands of future IoT use cases.
translated by 谷歌翻译
Today's AI still faces two major challenges. One is that in most industries, data exists in the form of isolated islands. The other is the strengthening of data privacy and security. We propose a possible solution to these challenges: secure federated learning. Beyond the federated learning framework first proposed by Google in 2016, we introduce a comprehensive secure federated learning framework, which includes horizontal federated learning, vertical federated learning and federated transfer learning. We provide definitions, architectures and applications for the federated learning framework, and provide a comprehensive survey of existing works on this subject. In addition, we propose building data networks among organizations based on federated mechanisms as an effective solution to allow knowledge to be shared without compromising user privacy.
translated by 谷歌翻译
联合学习(FL)是一个系统,中央聚合器协调多个客户解决机器学习问题的努力。此设置允许分散培训数据以保护隐私。本文的目的是提供针对医疗保健的FL系统的概述。 FL在此根据其框架,架构和应用程序进行评估。这里显示的是,FL通过中央聚合器服务器通过共享的全球深度学习(DL)模型解决了前面的问题。本文研究了最新的发展,并提供了来自FL研究的快速增长的启发,列出了未解决的问题。在FL的背景下,描述了几种隐私方法,包括安全的多方计算,同态加密,差异隐私和随机梯度下降。此外,还提供了对各种FL类的综述,例如水平和垂直FL以及联合转移学习。 FL在无线通信,服务建议,智能医学诊断系统和医疗保健方面有应用,本文将在本文中进行讨论。我们还对现有的FL挑战进行了彻底的审查,例如隐私保护,沟通成本,系统异质性和不可靠的模型上传,然后是未来的研究指示。
translated by 谷歌翻译
通信技术和互联网的最新进展与人工智能(AI)启用了智能医疗保健。传统上,由于现代医疗保健网络的高性性和日益增长的数据隐私问题,AI技术需要集中式数据收集和处理,这可能在现实的医疗环境中可能是不可行的。作为一个新兴的分布式协作AI范例,通过协调多个客户(例如,医院)来执行AI培训而不共享原始数据,对智能医疗保健特别有吸引力。因此,我们对智能医疗保健的使用提供了全面的调查。首先,我们在智能医疗保健中展示了近期进程,动机和使用FL的要求。然后讨论了近期智能医疗保健的FL设计,从资源感知FL,安全和隐私感知到激励FL和个性化FL。随后,我们对关键医疗领域的FL新兴应用提供了最先进的综述,包括健康数据管理,远程健康监测,医学成像和Covid-19检测。分析了几个最近基于智能医疗保健项目,并突出了从调查中学到的关键经验教训。最后,我们讨论了智能医疗保健未来研究的有趣研究挑战和可能的指示。
translated by 谷歌翻译
我们提出了一个用于机器学习应用的基于区块链的安全数据交易市场的Omnilytics。利用omnilytics,许多分布式数据所有者可以贡献他们的私人数据,以集体培训某些型号所有者请求的ML模型,并获得数据贡献的补偿。 Omnilytics使这种模型培训能够同时为奇怪的数据所有者提供1)模型安全; 2)对奇怪的模型和数据所有者的数据安全; 3)对恶意数据所有者的弹性,为毒药模型培训提供有错误的结果; 4)打算逃避付款的恶意模型所有者的弹性。 Omnilytics被实施为一个区块链智能合同,以保证付款的原子。在omnilytics中,模型所有者将其模型分成私人和公共部分,并在合同上发布公共部分。通过执行合同,参与的数据所有者将其当地培训的模型安全地汇总以更新模型所有者的公共模式,并通过合同获得报销。我们在以Ethereum区块链中实施了Omnilytics的工作原型,并在各种参数组合下进行了广泛的实验,以测量其天然气成本,执行时间和模型质量。为了在MNIST数据集上训练CNN,MO能够将其模型精度从平板ChangchConsion Time的500毫秒内的62%提升到83%。这证明了Omnilytics对实际部署的有效性。
translated by 谷歌翻译
联合机器学习(FL)允许将敏感数据中的模型集体列车,而不是客户的模型,而不是需要共享其培训数据。然而,尽管对FL的研究有所关注,但概念仍然缺乏广泛的采用。其中一个主要原因是实现FL系统的巨大挑战,即同时实现所有参与客户的公平,完整性和隐私保存。为了解决解决这个问题,我们的论文提出了一种包含区块链技术,局部差异隐私和零知识证据的流系统。我们的实施具有多元线性回归的概念验证说明了这些最先进的技术可以组合到一个对准可扩展和透明系统中的经济激励,信任和机密性要求的流系统。
translated by 谷歌翻译
近年来,全球医学事物(IOMT)行业已经以极大的速度发展。由于IOMT网络的庞大规模和部署,安全和隐私是IOMT的关键问题。机器学习(ML)和区块链(BC)技术已大大提高了Healthcare 5.0的功能和设施,并产生了一个名为“ Smart Healthcare”的新领域。通过早期确定问题,智能医疗保健系统可以帮助避免长期损害。这将提高患者的生活质量,同时减少压力和医疗保健费用。 IOMT在信息技术领域中启用了一系列功能,其中之一是智能和互动的医疗保健。但是,将医疗数据合并到单个存储位置以训练强大的机器学习模型,这引起了人们对隐私,所有权和更加集中的遵守的担忧。联合学习(FL)通过利用集中式聚合服务器来传播全球学习模型,从而克服了前面的困难。同时,本地参与者可以控制患者信息,从而确保数据机密性和安全性。本文对与医疗保健中联邦学习纠缠的区块链技术的发现进行了全面分析。 5.0。这项研究的目的是利用区块链技术和入侵检测系统(IDS)在医疗保健5.0中构建安全的健康监测系统,以检测医疗保健网络中的任何恶意活动,并使医生能够通过医疗传感器监控患者并采取必要的措施。定期通过预测疾病。
translated by 谷歌翻译
Federated learning (FL) is a promising way to allow multiple data owners (clients) to collaboratively train machine learning models without compromising data privacy. Yet, existing FL solutions usually rely on a centralized aggregator for model weight aggregation, while assuming clients are honest. Even if data privacy can still be preserved, the problem of single-point failure and data poisoning attack from malicious clients remains unresolved. To tackle this challenge, we propose to use distributed ledger technology (DLT) to achieve FLock, a secure and reliable decentralized Federated Learning system built on blockchain. To guarantee model quality, we design a novel peer-to-peer (P2P) review and reward/slash mechanism to detect and deter malicious clients, powered by on-chain smart contracts. The reward/slash mechanism, in addition, serves as incentives for participants to honestly upload and review model parameters in the FLock system. FLock thus improves the performance and the robustness of FL systems in a fully P2P manner.
translated by 谷歌翻译