已经提出了分裂学习(SL)以分散的方式训练深度学习模型。对于具有垂直数据分配的分散医疗保健应用,SL可以有益,因为它允许具有互补功能或图像的机构为一组共享的患者共同开发更强大且可推广的模型。在这项工作中,我们提出了“ split-u-net”,并成功地将SL应用于协作生物医学图像分割。但是,SL需要交换中间激活图和梯度,以允许跨不同特征空间的训练模型,这可能会泄漏数据并提高隐私问题。因此,我们还量化了用于生物医学图像分割的常见SL情况下的数据泄漏量,并通过应用适当的防御策略提供了抵消此类泄漏的方法。
translated by 谷歌翻译
联合学习(FL)和分裂学习(SL)是两种新兴的协作学习方法,可能会极大地促进物联网(IoT)中无处不在的智能。联合学习使机器学习(ML)模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习,每个学习都有独特的优势和各自的局限性,可能会相互补充,在物联网中无处不在的智能。因此,联合学习和分裂学习的结合最近成为一个活跃的研究领域,引起了广泛的兴趣。在本文中,我们回顾了联合学习和拆分学习方面的最新发展,并介绍了有关最先进技术的调查,该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题,并讨论了该领域未来研究的可能方向,希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
Split学习(SL)通过允许客户在不共享原始数据的情况下协作培训深度学习模型来实现数据隐私保护。但是,SL仍然有限制,例如潜在的数据隐私泄漏和客户端的高计算。在这项研究中,我们建议将SL局部层进行二线以进行更快的计算(在移动设备上的培训和推理阶段的前进时间少17.5倍)和减少内存使用情况(最多减少32倍的内存和带宽要求) 。更重要的是,二进制的SL(B-SL)模型可以减少SL污染数据中的隐私泄漏,而模型精度的降解仅小。为了进一步增强隐私保护,我们还提出了两种新颖的方法:1)培训额外的局部泄漏损失,2)应用差异隐私,可以单独或同时集成到B-SL模型中。与多种基准模型相比,使用不同数据集的实验结果肯定了B-SL模型的优势。还说明了B-SL模型针对功能空间劫持攻击(FSHA)的有效性。我们的结果表明,B-SL模型对于具有高隐私保护要求(例如移动医疗保健应用程序)的轻巧的物联网/移动应用程序很有希望。
translated by 谷歌翻译
制药行业可以更好地利用其数据资产来通过协作机器学习平台虚拟化药物发现。另一方面,由于参与者的培训数据的意外泄漏,存在不可忽略的风险,因此,对于这样的平台,必须安全和隐私权。本文介绍了在药物发现的临床前阶段进行协作建模的隐私风险评估,以加快有前途的候选药物的选择。在最新推理攻击的简短分类法之后,我们采用并定制了几种基础情况。最后,我们用一些相关的隐私保护技术来描述和实验,以减轻此类攻击。
translated by 谷歌翻译
最近的研究表明,训练样本可以从梯度中回收,这些梯度称为梯度反转(Gradinv)攻击。但是,仍然缺乏广泛的调查,涵盖了最近的进步和对该问题的彻底分析。在本文中,我们介绍了有关Gradinv的全面调查,旨在总结尖端研究并扩大不同领域的视野。首先,我们通过将现有攻击描述为两个范式:基于迭代和递归的攻击,提出了Gradinv攻击的分类法。特别是,我们从基于迭代的攻击中挖掘出一些关键成分,包括数据初始化,模型培训和梯度匹配。其次,我们总结了针对Gradinv攻击的新兴防御策略。我们发现这些方法侧重于三种观点,涵盖了数据的晦涩,模型改进和梯度保护。最后,我们讨论了一些有希望的方向和开放问题,以进行进一步研究。
translated by 谷歌翻译
随着物联网,AI和ML/DL算法的出现,数据驱动的医疗应用已成为一种有前途的工具,用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来,这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是,由于这些基于AI的医疗应用程序在满足严格的安全性,隐私和服务标准(例如低延迟)方面的困难,因此仍然采用较差。此外,医疗数据通常是分散的和私人的,这使得在人群之间产生强大的结果具有挑战性。联邦学习(FL)的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此,FL已成为一个积极的研究领域,尤其是以分散的方式处理网络边缘的医疗数据,以保护隐私和安全问题。为此,本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题,设备挑战,安全性,隐私问题及其在医疗领域的潜力。此外,我们的研究还集中在医疗应用上,我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站,以彻底的方式阐明现有的最新最新作品,并为该领域提供开放的问题和未来的研究指示。
translated by 谷歌翻译
通信技术和互联网的最新进展与人工智能(AI)启用了智能医疗保健。传统上,由于现代医疗保健网络的高性性和日益增长的数据隐私问题,AI技术需要集中式数据收集和处理,这可能在现实的医疗环境中可能是不可行的。作为一个新兴的分布式协作AI范例,通过协调多个客户(例如,医院)来执行AI培训而不共享原始数据,对智能医疗保健特别有吸引力。因此,我们对智能医疗保健的使用提供了全面的调查。首先,我们在智能医疗保健中展示了近期进程,动机和使用FL的要求。然后讨论了近期智能医疗保健的FL设计,从资源感知FL,安全和隐私感知到激励FL和个性化FL。随后,我们对关键医疗领域的FL新兴应用提供了最先进的综述,包括健康数据管理,远程健康监测,医学成像和Covid-19检测。分析了几个最近基于智能医疗保健项目,并突出了从调查中学到的关键经验教训。最后,我们讨论了智能医疗保健未来研究的有趣研究挑战和可能的指示。
translated by 谷歌翻译
在联合学习(FL)中,数据不会在联合培训机器学习模型时留下个人设备。相反,这些设备与中央党(例如,公司)共享梯度。因为数据永远不会“离开”个人设备,因此FL作为隐私保留呈现。然而,最近显示这种保护是一个薄的外观,甚至是一种被动攻击者观察梯度可以重建各个用户的数据。在本文中,我们争辩说,事先工作仍然很大程度上低估了FL的脆弱性。这是因为事先努力专门考虑被动攻击者,这些攻击者是诚实但好奇的。相反,我们介绍了一个活跃和不诚实的攻击者,作为中央会,他们能够在用户计算模型渐变之前修改共享模型的权重。我们称之为修改的重量“陷阱重量”。我们的活跃攻击者能够完全恢复用户数据,并在接近零成本时:攻击不需要复杂的优化目标。相反,它利用了模型梯度的固有数据泄漏,并通过恶意改变共享模型的权重来放大这种效果。这些特异性使我们的攻击能够扩展到具有大型迷你批次数据的模型。如果来自现有工作的攻击者需要小时才能恢复单个数据点,我们的方法需要毫秒来捕获完全连接和卷积的深度神经网络的完整百分之批次数据。最后,我们考虑缓解。我们观察到,FL中的差异隐私(DP)的当前实现是有缺陷的,因为它们明确地信任中央会,并在增加DP噪音的关键任务,因此不提供对恶意中央党的保护。我们还考虑其他防御,并解释为什么它们类似地不足。它需要重新设计FL,为用户提供任何有意义的数据隐私。
translated by 谷歌翻译
培训深度神经网络通常会迫使用户在分布式或外包环境中工作,并伴随着隐私问题。 Split学习旨在通过在客户端和服务器之间分配模型来解决这一问题。该方案据说提供了隐私,因为服务器无法看到客户端的模型和输入。我们表明,通过两次新颖的攻击,这是不正确的。 (1)我们表明,只有掌握客户端神经网络体系结构知识的诚实但充满感染的分裂学习服务器可以恢复输入样本并获得与客户端模型的功能相似的模型,而无需检测到。 (2)我们证明,如果客户端仅隐藏模型的输出层以“保护”专用标签,则诚实但有趣的服务器可以完全准确地推断出标签。我们使用各种基准数据集测试我们的攻击,并反对提议的隐私增强扩展以分裂学习。我们的结果表明,明文分裂学习可能会带来严重的风险,从数据(输入)隐私到知识产权(模型参数),并且不仅仅提供虚假的安全感。
translated by 谷歌翻译
In terms of artificial intelligence, there are several security and privacy deficiencies in the traditional centralized training methods of machine learning models by a server. To address this limitation, federated learning (FL) has been proposed and is known for breaking down ``data silos" and protecting the privacy of users. However, FL has not yet gained popularity in the industry, mainly due to its security, privacy, and high cost of communication. For the purpose of advancing the research in this field, building a robust FL system, and realizing the wide application of FL, this paper sorts out the possible attacks and corresponding defenses of the current FL system systematically. Firstly, this paper briefly introduces the basic workflow of FL and related knowledge of attacks and defenses. It reviews a great deal of research about privacy theft and malicious attacks that have been studied in recent years. Most importantly, in view of the current three classification criteria, namely the three stages of machine learning, the three different roles in federated learning, and the CIA (Confidentiality, Integrity, and Availability) guidelines on privacy protection, we divide attack approaches into two categories according to the training stage and the prediction stage in machine learning. Furthermore, we also identify the CIA property violated for each attack method and potential attack role. Various defense mechanisms are then analyzed separately from the level of privacy and security. Finally, we summarize the possible challenges in the application of FL from the aspect of attacks and defenses and discuss the future development direction of FL systems. In this way, the designed FL system has the ability to resist different attacks and is more secure and stable.
translated by 谷歌翻译
U-shaped networks are widely used in various medical image tasks, such as segmentation, restoration and reconstruction, but most of them usually rely on centralized learning and thus ignore privacy issues. To address the privacy concerns, federated learning (FL) and split learning (SL) have attracted increasing attention. However, it is hard for both FL and SL to balance the local computational cost, model privacy and parallel training simultaneously. To achieve this goal, in this paper, we propose Robust Split Federated Learning (RoS-FL) for U-shaped medical image networks, which is a novel hybrid learning paradigm of FL and SL. Previous works cannot preserve the data privacy, including the input, model parameters, label and output simultaneously. To effectively deal with all of them, we design a novel splitting method for U-shaped medical image networks, which splits the network into three parts hosted by different parties. Besides, the distributed learning methods usually suffer from a drift between local and global models caused by data heterogeneity. Based on this consideration, we propose a dynamic weight correction strategy (\textbf{DWCS}) to stabilize the training process and avoid model drift. Specifically, a weight correction loss is designed to quantify the drift between the models from two adjacent communication rounds. By minimizing this loss, a correction model is obtained. Then we treat the weighted sum of correction model and final round models as the result. The effectiveness of the proposed RoS-FL is supported by extensive experimental results on different tasks. Related codes will be released at https://github.com/Zi-YuanYang/RoS-FL.
translated by 谷歌翻译
联邦学习的出现在维持隐私的同时,促进了机器学习模型之间的大规模数据交换。尽管历史悠久,但联邦学习正在迅速发展,以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习,这克服了主要联合学习的基本限制,尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。
translated by 谷歌翻译
Data-driven Machine Learning has emerged as a promising approach for building accurate and robust statistical models from medical data, which is collected in huge volumes by modern healthcare systems. Existing medical data is not fully exploited by ML primarily because it sits in data silos and privacy concerns restrict access to this data. However, without access to sufficient data, ML will be prevented from reaching its full potential and, ultimately, from making the transition from research to clinical practice. This paper considers key factors contributing to this issue, explores how Federated Learning (FL) may provide a solution for the future of digital health and highlights the challenges and considerations that need to * Disclaimer: The opinions expressed herein are those of the authors and do not necessarily represent those of the institutions they are affiliated with, e.g. the U.S. Department of Health and Human Services or the National Institutes of Health. This is a pre-print version of https://www.nature.com/articles/s41746-020-00323-1 be addressed.
translated by 谷歌翻译
语音情感识别(SER)处理语音信号以检测和表征表达的感知情绪。许多SER应用系统经常获取和传输在客户端收集的语音数据,以远程云平台进行推理和决策。然而,语音数据不仅涉及在声乐表达中传达的情绪,而且还具有其他敏感的人口特征,例如性别,年龄和语言背景。因此,塞尔系统希望能够在防止敏感和人口统计信息的意外/不正当推论的同时对情感构建进行分类的能力。联合学习(FL)是一个分布式机器学习范例,其协调客户端,以便在不共享其本地数据的情况下协同培训模型。此培训方法似乎是安全的,可以提高SER的隐私。然而,最近的作品表明,流动方法仍然容易受到重建攻击和会员推论攻击等各种隐私攻击的影响。虽然这些大部分都集中在计算机视觉应用程序上,但是使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL培训的SER系统的信息泄漏,我们提出了一个属性推理攻击框架,其分别涉及来自共享梯度或模型参数的客户端的敏感属性信息,分别对应于FEDSGD和FADAVG训练算法。作为一种用例,我们使用三个SER基准数据集来统一地评估我们预测客户的性别信息的方法:IEMocap,Crema-D和MSP-EXPLA。我们表明,使用FL培训的SER系统可实现属性推理攻击。我们进一步确定大多数信息泄漏可能来自SER模型中的第一层。
translated by 谷歌翻译
在医学成像领域越来越多地探索联合学习,以培训在不同数据中心分布在不同数据中心的大规模数据集上的深入学习模型,同时通过避免转移敏感患者信息来保护隐私。在此稿件中,我们在多域的多域的多任务设置中探索联合学习,其中不同的参与节点可以包含来自不同域的数据集,并训练以解决不同的任务。我们评估了两种不同实验设置的对象检测和分段任务的跨域联合学习:多模态和多器官。我们对跨领域联合学习框架的实验的结果非常令人鼓舞,对于器官定位,0.79的重叠相似性和0.65用于病变分割。我们的结果展示了在不共享来自不同域的数据的多域,多任务深度学习模型中联合学习的潜力。
translated by 谷歌翻译
联邦学习(FL)提供了有希望的分布式学习范式,因为它试图通过不共享其私人培训数据来保护用户隐私。但是,最近的研究表明,FL容易受到模型反转攻击的影响,该攻击可以通过窃听共享梯度来重建用户的私人数据。现有的防御解决方案无法在更强烈的攻击中生存,并且在隐私和绩效之间表现不佳。在本文中,我们提出了一种直接而有效的防御策略,基于与隐藏数据相混淆敏感数据的梯度。具体而言,我们在迷你批次中更改一些样品,以模仿梯度水平的敏感数据。使用梯度投影技术,我们的方法试图在不牺牲FL性能的情况下模糊敏感数据。我们广泛的评估表明,与其他防御能力相比,我们的技术在保留FL性能的同时提供了最高水平的保护。我们的源代码位于存储库中。
translated by 谷歌翻译
梯度反转攻击(或从梯度的输入恢复)是对联合学习的安全和隐私保存的新出现威胁,由此,协议中的恶意窃听者或参与者可以恢复(部分)客户的私有数据。本文评估了现有的攻击和防御。我们发现一些攻击对设置产生了强烈的假设。放松这种假设可以大大削弱这些攻击。然后,我们评估三种拟议的防御机制对梯度反转攻击的好处。我们展示了这些防御方法的隐私泄漏和数据效用的权衡,并发现以适当的方式将它们与它们相结合使得攻击较低,即使在原始的强烈假设下。我们还估计每个评估的防御下单个图像的端到端恢复的计算成本。我们的研究结果表明,目前可以针对较小的数据公用事业损失来捍卫最先进的攻击,如潜在策略的列表中总结。我们的代码可用于:https://github.com/princeton-sysml/gradattack。
translated by 谷歌翻译
具有多级连接的深度神经网络,以复杂的方式进程输入数据来了解信息。网络学习效率不仅取决于复杂的神经网络架构,还取决于输入训练图像。具有用于头骨剥离或肿瘤的深神经网络的Medical图像分段。来自磁共振图像的分割使得能够学习图像的全局和局部特征。虽然收集在受控环境中的医学图像,但可能存在导致输入集中固有偏差的伪影或基于设备的方差。在本研究中,我们调查了具有神经网络分割精度的MR图像的图像质量指标的相关性。我们使用了3D DenSenet架构,并让网络在相同的输入上培训,但应用不同的方法来基于IQM值选择训练数据集。基于随机训练的模型之间的分割精度的差异基于IQM的训练输入揭示了图像质量指标对分割精度的作用。通过运行图像质量指标来选择培训输入,进一步调整网络的学习效率和分割精度。
translated by 谷歌翻译
在联合学习等协作学习环境中,好奇的疗程可能是诚实的,但正在通过推理攻击试图通过推断攻击推断其他方的私人数据,而恶意缔约方可能会通过后门攻击操纵学习过程。但是,大多数现有的作品只考虑通过样本(HFL)划分数据的联合学习场景。特征分区联合学习(VFL)可以是许多真实应用程序中的另一个重要方案。当攻击者和防守者无法访问其他参与者的功能或模型参数时,这种情况下的攻击和防御尤其挑战。以前的作品仅显示了可以从每个样本渐变重建私有标签。在本文中,我们首先表明,只有批量平均梯度被揭示时,可以重建私人标签,这是针对常见的推定。此外,我们表明VFL中的被动派对甚至可以通过梯度替换攻击将其相应的标签用目标标签替换为目标标签。为了防御第一次攻击,我们介绍了一种基于AutoEncoder和熵正则化的混乱自动化器(CoAE)的新技术。我们证明,与现有方法相比,这种技术可以成功阻止标签推理攻击,同时损害较少的主要任务准确性。我们的COAE技术在捍卫梯度替代后门攻击方面也有效,使其成为一个普遍和实用的防御策略,没有改变原来的VFL协议。我们展示了我们双方和多方VFL设置下的方法的有效性。据我们所知,这是第一次处理特征分区联合学习框架中的标签推理和后门攻击的第一个系统研究。
translated by 谷歌翻译
过去十年迅速采用了人工智能(AI),特别是深度学习网络,在医学互联网上(IOMT)生态系统。然而,最近已经表明,深度学习网络可以通过对抗性攻击来利用,这不仅使得IOMT易受数据盗窃,而且对医学诊断的操纵。现有的研究考虑将噪声添加到原始IOMT数据或模型参数中,这不仅可以降低医学推断的整体性能,而且对从梯度方法的深度泄漏的喜好是无效的。在这项工作中,我们提出了近端渐变分流学习(PSGL)方法,用于防范模型反演攻击。所提出的方法故意在客户端进行深度神经网络培训过程时攻击IOMT数据。我们建议使用近端梯度方法来恢复梯度图和决策级融合策略以提高识别性能。广泛的分析表明,PGSL不仅为模型反演攻击提供有效的防御机制,而且有助于提高公共可用数据集的识别性能。我们分别在重建和对冲攻击图像中准确地报告17.9美元\%$和36.9美元。
translated by 谷歌翻译