最近出现的联邦学习（FL）是一个有吸引力的分布式学习框架，其中许多无线最终用户设备可以训练全局模型，数据仍然自动加载。与传统的机器学习框架相比，收集集中存储的用户数据，这为数据隐私带来了巨大的沟通负担和担忧，这种方法不仅可以保存网络带宽，还可以保护数据隐私。尽管前景有前景，但拜占庭袭击，传统分布式网络中的棘手威胁，也被发现对FL相当有效。在本文中，我们对佛罗里达州的抗议袭击进行了全面调查了捍卫拜占庭袭击的最先进战略。我们首先根据他们使用的技术为现有的防御解决方案提供分类法，然后是在整个板上的比较和讨论。然后，我们提出了一种新的拜占庭攻击方法，称为重量攻击，以击败这些防御计划，并进行实验以证明其威胁。结果表明，现有的防御解决方案虽然丰富，但仍远未完全保护FL。最后，我们表明体重攻击可能的可能对策，并突出了一些挑战和未来的研究方向，以减轻百灵鱼袭击杂志。
translated by 谷歌翻译
联合学习（FL）是一项广泛采用的分布式学习范例，在实践中，打算在利用所有参与者的整个数据集进行培训的同时保护用户的数据隐私。在FL中，多种型号在用户身上独立培训，集中聚合以在迭代过程中更新全局模型。虽然这种方法在保护隐私方面是优异的，但FL仍然遭受攻击或拜占庭故障等质量问题。最近的一些尝试已经解决了对FL的强大聚集技术的这种质量挑战。然而，最先进的（SOTA）强大的技术的有效性尚不清楚并缺乏全面的研究。因此，为了更好地了解这些SOTA流域的当前质量状态和挑战在存在攻击和故障的情况下，我们进行了大规模的实证研究，以研究SOTA FL的质量，从多个攻击角度，模拟故障（通过突变运算符）和聚合（防御）方法。特别是，我们对两个通用图像数据集和一个现实世界联邦医学图像数据集进行了研究。我们还系统地调查了攻击用户和独立和相同分布的（IID）因子，每个数据集的攻击/故障的分布对鲁棒性结果的影响。经过496个配置进行大规模分析后，我们发现每个用户的大多数突变者对最终模型具有可忽略不计的影响。此外，选择最强大的FL聚合器取决于攻击和数据集。最后，我们说明了可以实现几乎在所有攻击和配置上的任何单个聚合器以及具有简单集合模型的所有攻击和配置的常用解决方案的通用解决方案。
translated by 谷歌翻译
联合学习（FL）允许多个客户端在私人数据上协作训练神经网络（NN）模型，而不会显示数据。最近，已经介绍了针对FL的几种针对性的中毒攻击。这些攻击将后门注入到所产生的模型中，允许对抗控制的输入被错误分类。抵抗后门攻击的现有对策效率低，并且通常仅旨在排除偏离聚合的偏离模型。然而，这种方法还删除了具有偏离数据分布的客户端的良性模型，导致聚合模型对这些客户端执行不佳。为了解决这个问题，我们提出了一种深入的模型过滤方法，用于减轻后门攻击。它基于三种新颖的技术，允许表征用于培训模型更新的数据的分布，并寻求测量NNS内部结构和输出中的细粒度差异。使用这些技术，DeepSight可以识别可疑的模型更新。我们还开发了一种可以准确集群模型更新的方案。结合两个组件的结果，DeepSight能够识别和消除含有高攻击模型的模型集群，具有高攻击影响。我们还表明，可以通过现有的基于重量剪切的防御能力减轻可能未被发现的中毒模型的后门贡献。我们评估了深度的性能和有效性，并表明它可以减轻最先进的后门攻击，对模型对良性数据的性能的影响忽略不计。
translated by 谷歌翻译
联合学习（FL）是一种分布式机器学习方法，其中多个客户在不交换数据的情况下协作培训联合模型。尽管FL在数据隐私保护方面取得了前所未有的成功，但其对自由骑手攻击的脆弱性吸引了人们越来越多的关注。现有的防御能力可能对高度伪装或高百分比的自由骑手无效。为了应对这些挑战，我们从新颖的角度重新考虑防御，即模型重量不断发展的频率。从经验上讲，我们获得了一种新颖的见解，即在FL的训练中，模型权重的频率不断发展，自由骑机的频率和良性客户的频率显着不同的。受到这种见解的启发，我们提出了一种基于模型权重演化频率的新型防御方法，称为WEF-DEFENSE。特别是，我们在本地训练期间首先收集重量演变的频率（定义为WEF-MATRIX）。对于每个客户端，它将本地型号的WEF-Matrix与每个迭代的模型重量一起上传到服务器。然后，服务器根据WEF-Matrix的差异将自由骑士与良性客户端分开。最后，服务器使用个性化方法为相应的客户提供不同的全局模型。在五个数据集和五个模型上进行的全面实验表明，与最先进的基线相比，WEF防御能力更好。
translated by 谷歌翻译
在联合学习中，多个客户端设备联合学习机器学习模型：每个客户端设备都为其本地训练数据集维护本地模型，而主设备通过从客户端设备聚合本地模型维护全局模型。该机器学习界最近提出了几种联合学习方法，该方法被声称对某些客户端设备的拜占庭故障（例如，系统故障，对抗性操纵）具有稳健。在这项工作中，我们对局部模型中毒攻击进行了第一个系统研究对联邦学习。我们假设攻击者已损害某些客户端设备，并且攻击者在学习过程中操纵受损客户端设备上的本地模型参数，使得全局模型具有大的测试错误率。我们将我们的攻击制订为优化问题，并将我们的攻击应用于四个最近的拜占庭式联邦学习方法。我们在四个真实数据集中的经验结果表明，我们的攻击可以大大增加由联合学习方法学到的模型的错误率，这些方法被声称对某些客户端设备的拜占庭式失败具有强大的稳健性。我们概括了数据中毒攻击的两个防御，以防御我们当地的模型中毒攻击。我们的评价结果表明，在某些情况下，一个防御可以有效地防御我们的攻击，但在其他情况下，防御不足，突出了对我们当地模型中毒攻击对联合学习的新防御的必要性。
translated by 谷歌翻译
这项工作调查了联合学习的可能性，了解IOT恶意软件检测，并研究该新学习范式固有的安全问题。在此上下文中，呈现了一种使用联合学习来检测影响物联网设备的恶意软件的框架。 n-baiot，一个数据集在由恶意软件影响的几个实际物联网设备的网络流量，已被用于评估所提出的框架。经过培训和评估监督和无监督和无监督的联邦模型（多层Perceptron和AutoEncoder）能够检测到MATEN和UNEEN的IOT设备的恶意软件，并进行了培训和评估。此外，它们的性能与两种传统方法进行了比较。第一个允许每个参与者在本地使用自己的数据局面训练模型，而第二个包括使参与者与负责培训全局模型的中央实体共享他们的数据。这种比较表明，在联合和集中方法中完成的使用更多样化和大数据，对模型性能具有相当大的积极影响。此外，联邦模型，同时保留了参与者的隐私，将类似的结果与集中式相似。作为额外的贡献，并衡量联邦方法的稳健性，已经考虑了具有若干恶意参与者中毒联邦模型的对抗性设置。即使使用单个对手，大多数联邦学习算法中使用的基线模型聚合平均步骤也很容易受到不同攻击的影响。因此，在相同的攻击方案下评估了作为对策的其他模型聚合函数的性能。这些职能对恶意参与者提供了重大改善，但仍然需要更多的努力来使联邦方法强劲。
translated by 谷歌翻译
在联邦学习（FL）中，一群工人参与在一个节点的协调下建立一个全球模型，主任。关于FL的网络安全，一些攻击旨在将所制作的本地模型更新注入系统。一些防御是基于恶意工人检测和行为模式分析。在这种情况下，没有及时和动态的监控方法，酋长无法检测和从系统中删除恶意或不可靠的工人。我们的工作强调了准备联邦学习过程的紧迫性，以便监测和最终行为模式分析。我们研究了在培训的早期阶段内学习过程内的信息，提出了监测过程并评估所需的监测期。目的是在开始检测算法的时间内分析，以便从系统中删除恶意或不可靠的工人并优化防御机制部署。我们在应用于文本和图像分类的不同基准系统的流行模式下对行为模式分析防御进行了测试。我们的研究结果表明，监控过程降低了误报和假阴性，从而通过使分布式学习系统能够在培训的早期阶段实现更好的性能来提高系统效率。
translated by 谷歌翻译
隐私权联合学习允许多个用户与中央服务器协调共同培训模型。服务器仅学习最终聚合结果，从而防止用户（私有）培训数据从单个模型更新中泄漏。但是，保持单个更新私有，使恶意用户可以执行拜占庭式攻击并降低模型准确性，而无需检测到。针对拜占庭工人的最佳防御能力依赖于基于排名的统计数据，例如中位数，以查找恶意更新。但是，在安全域中实施基于隐私的排名统计信息在安全域中是不平淡无奇的，因为它需要对所有单个更新进行排序。我们建立了第一个私人鲁棒性检查，该检查在汇总模型更新上使用基于高断点等级的统计信息。通过利用随机聚类，我们在不损害隐私的情况下显着提高了防御的可扩展性。我们利用零知识证明中的派生统计界限来检测和删除恶意更新，而无需透露私人用户更新。我们的新颖框架Zprobe可以使拜占庭式的弹性和安全的联合学习。经验评估表明，Zprobe提供了低架空解决方案，以防御最新的拜占庭袭击，同时保留隐私。
translated by 谷歌翻译
更广泛的覆盖范围和更好的解决方案延迟减少5G需要其与多访问边缘计算（MEC）技术的组合。分散的深度学习（DDL），如联邦学习和群体学习作为对数百万智能边缘设备的隐私保留数据处理的有希望的解决方案，利用了本地客户端网络内的多层神经网络的分布式计算，而无需披露原始本地培训数据。值得注意的是，在金融和医疗保健等行业中，谨慎维护交易和个人医疗记录的敏感数据，DDL可以促进这些研究所的合作，以改善培训模型的性能，同时保护参与客户的数据隐私。在本调查论文中，我们展示了DDL的技术基础，通过分散的学习使社会许多人走。此外，我们通过概述DDL的挑战以及从新颖的沟通效率和可靠性的观点来概述目前本领域最先进的全面概述。
translated by 谷歌翻译
虽然最近的作品表明，联邦学习（FL）可能易受受损客户的袭击攻击，但它们对生产流系统的实际影响尚未完全理解。在这项工作中，我们的目标是通过枚举所有可能的威胁模型，中毒变化和对手的能力来制定综合系统化。我们专注于我们对未明确的中毒攻击，正如我们认为它们与生产流动部署有关。我们通过仔细表征现实威胁模型和对抗性能力，对实际生产的流动环境下无明显中毒攻击的关键分析。我们的研究结果令人惊讶：与既定信念相反，我们表明，即使使用简单，低成本的防御，我们也会在实践中非常强大。我们进一步进一步提出了新颖的，最先进的数据和模型中毒攻击，并通过三个基准数据集进行了广泛的实验，如何（在）有效中毒攻击在存在简单的防御机制中。我们的目标是纠正以前的误解，并提供关于对本主题更准确的（更现实）的研究的具体指导。
translated by 谷歌翻译
联合学习使不同的各方能够在服务器的编排下协作建立全球模型，同时将培训数据保留在客户的设备上。但是，当客户具有异质数据时，性能会受到影响。为了解决这个问题，我们假设尽管数据异质性，但有些客户的数据分布可以集群。在以前的方法中，为了群集客户端，服务器要求客户端同时发送参数。但是，在有大量参与者可能有限的参与者的情况下，这可能是有问题的。为了防止这种瓶颈，我们提出了FLIC（使用增量聚类的联合学习），其中服务器利用客户在联合培训期间发送的客户发送的更新，而不是要求他们同时发送参数。因此，除了经典的联合学习所需的内容外，服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例，我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式，并从经验上表明，即使恶意客户的比例高于50 \％，FLIC也是针对中毒攻击的强大防御。
translated by 谷歌翻译
基于学习的网络入侵检测系统（NIDS）被广泛部署用于捍卫各种网络攻击。现有的基于学习的NID主要使用神经网络（NN）作为依赖于网络图克数据的质量和数量的分类器。这种基于NN的方法也很难解释提高效率和可扩展性。在本文中，我们通过组合可解释的梯度升压决策树（GBDT）和联合学习（FL）框架来设计一个新的本地全局计算范例，基于新的学习的NID。具体地，联合纤维公司由多个客户端组成，该客户端提取用于服务器的本地网络基地数据功能以培训模型和检测入侵。在Fedlorest中还提出了一种隐私增强技术，以进一步击败流动系统的隐私。关于4个网络内人数据集的广泛实验，不同任务表明，联邦纤维公司是有效，高效，可解释和可延伸的。 Fedlorest在中国大学生的协同学习和网络安全竞赛中排名第一。
translated by 谷歌翻译
我们调查分裂学习的安全 - 一种新颖的协作机器学习框架，通过需要最小的资源消耗来实现峰值性能。在本文中，我们通过介绍客户私人培训集重建的一般攻击策略来揭示议定书的脆弱性并展示其固有的不安全。更突出地，我们表明恶意服务器可以积极地劫持分布式模型的学习过程，并将其纳入不安全状态，从而为客户端提供推动攻击。我们实施不同的攻击调整，并在各种数据集中测试它们以及现实的威胁方案。我们证明我们的攻击能够克服最近提出的防御技术，旨在提高分裂学习议定书的安全性。最后，我们还通过扩展以前设计的联合学习的攻击来说明协议对恶意客户的不安全性。要使我们的结果可重复，我们会在https://github.com/pasquini-dario/splitn_fsha提供的代码。
translated by 谷歌翻译
联邦学习本质上很容易模拟中毒攻击，因为其分散性质允许攻击者参与受损的设备。在模型中毒攻击中，攻击者通过上传“中毒”更新来降低目标子任务（例如，作为鸟类的分类平面）模型的性能。在本报告中，我们介绍\ algoname {}，这是一种使用全局Top-K更新稀疏和设备级渐变剪辑来减轻模型中毒攻击的新型防御。我们提出了一个理论框架，用于分析防御抗毒攻击的稳健性，并提供我们算法的鲁棒性和收敛性分析。为了验证其经验效率，我们在跨多个基准数据集中进行开放源评估，用于计算机愿景和联合学习。
translated by 谷歌翻译
联邦学习一直是一个热门的研究主题，使不同组织的机器学习模型的协作培训在隐私限制下。随着研究人员试图支持更多具有不同隐私方法的机器学习模型，需要开发系统和基础设施，以便于开发各种联合学习算法。类似于Pytorch和Tensorflow等深度学习系统，可以增强深度学习的发展，联邦学习系统（FLSS）是等效的，并且面临各个方面的面临挑战，如有效性，效率和隐私。在本调查中，我们对联合学习系统进行了全面的审查。为实现流畅的流动和引导未来的研究，我们介绍了联合学习系统的定义并分析了系统组件。此外，我们根据六种不同方面提供联合学习系统的全面分类，包括数据分布，机器学习模型，隐私机制，通信架构，联合集市和联合的动机。分类可以帮助设计联合学习系统，如我们的案例研究所示。通过系统地总结现有联合学习系统，我们展示了设计因素，案例研究和未来的研究机会。
translated by 谷歌翻译
最近的研究表明，深神经网络（DNN）易受对抗性攻击的影响，包括逃避和后门（中毒）攻击。在防守方面，有密集的努力，改善了对逃避袭击的经验和可怜的稳健性;然而，对后门攻击的可稳健性仍然很大程度上是未开发的。在本文中，我们专注于认证机器学习模型稳健性，反对一般威胁模型，尤其是后门攻击。我们首先通过随机平滑技术提供统一的框架，并展示如何实例化以证明对逃避和后门攻击的鲁棒性。然后，我们提出了第一个强大的培训过程Rab，以平滑训练有素的模型，并证明其稳健性对抗后门攻击。我们派生机学习模型的稳健性突出了培训的机器学习模型，并证明我们的鲁棒性受到紧张。此外，我们表明，可以有效地训练强大的平滑模型，以适用于诸如k最近邻分类器的简单模型，并提出了一种精确的平滑训练算法，该算法消除了从这种模型的噪声分布采样采样的需要。经验上，我们对MNIST，CIFAR-10和Imagenet数据集等DNN，差异私有DNN和K-NN模型等不同机器学习（ML）型号进行了全面的实验，并为反卧系攻击提供认证稳健性的第一个基准。此外，我们在SPAMBase表格数据集上评估K-NN模型，以展示所提出的精确算法的优点。对多元化模型和数据集的综合评价既有关于普通训练时间攻击的进一步强劲学习策略的多样化模型和数据集的综合评价。
translated by 谷歌翻译
在联合学习中，每个参与者通过自己的数据列举其本地模型，并通过聚合来自这些参与者的模型更新来在可信服务器上形成全局模型。由于服务器对参与者的培训程序没有影响和可见性以确保隐私，因此全球模型变得容易受到数据中毒和模型中毒等攻击的影响。虽然最近已经提出了许多防御算法来解决这些攻击，但它们往往会使强烈的假设与联邦学习的性质相吻，例如非IID数据集。此外，它们大多缺乏全面的实验分析。在这项工作中，我们提出了一种称为Barfed的防御算法，不会对数据分布，更新参与者的相似性或恶意参与者的比率作出任何假设。 Barfed主要考虑基于与全局模型的距离的模型架构的每个层的参与者更新的异常状态。因此，没有任何异常层的参与者都参与了模型聚合。我们在许多场所进行广泛的实验，并表明该方法为不同攻击提供了强大的防御。
translated by 谷歌翻译
从外界培训的机器学习模型可能会被数据中毒攻击损坏，将恶意指向到模型的培训集中。对这些攻击的常见防御是数据消毒：在培训模型之前首先过滤出异常培训点。在本文中，我们开发了三次攻击，可以绕过广泛的常见数据消毒防御，包括基于最近邻居，训练损失和奇异值分解的异常探测器。通过增加3％的中毒数据，我们的攻击成功地将Enron垃圾邮件检测数据集的测试错误从3％增加到24％，并且IMDB情绪分类数据集从12％到29％。相比之下，没有明确占据这些数据消毒防御的现有攻击被他们击败。我们的攻击基于两个想法：（i）我们协调我们的攻击将中毒点彼此放置在彼此附近，（ii）我们将每个攻击制定为受限制的优化问题，限制旨在确保中毒点逃避检测。随着这种优化涉及解决昂贵的Bilevel问题，我们的三个攻击对应于基于影响功能的近似近似这个问题的方式; minimax二元性;和karush-kuhn-tucker（kkt）条件。我们的结果强调了对数据中毒攻击产生更强大的防御的必要性。
translated by 谷歌翻译
近年来经历的计算设备部署爆炸，由诸如互联网（物联网）和5G的技术（IOT）和5G等技术的激励，导致了全局情景，随着网络安全的风险和威胁的增加。其中，设备欺骗和模糊的网络攻击因其影响而脱颖而出，并且通常需要推出的低复杂性。为了解决这个问题，已经出现了几种解决方案，以根据行为指纹和机器/深度学习（ML / DL）技术的组合来识别设备模型和类型。但是，这些解决方案不适合数据隐私和保护的方案，因为它们需要数据集中处理以进行处理。在这种情况下，尚未完全探索较新的方法，例如联合学习（FL），特别是当恶意客户端存在于场景设置时。目前的工作分析并比较了使用基于执行时间的事件的v一体的集中式DL模型的设备模型识别性能。对于实验目的，已经收集并公布了属于四种不同模型的55个覆盆子PI的执行时间特征的数据集。使用此数据集，所提出的解决方案在两个设置，集中式和联合中实现了0.9999的精度，在保留数据隐私时显示没有性能下降。后来，使用几种聚集机制作为对策，评估标签翻转攻击在联邦模型训练期间的影响。 ZENO和协调明智的中值聚合表现出最佳性能，尽管当他们的性能大大降低时，当完全恶意客户（所有培训样本中毒）增长超过50％时大大降临。
translated by 谷歌翻译
机器学习（ML）模型已广泛应用于各种应用，包括图像分类，文本生成，音频识别和图形数据分析。然而，最近的研究表明，ML模型容易受到隶属推导攻击（MIS），其目的是推断数据记录是否用于训练目标模型。 ML模型上的MIA可以直接导致隐私违规行为。例如，通过确定已经用于训练与某种疾病相关的模型的临床记录，攻击者可以推断临床记录的所有者具有很大的机会。近年来，MIS已被证明对各种ML模型有效，例如，分类模型和生成模型。同时，已经提出了许多防御方法来减轻米西亚。虽然ML模型上的MIAS形成了一个新的新兴和快速增长的研究区，但还没有对这一主题进行系统的调查。在本文中，我们对会员推论和防御进行了第一个全面调查。我们根据其特征提供攻击和防御的分类管理，并讨论其优点和缺点。根据本次调查中确定的限制和差距，我们指出了几个未来的未来研究方向，以激发希望遵循该地区的研究人员。这项调查不仅是研究社区的参考，而且还为该研究领域之外的研究人员带来了清晰的照片。为了进一步促进研究人员，我们创建了一个在线资源存储库，并与未来的相关作品继续更新。感兴趣的读者可以在https://github.com/hongshenghu/membership-inference-machine-learning-literature找到存储库。
translated by 谷歌翻译