受卷积神经网络(CNN)启发的图形神经网络(GNN)汇总了节点邻居的信息和结构信息,以获取节点分类,图形分类和链接预测的节点的表达性表示。先前的研究表明,GNN容易受到会员推理攻击(MIA)的攻击,这些攻击(MIAS)推断出节点是否在GNNS的训练数据中,并泄漏了节点的私人信息,例如患者的疾病史。以前的MIA的实现利用了模型的概率输出,如果GNN仅提供输入的预测标签(仅标签),则是不可行的。在本文中,我们在GNNS的柔性预测机制(例如,即使邻居的信息不可用,也可以获得一个节点的预测标签,借助GNNS的灵活预测机制,即使获得一个节点的预测标签,我们提出了针对GNNS的标签MIA。对于大多数数据集和GNN模型,我们的攻击方法实现了曲线(AUC)下60 \%的准确性,精度和区域,其中一些模型比我们在我们的下实施的基于最新概率的MIA具有竞争力甚至更好环境和设置。此外,我们分析了采样方法,模型选择方法和过度拟合水平对仅标签MIA攻击性能的影响。这两个因素都会影响攻击性能。然后,我们考虑有关对手的附加数据集(影子数据集)的假设以及有关目标模型的额外信息的情况。即使在这种情况下,我们仅使用标签的MIA在大多数情况下都能取得更好的攻击性能。最后,我们探讨了可能的防御能力,包括辍学,正则化,归一化和跳跃知识。这四个防御都没有完全阻止我们的攻击。
translated by 谷歌翻译
图形神经网络(GNNS)概括了图形数据上的传统深度神经网络,在几个图形分析任务上取得了最先进的性能。我们专注于训练有素的GNN模型如何泄露有关他们培训的\ emph {成员}节点的信息。我们介绍了两个现实的设置,以便在GNN上执行员工推理(MI)攻击。在选择利用培训模型的后索(黑匣子访问)的最简单可能的攻击模型时,我们彻底分析了GNN和数据集的属性,这些数据集决定了对MI攻击的鲁棒性的差异。虽然在传统的机器学习模型中,过度装备被认为是这种泄漏的主要原因,我们表明,在GNN中,额外的结构信息是主要的贡献因素。我们在四个代表性GNN模型上进行了广泛的实验,我们支持我们的结果。为防止MI攻击GNN,我们提出了两种有效的防御,明显将攻击者推断显着降低了60%,而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebmigraph获得。
translated by 谷歌翻译
机器学习模型被证明是面对模型提取攻击的严重威胁,其中服务提供商拥有的训练有素的私人模型可以被假装作为客户端的攻击者窃取。不幸的是,先前的作品侧重于欧几里德空间训练的模型,例如图像和文本,而如何提取包含图形结构的GNN模型,则尚未探索节点功能。本文首次全面调查并开发针对GNN模型的模型提取攻击。我们首先通过考虑由攻击者获得的节点的不同背景知识,将对冲威胁分类为七种类别的威胁建模并将对抗性威胁分类为七个类别。然后我们展示了利用每种威胁中的可访问知识来实现​​攻击的详细方法。通过评估三个现实世界数据集,我们的攻击显示有效提取重复模型,即目标域中的84% - 89%的输入具有与受害者模型相同的输出预测。
translated by 谷歌翻译
随着机器学习(ML)技术的快速采用,ML模型的共享变得流行。但是,ML模型容易受到隐私攻击的攻击,这些攻击泄漏了有关培训数据的信息。在这项工作中,我们专注于一种名为属性推理攻击(PIA)的特定类型的隐私攻击,该隐私攻击通过访问目标ML模型来渗透培训数据的敏感属性。特别是,我们将图形神经网络(GNN)视为目标模型,而训练图中特定的节点和链接的分布是目标属性。尽管现有的工作调查了针对图形属性的PIA,但尚无先前的工作研究节点和链接属性在组级别的推断。在这项工作中,我们对针对GNNS的小组财产推理攻击(GPIA)进行了首次系统研究。首先,我们考虑具有不同类型的对手知识的黑盒和白色框设置下的威胁模型的分类法,并为这些设置设计了六种不同的攻击。我们通过对三个代表性的GNN模型和三个现实图表进行广泛的实验来评估这些攻击的有效性。我们的结果证明了这些攻击的有效性,这些攻击的准确性优于基线方法。其次,我们分析了有助于GPIA成功的基本因素,并表明在图形上有或没有目标属性的图形训练的目标模型代表模型参数和/或模型输出的一定程度,这使对手可以推断存在的存在。属性。此外,我们设计了针对GPIA攻击的一组防御机制,并证明这些机制可以有效地降低攻击精度,而GNN模型准确性的损失很小。
translated by 谷歌翻译
许多真实数据以图形的形式出现。图表神经网络(GNNS)是一个新的机器学习(ML)模型,已建议完全利用图表数据来构建强大的应用程序。特别地,可以概括到看不见的数据的电感GNN成为主流。机器学习模型在各种任务中表现出很大的潜力,并已在许多真实情景中部署。要培训良好的模型,需要大量的数据以及计算资源,从而导致有价值的知识产权。以前的研究表明,ML模型容易窃取攻击模型,旨在窃取目标模型的功能。然而,大多数人都专注于用图像和文本接受培训的模型。另一方面,对于用图表数据,即GNNS接受培训的模型,已经支付了很少的注意。在本文中,我们通过提出针对电感GNN的第一个模型窃取攻击来填补差距。我们系统地定义了威胁模型,并根据对手的背景知识和目标模型的响应提出六次攻击。我们对六个基准数据集的评估显示,拟议的模型窃取针对GNN的攻击实现了有希望的性能。
translated by 谷歌翻译
机器学习模型容易记住敏感数据,使它们容易受到会员推理攻击的攻击,其中对手的目的是推断是否使用输入样本来训练模型。在过去的几年中,研究人员产生了许多会员推理攻击和防御。但是,这些攻击和防御采用各种策略,并在不同的模型和数据集中进行。但是,缺乏全面的基准意味着我们不了解现有攻击和防御的优势和劣势。我们通过对不同的会员推理攻击和防御措施进行大规模测量来填补这一空白。我们通过研究九项攻击和六项防御措施来系统化成员的推断,并在整体评估中衡量不同攻击和防御的性能。然后,我们量化威胁模型对这些攻击结果的影响。我们发现,威胁模型的某些假设,例如相同架构和阴影和目标模型之间的相同分布是不必要的。我们也是第一个对从Internet收集的现实世界数据而不是实验室数据集进行攻击的人。我们进一步研究是什么决定了会员推理攻击的表现,并揭示了通常认为过度拟合水平不足以成功攻击。取而代之的是,成员和非成员样本之间的熵/横向熵的詹森 - 香农距离与攻击性能的相关性更好。这为我们提供了一种新的方法,可以在不进行攻击的情况下准确预测会员推理风险。最后,我们发现数据增强在更大程度上降低了现有攻击的性能,我们提出了使用增强作用的自适应攻击来训练阴影和攻击模型,以改善攻击性能。
translated by 谷歌翻译
Machine learning (ML) has become a core component of many real-world applications and training data is a key factor that drives current progress. This huge success has led Internet companies to deploy machine learning as a service (MLaaS). Recently, the first membership inference attack has shown that extraction of information on the training set is possible in such MLaaS settings, which has severe security and privacy implications.However, the early demonstrations of the feasibility of such attacks have many assumptions on the adversary, such as using multiple so-called shadow models, knowledge of the target model structure, and having a dataset from the same distribution as the target model's training data. We relax all these key assumptions, thereby showing that such attacks are very broadly applicable at low cost and thereby pose a more severe risk than previously thought. We present the most comprehensive study so far on this emerging and developing threat using eight diverse datasets which show the viability of the proposed attacks across domains.In addition, we propose the first effective defense mechanisms against such broader class of membership inference attacks that maintain a high level of utility of the ML model.
translated by 谷歌翻译
隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息,我们提出了几种图形重建攻击。我们表明,事后功能解释的其他知识大大提高了这些攻击的成功率。此外,我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异:基于梯度,基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多,但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释,隐私泄漏随着解释实用程序的增加而增加。最后,我们提出了基于随机响应机制的防御,以释放大大降低攻击成功率的解释。我们的匿名代码可用。
translated by 谷歌翻译
机器学习模型容易受到会员推理攻击的影响,在这种攻击中,对手的目的是预测目标模型培训数据集中是否包含特定样本。现有的攻击方法通常仅从给定的目标模型中利用输出信息(主要是损失)。结果,在成员和非成员样本都产生类似小损失的实际情况下,这些方法自然无法区分它们。为了解决这一限制,在本文中,我们提出了一种称为\系统的新攻击方法,该方法可以利用目标模型的整个培训过程中的成员资格信息来改善攻击性能。要将攻击安装在共同的黑盒环境中,我们利用知识蒸馏,并通过在不同蒸馏时期的中间模型中评估的损失表示成员资格信息,即\ emph {蒸馏损失轨迹},以及损失来自给定的目标模型。对不同数据集和模型体系结构的实验结果证明了我们在不同指标方面的攻击优势。例如,在Cinic-10上,我们的攻击至少达到6 $ \ times $ $阳性的速率,低阳性率为0.1 \%的速率比现有方法高。进一步的分析表明,在更严格的情况下,我们攻击的总体有效性。
translated by 谷歌翻译
标记为图形结构数据的分类任务具有许多重要的应用程序,从社交建议到财务建模。深度神经网络越来越多地用于图形上的节点分类,其中具有相似特征的节点必须给出相同的标签。图形卷积网络(GCN)是如此广泛研究的神经网络体系结构,在此任务上表现良好。但是,对GCN的强大链接攻击攻击最近表明,即使对训练有素的模型进行黑框访问,培训图中也存在哪些链接(或边缘)。在本文中,我们提出了一种名为LPGNET的新神经网络体系结构,用于对具有隐私敏感边缘的图形进行培训。 LPGNET使用新颖的设计为训练过程中的图形结构提供了新颖的设计,为边缘提供了差异隐私(DP)保证。我们从经验上表明,LPGNET模型通常位于提供隐私和效用之间的最佳位置:它们比使用不使用边缘信息的“琐碎”私人体系结构(例如,香草MLP)和针对现有的链接策略攻击更好的弹性可以提供更好的实用性。使用完整边缘结构的香草GCN。 LPGNET还与DPGCN相比,LPGNET始终提供更好的隐私性权衡,这是我们大多数评估的数据集中将差异隐私改造为常规GCN的最新机制。
translated by 谷歌翻译
许多数据挖掘任务依靠图来模拟个人(节点)之间的关系结构。由于关系数据通常很敏感,因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击,该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功,但直接应用模型反转攻击(例如图形)导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距,我们对模型反转攻击对图神经网络(GNNS)进行了系统研究,这是本文中最新的图形分析工具之一。首先,在攻击者可以完全访问目标GNN模型的白色框设置中,我们提出GraphMi来推断私人训练图数据。具体而言,在GraphMi中,提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑,节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外,在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中,我们根据梯度估计和增强学习(RL-GraphMI)提出了两种方法。我们的实验结果表明,此类防御措施没有足够的有效性,并要求对隐私攻击进行更先进的防御能力。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。建立一个强大的GNN模型不是一个琐碎的任务,因为它需要大量的培训数据,强大的计算资源和微调模型的人类专业知识。更重要的是,随着对抗性攻击的发展,例如,模型窃取攻击,GNNS提出了模型认证的挑战。为避免对GNN的版权侵犯,有必要验证GNN模型的所有权。在本文中,我们为图形和节点分类任务提供了一种用于GNN的水印框架。我们1)设计两种策略来为图形分类生成水印数据,一个用于节点分类任务,2)通过培训将水印嵌入到主机模型中,以获得水印的GNN模型,3)验证可疑模型的所有权在黑盒设置中。实验表明,我们的框架可以验证GNN模型的所有权,具有非常高的概率(约100亿美元)的任务。此外,我们实验表明,即使在考虑到从不同架构获得的可疑模型比所有者的可疑模型,我们的水印方法也仍然有效。
translated by 谷歌翻译
员额推理攻击允许对训练的机器学习模型进行对手以预测模型的训练数据集中包含特定示例。目前使用平均案例的“精度”度量来评估这些攻击,该攻击未能表征攻击是否可以自信地识别培训集的任何成员。我们认为,应该通过计算其低(例如<0.1%)假阳性率来计算攻击来评估攻击,并在以这种方式评估时发现大多数事先攻击差。为了解决这一问题,我们开发了一个仔细结合文献中多种想法的似然比攻击(Lira)。我们的攻击是低于虚假阳性率的10倍,并且在攻击现有度量的情况下也严格占主导地位。
translated by 谷歌翻译
会员推理攻击是机器学习模型中最简单的隐私泄漏形式之一:给定数据点和模型,确定该点是否用于培训模型。当查询其培训数据时,现有会员推理攻击利用模型的异常置信度。如果对手访问模型的预测标签,则不会申请这些攻击,而不会置信度。在本文中,我们介绍了仅限标签的会员资格推理攻击。我们的攻击而不是依赖置信分数,而是评估模型预测标签在扰动下的稳健性,以获得细粒度的隶属信号。这些扰动包括常见的数据增强或对抗例。我们经验表明,我们的标签占会员推理攻击与先前攻击相符,以便需要访问模型信心。我们进一步证明,仅限标签攻击违反了(隐含或明确)依赖于我们呼叫信心屏蔽的现象的员工推论攻击的多种防御。这些防御修改了模型的置信度分数以挫败攻击,但留下模型的预测标签不变。我们的标签攻击展示了置信性掩蔽不是抵御会员推理的可行的防御策略。最后,我们调查唯一的案例标签攻击,该攻击推断为少量异常值数据点。我们显示仅标签攻击也匹配此设置中基于置信的攻击。我们发现具有差异隐私和(强)L2正则化的培训模型是唯一已知的防御策略,成功地防止所有攻击。即使差异隐私预算太高而无法提供有意义的可证明担保,这仍然存在。
translated by 谷歌翻译
Machine Unerning是在收到删除请求时从机器学习(ML)模型中删除某些培训数据的影响的过程。虽然直接而合法,但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题,在图像和文本数据的域中提出了许多近似算法,其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中,并为每个碎片训练一个组成模型。但是,将SISA直接应用于图形数据可能会严重损害图形结构信息,从而导致的ML模型实用程序。在本文中,我们提出了Grapheraser,这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验,以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $(小数据集)至35.94 $ \ times $(大数据集)未学习时间的改进。另一方面,Grapheraser的实现最高62.5美元\%$更高的F1分数,我们提出的基于学习的聚合方法可达到高达$ 112 \%$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}
translated by 谷歌翻译
半监督学习(SSL)利用标记和未标记的数据来训练机器学习(ML)模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。但是,大多数现有作品都集中在提高SSL的性能。在这项工作中,我们通过研究SSL的培训数据隐私来采取不同的角度。具体而言,我们建议针对由SSL训练的ML模型进行的第一个基于数据增强的成员推理攻击。给定数据样本和黑框访问模型,成员推理攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明,拟议的攻击可以始终超过现有的成员推理攻击,并针对由SSL训练的模型实现最佳性能。此外,我们发现,SSL中会员泄漏的原因与受到监督学习中普遍认为的原因不同,即过度拟合(培训和测试准确性之间的差距)。我们观察到,SSL模型已被概括为测试数据(几乎为0个过度拟合),但“记住”训练数据通过提供更自信的预测,无论其正确性如何。我们还探索了早期停止,作为防止成员推理攻击SSL的对策。结果表明,早期停止可以减轻会员推理攻击,但由于模型的实用性降解成本。
translated by 谷歌翻译
随着机器学习技术的发展,研究的注意力已从单模式学习转变为多模式学习,因为现实世界中的数据以不同的方式存在。但是,多模式模型通常比单模式模型具有更多的信息,并且通常将其应用于敏感情况,例如医疗报告生成或疾病鉴定。与针对机器学习分类器的现有会员推断相比,我们关注的是多模式模型的输入和输出的问题,例如不同的模式,例如图像字幕。这项工作通过成员推理攻击的角度研究了多模式模型的隐私泄漏,这是确定数据记录是否涉及模型培训过程的过程。为了实现这一目标,我们提出了多种模型的成员资格推理(M^4i),分别使用两种攻击方法来推断成员身份状态,分别为基于公表示的(MB)M^4i和基于特征(FB)M^4i。更具体地说,MB M^4i在攻击时采用相似性指标来推断目标数据成员资格。 FB M^4i使用预先训练的阴影多模式提取器来通过比较提取的输入和输出功能的相似性来实现数据推理攻击的目的。广泛的实验结果表明,两种攻击方法都可以实现强大的性能。在不受限制的情况下,平均可以获得攻击成功率的72.5%和94.83%。此外,我们评估了针对我们的攻击的多种防御机制。 M^4i攻击的源代码可在https://github.com/multimodalmi/multimodal-membership-inference.git上公开获得。
translated by 谷歌翻译
属性推理攻击使对手可以从机器学习模型中提取培训数据集的全局属性。此类攻击对共享数据集来培训机器学习模型的数据所有者具有隐私影响。已经提出了几种针对深神经网络的财产推理攻击的现有方法,但它们都依靠攻击者训练大量的影子模型,这会导致大型计算开销。在本文中,我们考虑了攻击者可以毒化训练数据集的子集并查询训练有素的目标模型的属性推理攻击的设置。通过我们对中毒下模型信心的理论分析的激励,我们设计了有效的财产推理攻击,SNAP,该攻击获得了更高的攻击成功,并且需要比Mahloujifar Et的基于最先进的中毒的财产推理攻击更高的中毒量。 al。例如,在人口普查数据集上,SNAP的成功率比Mahloujifar等人高34%。同时更快56.5倍。我们还扩展了攻击,以确定在培训中是否根本存在某个财产,并有效地估算了利息财产的确切比例。我们评估了对四个数据集各种比例的多种属性的攻击,并证明了Snap的一般性和有效性。
translated by 谷歌翻译
在其培训集中,给定训练有素的模型泄漏了多少培训模型泄露?会员资格推理攻击用作审计工具,以量化模型在其训练集中泄漏的私人信息。会员推理攻击受到不同不确定性的影响,即攻击者必须解决培训数据,培训算法和底层数据分布。因此,攻击成功率,在文献中的许多攻击,不要精确地捕获模型的信息泄漏关于他们的数据,因为它们还反映了攻击算法具有的其他不确定性。在本文中,我们解释了隐含的假设以及使用假设检测框架在现有工作中进行的简化。我们还从框架中获得了新的攻击算法,可以实现高AUC分数,同时还突出显示影响其性能的不同因素。我们的算法捕获模型中隐私损失的非常精确的近似,并且可以用作在机器学习模型中执行准确和了解的隐私风险的工具。我们对各种机器学习任务和基准数据集的攻击策略提供了彻底的实证评估。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。然而,最近的研究表明,GNN易受对抗性发作的影响。在本文中,我们研究了关于图表 - 图 - 图注射攻击(GIA)的最近引入的现实攻击情景。在GIA场景中,对手无法修改输入图的现有链路结构和节点属性,而是通过将逆势节点注入到它中来执行攻击。我们对GIA环境下GNN的拓扑脆弱性分析,基于该拓扑结构,我们提出了用于有效注射攻击的拓扑缺陷图注射攻击(TDGIA)。 TDGIA首先介绍了拓扑有缺陷的边缘选择策略,可以选择与注入的原始节点连接。然后,它设计平滑功能优化目标,以生成注入节点的功能。大规模数据集的广泛实验表明,TDGIA可以一致而明显优于攻击数十个防御GNN模型中的各种攻击基线。值得注意的是,来自TDGIA的目标GNNS上的性能下降比KDD-CUP 2020上的数百个提交所带来的最佳攻击解决方案所带来的损坏多于两倍。
translated by 谷歌翻译