链接预测,推断图形的未发现或潜在链接,被广泛应用于现实世界中。通过促进图表的标记链接作为训练数据,已经研究了许多基于深度学习的链接预测方法,与非深度方法相比,它们具有主导的预测准确性。但是,恶意制作的训练图的威胁将在深层模型中留下特定的后门,因此,当一些特定的示例被馈入模型时,它将做出错误的预测,定义为后门攻击。这是当前文献中忽略的重要方面。在本文中,我们促使后门攻击对链接预测的概念,并提出链接 - 背门以揭示现有链接预测方法的训练漏洞。具体而言,链接 - 贝克门将假节点与目标链接的节点结合在一起,形成触发器。此外,它通过目标模型的梯度信息来优化触发器。因此,在后排数据集中训练的链接预测模型将预测与目标状态触发的链接。在五个基准数据集和五个表现良好的链接预测模型上进行的广泛实验表明,链接 - 贝克门都在白色框(即目标模型参数可用)和黑色框下实现了最新的攻击成功率。框(即目标模型参数不可用)方案。此外,我们在防御性情况下作证了攻击,结果表明,链接 - 背部门仍然可以成功构建对表现良好的链接预测方法的成功攻击。代码和数据可在https://github.com/seaocn/link-backdoor上获得。
translated by 谷歌翻译
图形神经网络(GNNS)在许多图形挖掘任务中取得了巨大的成功,这些任务从消息传递策略中受益,该策略融合了局部结构和节点特征,从而为更好的图表表示学习。尽管GNN成功,并且与其他类型的深神经网络相似,但发现GNN容易受到图形结构和节点特征的不明显扰动。已经提出了许多对抗性攻击,以披露在不同的扰动策略下创建对抗性例子的GNN的脆弱性。但是,GNNS对成功后门攻击的脆弱性直到最近才显示。在本文中,我们披露了陷阱攻击,这是可转移的图形后门攻击。核心攻击原则是用基于扰动的触发器毒化训练数据集,这可以导致有效且可转移的后门攻击。图形的扰动触发是通过通过替代模型的基于梯度的得分矩阵在图形结构上执行扰动动作来生成的。与先前的作品相比,陷阱攻击在几种方面有所不同:i)利用替代图卷积网络(GCN)模型来生成基于黑盒的后门攻击的扰动触发器; ii)它产生了没有固定模式的样品特异性扰动触发器; iii)在使用锻造中毒训练数据集训练时,在GNN的背景下,攻击转移到了不同​​的GNN模型中。通过对四个现实世界数据集进行广泛的评估,我们证明了陷阱攻击使用四个现实世界数据集在四个不同流行的GNN中构建可转移的后门的有效性
translated by 谷歌翻译
图表神经网络(GNNS)已成功利用在许多现实世界应用中的图形分析任务中。攻击和防御方法之间的竞争也增强了GNN的鲁棒性。在这次竞争中,对抗性培训方法的发展提出了对攻击例子的多样性要求。相比之下,大多数具有特定攻击策略的攻击方法难以满足这种要求。为了解决这个问题,我们提出了GraphAtcher,这是一种新型通用图形攻击框架,可根据图分析任务灵活地调整结构和攻击策略。通过在三个关键组件上的替代培训:基于生成对冲网络(GaN)的多策略攻击发生器(MAG),相似性鉴别器(SD)和攻击鉴别器(AD),产生对手示例。此外,考虑到节点相似性分布的变化,我们介绍了一种新颖的相似性修改率SMR来进行隐秘的攻击。在各种基准数据集上的实验表明,GraphAtcker可以在节点分类,图形分类和链路预测的图形分析任务上实现最先进的攻击性能,无论是否进行了对抗性培训。此外,我们还分析了每个任务的独特特征及其在统一攻击框架中的特定响应。项目代码可在https://github.com/honoluluuuu/graphatter处获得。
translated by 谷歌翻译
后门攻击是对深度学习模型的强大攻击算法。最近,GNN对后门攻击的脆弱性已被证明,尤其是在图形分类任务上。在本文中,我们提出了GNN上的第一种后门检测和防御方法。大多数后门攻击都取决于向干净样品注入小但有影响力的扳机。对于图数据,当前的后门攻击专注于操纵图形结构以注入触发器。我们发现,良性样本和恶意样本之间存在明显的差异,例如忠诚度和不忠行为。在确定了恶意样本后,GNN模型的解释性可以帮助我们捕获最重要的子图,这可能是Trojan图中的触发器。我们使用各种数据集和不同的攻击设置来证明我们的防御方法的有效性。攻击成功率的所有事实都大大降低。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。然而,最近的研究表明,GNN易受对抗性发作的影响。在本文中,我们研究了关于图表 - 图 - 图注射攻击(GIA)的最近引入的现实攻击情景。在GIA场景中,对手无法修改输入图的现有链路结构和节点属性,而是通过将逆势节点注入到它中来执行攻击。我们对GIA环境下GNN的拓扑脆弱性分析,基于该拓扑结构,我们提出了用于有效注射攻击的拓扑缺陷图注射攻击(TDGIA)。 TDGIA首先介绍了拓扑有缺陷的边缘选择策略,可以选择与注入的原始节点连接。然后,它设计平滑功能优化目标,以生成注入节点的功能。大规模数据集的广泛实验表明,TDGIA可以一致而明显优于攻击数十个防御GNN模型中的各种攻击基线。值得注意的是,来自TDGIA的目标GNNS上的性能下降比KDD-CUP 2020上的数百个提交所带来的最佳攻击解决方案所带来的损坏多于两倍。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have been widely applied to different tasks such as bioinformatics, drug design, and social networks. However, recent studies have shown that GNNs are vulnerable to adversarial attacks which aim to mislead the node or subgraph classification prediction by adding subtle perturbations. Detecting these attacks is challenging due to the small magnitude of perturbation and the discrete nature of graph data. In this paper, we propose a general adversarial edge detection pipeline EDoG without requiring knowledge of the attack strategies based on graph generation. Specifically, we propose a novel graph generation approach combined with link prediction to detect suspicious adversarial edges. To effectively train the graph generative model, we sample several sub-graphs from the given graph data. We show that since the number of adversarial edges is usually low in practice, with low probability the sampled sub-graphs will contain adversarial edges based on the union bound. In addition, considering the strong attacks which perturb a large number of edges, we propose a set of novel features to perform outlier detection as the preprocessing for our detection. Extensive experimental results on three real-world graph datasets including a private transaction rule dataset from a major company and two types of synthetic graphs with controlled properties show that EDoG can achieve above 0.8 AUC against four state-of-the-art unseen attack strategies without requiring any knowledge about the attack type; and around 0.85 with knowledge of the attack type. EDoG significantly outperforms traditional malicious edge detection baselines. We also show that an adaptive attack with full knowledge of our detection pipeline is difficult to bypass it.
translated by 谷歌翻译
图神经网络(GNN)是一类用于处理图形域信息的基于深度学习的方法。 GNN最近已成为一种广泛使用的图形分析方法,因为它们可以为复杂的图形数据学习表示形式。但是,由于隐私问题和法规限制,集中的GNN可能很难应用于数据敏感的情况。 Federated学习(FL)是一种新兴技术,为保护隐私设置而开发,当几个方需要协作培训共享的全球模型时。尽管几项研究工作已应用于培训GNN(联邦GNN),但对他们对后门攻击的稳健性没有研究。本文通过在联邦GNN中进行两种类型的后门攻击来弥合这一差距:集中式后门攻击(CBA)和分发后门攻击(DBA)。我们的实验表明,在几乎所有评估的情况下,DBA攻击成功率高于CBA。对于CBA,即使对抗方的训练集嵌入了全球触发因素,所有本地触发器的攻击成功率也类似于全球触发因素。为了进一步探索联邦GNN中两次后门攻击的属性,我们评估了不同数量的客户,触发尺寸,中毒强度和触发密度的攻击性能。此外,我们探讨了DBA和CBA对两个最先进的防御能力的鲁棒性。我们发现,两次攻击都对被调查的防御能力进行了强大的强大,因此需要考虑将联邦GNN中的后门攻击视为需要定制防御的新威胁。
translated by 谷歌翻译
许多真实数据以图形的形式出现。图表神经网络(GNNS)是一个新的机器学习(ML)模型,已建议完全利用图表数据来构建强大的应用程序。特别地,可以概括到看不见的数据的电感GNN成为主流。机器学习模型在各种任务中表现出很大的潜力,并已在许多真实情景中部署。要培训良好的模型,需要大量的数据以及计算资源,从而导致有价值的知识产权。以前的研究表明,ML模型容易窃取攻击模型,旨在窃取目标模型的功能。然而,大多数人都专注于用图像和文本接受培训的模型。另一方面,对于用图表数据,即GNNS接受培训的模型,已经支付了很少的注意。在本文中,我们通过提出针对电感GNN的第一个模型窃取攻击来填补差距。我们系统地定义了威胁模型,并根据对手的背景知识和目标模型的响应提出六次攻击。我们对六个基准数据集的评估显示,拟议的模型窃取针对GNN的攻击实现了有希望的性能。
translated by 谷歌翻译
Vertical federated learning (VFL) is an emerging paradigm that enables collaborators to build machine learning models together in a distributed fashion. In general, these parties have a group of users in common but own different features. Existing VFL frameworks use cryptographic techniques to provide data privacy and security guarantees, leading to a line of works studying computing efficiency and fast implementation. However, the security of VFL's model remains underexplored.
translated by 谷歌翻译
图神经网络(GNN)在图形分类和多样化的下游现实世界应用方面取得了巨大成功。尽管他们成功了,但现有的方法要么仅限于结构攻击,要么仅限于本地信息。这要求在图形分类上建立更一般的攻击框架,由于使用全球图表级信息生成本地节点级的对抗示例的复杂性,因此面临重大挑战。为了解决这个“全局到本地”问题,我们提出了一个通用框架CAMA,以通过层次样式操纵图形结构和节点特征来生成对抗性示例。具体而言,我们利用Graph类激活映射及其变体来产​​生与图形分类任务相对应的节点级的重要性。然后,通过算法的启发式设计,我们可以借助节点级别和子图级的重要性在不明显的扰动预算下执行功能和结构攻击。在六个现实世界基准上攻击四个最先进的图形分类模型的实验验证了我们框架的灵活性和有效性。
translated by 谷歌翻译
机器学习模型被证明是面对模型提取攻击的严重威胁,其中服务提供商拥有的训练有素的私人模型可以被假装作为客户端的攻击者窃取。不幸的是,先前的作品侧重于欧几里德空间训练的模型,例如图像和文本,而如何提取包含图形结构的GNN模型,则尚未探索节点功能。本文首次全面调查并开发针对GNN模型的模型提取攻击。我们首先通过考虑由攻击者获得的节点的不同背景知识,将对冲威胁分类为七种类别的威胁建模并将对抗性威胁分类为七个类别。然后我们展示了利用每种威胁中的可访问知识来实现​​攻击的详细方法。通过评估三个现实世界数据集,我们的攻击显示有效提取重复模型,即目标域中的84% - 89%的输入具有与受害者模型相同的输出预测。
translated by 谷歌翻译
最近的研究表明,深层神经网络容易受到不同类型的攻击,例如对抗性攻击,数据中毒攻击和后门攻击。其中,后门攻击是最狡猾的攻击,几乎可以在深度学习管道的每个阶段发生。因此,后门攻击吸引了学术界和行业的许多兴趣。但是,大多数现有的后门攻击方法对于某些轻松的预处理(例如常见数据转换)都是可见的或脆弱的。为了解决这些限制,我们提出了一种强大而无形的后门攻击,称为“毒药”。具体而言,我们首先利用图像结构作为目标中毒区域,并用毒药(信息)填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义,因此这种触发模式对数据转换本质上是强大的。然后,我们利用深度注射网络将这种触发模式嵌入封面图像中,以达到隐身性。与现有流行的后门攻击方法相比,毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验,我们证明了毒药不仅是不同数据集和网络体系结构的一般性,而且对于不同的攻击场景也很灵活。此外,它对许多最先进的防御技术也具有非常强烈的抵抗力。
translated by 谷歌翻译
事实证明,图形神经网络(GNN)在图形结构数据的几个预测建模任务中已被证明。在这些任务中,链接预测是许多现实世界应用(例如推荐系统)的基本问题之一。但是,GNN不能免疫对抗攻击,即精心制作的恶意例子,旨在欺骗预测模型。在这项工作中,我们专注于对基于GNN的链接预测模型进行特定的白盒攻击,其中恶意节点的目的是出现在给定目标受害者的推荐节点列表中。为了实现这一目标,攻击者节点还可以指望它直接控制的其他现有同伴的合作,即在网络中注入许多``vicious''节点的能力。具体而言,所有这些恶意节点都可以添加新的边缘或删除现有的节点,从而扰乱原始图。因此,我们提出了野蛮人,一种新颖的框架和一种安装这种链接预测攻击的方法。野蛮人将对手的目标制定为一项优化任务,从而达到了攻击的有效性与所需的恶意资源的稀疏之间的平衡。在现实世界和合成数据集上进行的广泛实验表明,通过野蛮人实施的对抗性攻击确实达到了很高的攻击成功率,但使用少量恶性节点。最后,尽管这些攻击需要完全了解目标模型,但我们表明它们可以成功地转移到其他黑框方法以进行链接预测。
translated by 谷歌翻译
对图形的对抗攻击对图形机器学习(GML)模型的鲁棒性构成了重大威胁。当然,攻击者和捍卫者之间存在一场易于升级的军备竞赛。但是,在相同和现实的条件下,双方背后的策略往往不相当。为了弥合这一差距,我们展示了Graph稳健性基准(GRB),其目的是为GML模型的对抗鲁棒性提供可扩展,统一,模块化和可重复的评估。 GRB将攻击和防御过程标准化1)开发可扩展和多样化的数据集,2)模块化攻击和防御实现,以及统一精细方案中的评估协议。通过利用GRB管道,最终用户可以专注于具有自动数据处理和实验评估的强大GML模型的开发。为了支持对图形对抗性学习的开放和可重复研究,GRB还遍布不同方案的公共排行榜。作为起点,我们对基准基线技术进行了广泛的实验。 GRB是开放的,欢迎社区的贡献。数据集,代码,排行榜可在https://cogdl.ai/grb/home获得。
translated by 谷歌翻译
与令人印象深刻的进步触动了我们社会的各个方面,基于深度神经网络(DNN)的AI技术正在带来越来越多的安全问题。虽然在考试时间运行的攻击垄断了研究人员的初始关注,但是通过干扰培训过程来利用破坏DNN模型的可能性,代表了破坏训练过程的可能性,这是破坏AI技术的可靠性的进一步严重威胁。在后门攻击中,攻击者损坏了培训数据,以便在测试时间诱导错误的行为。然而,测试时间误差仅在存在与正确制作的输入样本对应的触发事件的情况下被激活。通过这种方式,损坏的网络继续正常输入的预期工作,并且只有当攻击者决定激活网络内隐藏的后门时,才会发生恶意行为。在过去几年中,后门攻击一直是强烈的研究活动的主题,重点是新的攻击阶段的发展,以及可能对策的提议。此概述文件的目标是审查发表的作品,直到现在,分类到目前为止提出的不同类型的攻击和防御。指导分析的分类基于攻击者对培训过程的控制量,以及防御者验证用于培训的数据的完整性,并监控DNN在培训和测试中的操作时间。因此,拟议的分析特别适合于参考他们在运营的应用方案的攻击和防御的强度和弱点。
translated by 谷歌翻译
许多数据挖掘任务依靠图来模拟个人(节点)之间的关系结构。由于关系数据通常很敏感,因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击,该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功,但直接应用模型反转攻击(例如图形)导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距,我们对模型反转攻击对图神经网络(GNNS)进行了系统研究,这是本文中最新的图形分析工具之一。首先,在攻击者可以完全访问目标GNN模型的白色框设置中,我们提出GraphMi来推断私人训练图数据。具体而言,在GraphMi中,提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑,节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外,在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中,我们根据梯度估计和增强学习(RL-GraphMI)提出了两种方法。我们的实验结果表明,此类防御措施没有足够的有效性,并要求对隐私攻击进行更先进的防御能力。
translated by 谷歌翻译
图形卷积网络(GCN)已显示出容易受到小型对抗扰动的影响,这成为严重的威胁,并在很大程度上限制了其在关键安全场景中的应用。为了减轻这种威胁,大量的研究工作已致力于增加GCN对对抗攻击的鲁棒性。但是,当前的防御方法通常是为整个图表而设计的,并考虑了全球性能,在保护重要的本地节点免受更强的对抗性靶向攻击方面面临着挑战。在这项工作中,我们提出了一种简单而有效的方法,名为Graph Universal对抗防御(Guard)。与以前的作品不同,Guard可以保护每个单独的节点免受通用防御贴片的攻击,该节点是一次生成的,可以应用于图中的任何节点(节点-Agnostic)。在四个基准数据集上进行的广泛实验表明,我们的方法可显着提高几种已建立的GCN的鲁棒性,以针对多种对抗性攻击,并且胜过大幅度的最先进的防御方法。我们的代码可在https://github.com/edisonleeeeee/guard上公开获取。
translated by 谷歌翻译
在现实世界应用中的深度神经网络(DNN)的成功受益于丰富的预训练模型。然而,回溯预训练模型可以对下游DNN的部署构成显着的特洛伊木马威胁。现有的DNN测试方法主要旨在在对抗性设置中找到错误的角壳行为,但未能发现由强大的木马攻击所制作的后门。观察特洛伊木马网络行为表明,它们不仅由先前的工作所提出的单一受损神经元反射,而且归因于在多个神经元的激活强度和频率中的关键神经路径。这项工作制定了DNN后门测试,并提出了录音机框架。通过少量良性示例的关键神经元的差异模糊,我们识别特洛伊木马路径,特别是临界人,并通过模拟所识别的路径中的关键神经元来产生后门测试示例。广泛的实验表明了追索者的优越性,比现有方法更高的检测性能。通过隐秘的混合和自适应攻击来检测到后门的录音机更好,现有方法无法检测到。此外,我们的实验表明,录音所可能会揭示模型动物园中的模型的潜在潜在的背面。
translated by 谷歌翻译
节点注入对图神经网络(GNN)的攻击已作为一种实际的攻击场景而引起了人们的注意,攻击者会注入恶意节点,而不是修改节点功能或边缘以降低GNN的性能。尽管节点注射攻击最初取得了成功,但我们发现,通过防御方法,可以通过防御方法和限制其在实践中限制其攻击性能,从而很容易将注射的节点与原始正常节点区分开。为了解决上述问题,我们致力于伪装节点注入攻击,即伪装注入恶意节点(结构/属性)是对防御方法似乎合理/不察觉的普通淋巴结。图形数据的非欧亚人性质和缺乏人类的先验性质给伪装上伪装的形式化,实施和评估带来了巨大挑战。在本文中,我们首先提出并制定了从注射节点围绕的自我网络的忠诚度和多样性中注入的节点的伪装。然后,我们为节点注射攻击(即Cana)设计了一个对抗性伪装框架,以改善伪装,同时确保攻击性能。进一步设计了几种用于图形伪装的新型指标,以进行全面的评估。实验结果表明,当将现有的节点注入攻击方法与我们提出的CANA框架配置时,针对防御方法的攻击性能以及节点伪装将显着改善。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。建立一个强大的GNN模型不是一个琐碎的任务,因为它需要大量的培训数据,强大的计算资源和微调模型的人类专业知识。更重要的是,随着对抗性攻击的发展,例如,模型窃取攻击,GNNS提出了模型认证的挑战。为避免对GNN的版权侵犯,有必要验证GNN模型的所有权。在本文中,我们为图形和节点分类任务提供了一种用于GNN的水印框架。我们1)设计两种策略来为图形分类生成水印数据,一个用于节点分类任务,2)通过培训将水印嵌入到主机模型中,以获得水印的GNN模型,3)验证可疑模型的所有权在黑盒设置中。实验表明,我们的框架可以验证GNN模型的所有权,具有非常高的概率(约100亿美元)的任务。此外,我们实验表明,即使在考虑到从不同架构获得的可疑模型比所有者的可疑模型,我们的水印方法也仍然有效。
translated by 谷歌翻译