节点嵌入方法将网络节点映射到低维矢量的节点,随后可以在各种下游预测任务中使用。近年来,这些方法的普及大大增加了,但是它们对输入数据扰动的稳健性仍然很少了解。在本文中,我们评估了节点嵌入模型的经验鲁棒性,以对随机和对抗中毒攻击。我们的系统评估涵盖了基于跳过,矩阵分解和深神经网络的代表性嵌入方法。我们比较使用网络属性和节点标签计算的边缘添加,删除和重新布线策略。我们还研究了标签均质和异质性对鲁棒性的影响。我们通过在下游节点分类和网络重建性能方面嵌入可视化和定量结果来报告定性结果。我们发现,与网络重建相反,节点分类遭受更高的性能降解,基于程度和基于标签的攻击平均是最大的破坏性攻击。
translated by 谷歌翻译
从消息传递机制中受益,图形神经网络(GNN)在图形数据上的繁荣任务上已经成功。但是,最近的研究表明,攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重,该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是,两种策略都面临着一些直接问题:原始特征不能代表节点的各种特性(例如结构信息),而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此,我们提出了一条名为stable的无监督管道,以优化图形结构。最后,我们将精心设计的图输入到下游分类器中。对于这一部分,我们设计了一个高级GCN,可显着增强香草GCN的鲁棒性,而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明,稳定的表现优于最先进的方法,并成功防御各种攻击。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have been widely applied to different tasks such as bioinformatics, drug design, and social networks. However, recent studies have shown that GNNs are vulnerable to adversarial attacks which aim to mislead the node or subgraph classification prediction by adding subtle perturbations. Detecting these attacks is challenging due to the small magnitude of perturbation and the discrete nature of graph data. In this paper, we propose a general adversarial edge detection pipeline EDoG without requiring knowledge of the attack strategies based on graph generation. Specifically, we propose a novel graph generation approach combined with link prediction to detect suspicious adversarial edges. To effectively train the graph generative model, we sample several sub-graphs from the given graph data. We show that since the number of adversarial edges is usually low in practice, with low probability the sampled sub-graphs will contain adversarial edges based on the union bound. In addition, considering the strong attacks which perturb a large number of edges, we propose a set of novel features to perform outlier detection as the preprocessing for our detection. Extensive experimental results on three real-world graph datasets including a private transaction rule dataset from a major company and two types of synthetic graphs with controlled properties show that EDoG can achieve above 0.8 AUC against four state-of-the-art unseen attack strategies without requiring any knowledge about the attack type; and around 0.85 with knowledge of the attack type. EDoG significantly outperforms traditional malicious edge detection baselines. We also show that an adaptive attack with full knowledge of our detection pipeline is difficult to bypass it.
translated by 谷歌翻译
网络表示学习(NRL)方法在过去几年中受到了重大关注,因此由于它们在几个图形分析问题中的成功,包括节点分类,链路预测和聚类。这种方法旨在以一种保留网络的结构信息的方式将网络的每个顶点映射到低维空间中。特别感兴趣的是基于随机行走的方法;这些方法将网络转换为节点序列的集合,旨在通过预测序列内每个节点的上下文来学习节点表示。在本文中,我们介绍了一种通用框架,以增强通过基于主题信息的随机行走方法获取的节点的嵌入。类似于自然语言处理中局部单词嵌入的概念,所提出的模型首先将每个节点分配给潜在社区,并有利于各种统计图模型和社区检测方法,然后了解增强的主题感知表示。我们在两个下游任务中评估我们的方法:节点分类和链路预测。实验结果表明,通过纳入节点和社区嵌入,我们能够以广泛的广泛的基线NRL模型表明。
translated by 谷歌翻译
图表表示学习是一种快速增长的领域,其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务,例如链路预测,节点分类,群集和可视化。图表社区的集体努力提供了数百种方法,但在所有评估指标下没有单一方法擅长,例如预测准确性,运行时间,可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体,参数选择,可伸缩性,硬件和软件平台,下游ML任务和多样化数据集。我们使用包含手动特征工程,矩阵分解,浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类,链路预测,群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验,并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能,并总结了结果。因此,本文可以作为比较指南,以帮助用户选择最适合其任务的方法。
translated by 谷歌翻译
图形卷积网络(GCN)已显示出容易受到小型对抗扰动的影响,这成为严重的威胁,并在很大程度上限制了其在关键安全场景中的应用。为了减轻这种威胁,大量的研究工作已致力于增加GCN对对抗攻击的鲁棒性。但是,当前的防御方法通常是为整个图表而设计的,并考虑了全球性能,在保护重要的本地节点免受更强的对抗性靶向攻击方面面临着挑战。在这项工作中,我们提出了一种简单而有效的方法,名为Graph Universal对抗防御(Guard)。与以前的作品不同,Guard可以保护每个单独的节点免受通用防御贴片的攻击,该节点是一次生成的,可以应用于图中的任何节点(节点-Agnostic)。在四个基准数据集上进行的广泛实验表明,我们的方法可显着提高几种已建立的GCN的鲁棒性,以针对多种对抗性攻击,并且胜过大幅度的最先进的防御方法。我们的代码可在https://github.com/edisonleeeeee/guard上公开获取。
translated by 谷歌翻译
在低维空间中节点的学习表示是一项至关重要的任务,在网络分析中具有许多有趣的应用,包括链接预测,节点分类和可视化。解决此问题的两种流行方法是矩阵分解和基于步行的随机模型。在本文中,我们旨在将两全其美的最好的人融合在一起,以学习节点表示。特别是,我们提出了一个加权矩阵分解模型,该模型编码有关网络节点的随机步行信息。这种新颖的表述的好处是,它使我们能够利用内核函数,而无需意识到确切的接近矩阵,从而增强现有矩阵分解方法的表达性,并减轻其计算复杂性。我们通过多个内核学习公式扩展了方法,该公式提供了学习内核作为以数据驱动方式的词典的线性组合的灵活性。我们在现实世界网络上执行经验评估,表明所提出的模型优于基线节点嵌入下游机器学习任务中的算法。
translated by 谷歌翻译
图表的深度学习模型对节点分类的任务取得了很强的性能。尽管他们扩散,目前没有对对抗性袭击的稳健性的研究。然而,在域中可能被使用,例如,网上,对手很常见。图表的深度学习模型很容易被愚弄吗?在这项工作中,我们介绍了对归属图的对抗性攻击的第一次研究,特别是专注于利用图形卷积思想的模型。除了在考试时间的攻击之外,我们还解决了更具挑战性的中毒/致病攻击,这些攻击专注于机器学习模型的训练阶段。我们生成针对节点特征和图形结构的对抗扰动,从而占用了实例之间的依赖关系。此外,我们确保通过保留重要数据特征来确保扰动仍然是不可抑制的。为了应对基础的离散域,我们提出了一种有效的NetTack利用增量计算的算法。我们的实验研究表明,即使仅在扰动时,节点分类的准确性也显着下降。甚至更多,我们的攻击是可转移的:学习攻击概括到其他最先进的节点分类模型和无监督的方法,同样也是成功的,即使仅给出了关于图形的有限知识时也是成功的。
translated by 谷歌翻译
我们为旨在降低公平性的对抗神经网络(GNN)的对抗性攻击(GNN)的存在和有效性提供了证据。这些攻击可能不利基于GNN的节点分类中的特定节点子组,其中基础网络的节点具有敏感的属性,例如种族或性别。我们进行了定性和实验分析,以解释对抗链接注射如何损害GNN预测的公平性。例如,攻击者可以通过在属于相反子组和相反类标签的节点之间注入对抗性链接来损害基于GNN的节点分类的公平性。我们在经验数据集上的实验表明,对抗公平性攻击可以显着降低GNN预测的公平性(攻击是有效的),其扰动率较低(攻击是有效的),并且没有明显的准确性下降(攻击是欺骗性的)。这项工作证明了GNN模型对对抗公平性攻击的脆弱性。我们希望我们的发现在社区中提高人们对这个问题的认识,并为GNN模型的未来发展奠定了基础,这些模型对这种攻击更为强大。
translated by 谷歌翻译
基于观察到的图,对在关系结构数据上应用机器学习技术的兴趣增加了。通常,该图并不能完全代表节点之间的真实关系。在这些设置中,构建以观测图为条件的生成模型可以考虑图形不确定性。各种现有技术要么依赖于限制性假设,无法在样品中保留拓扑特性,要么在较大的图表中昂贵。在这项工作中,我们介绍了用于通过图形构建分布的节点复制模型。随机图的采样是通过替换每个节点的邻居的邻居来进行采样的。采样图保留图形结构的关键特征,而无需明确定位它们。此外,该模型的采样非常简单,并与节点线性缩放。我们在三个任务中显示了复制模型的有用性。首先,在节点分类中,基于节点复制的贝叶斯公式在稀疏数据设置中实现了更高的精度。其次,我们采用建议的模型来减轻对抗攻击对图形拓扑的影响。最后,将模型纳入推荐系统设置,改善了对最新方法的回忆。
translated by 谷歌翻译
Prediction tasks over nodes and edges in networks require careful effort in engineering features used by learning algorithms. Recent research in the broader field of representation learning has led to significant progress in automating prediction by learning the features themselves. However, present feature learning approaches are not expressive enough to capture the diversity of connectivity patterns observed in networks.Here we propose node2vec, an algorithmic framework for learning continuous feature representations for nodes in networks. In node2vec, we learn a mapping of nodes to a low-dimensional space of features that maximizes the likelihood of preserving network neighborhoods of nodes. We define a flexible notion of a node's network neighborhood and design a biased random walk procedure, which efficiently explores diverse neighborhoods. Our algorithm generalizes prior work which is based on rigid notions of network neighborhoods, and we argue that the added flexibility in exploring neighborhoods is the key to learning richer representations.We demonstrate the efficacy of node2vec over existing state-ofthe-art techniques on multi-label classification and link prediction in several real-world networks from diverse domains. Taken together, our work represents a new way for efficiently learning stateof-the-art task-independent representations in complex networks.
translated by 谷歌翻译
许多数据挖掘任务依靠图来模拟个人(节点)之间的关系结构。由于关系数据通常很敏感,因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击,该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功,但直接应用模型反转攻击(例如图形)导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距,我们对模型反转攻击对图神经网络(GNNS)进行了系统研究,这是本文中最新的图形分析工具之一。首先,在攻击者可以完全访问目标GNN模型的白色框设置中,我们提出GraphMi来推断私人训练图数据。具体而言,在GraphMi中,提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑,节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外,在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中,我们根据梯度估计和增强学习(RL-GraphMI)提出了两种方法。我们的实验结果表明,此类防御措施没有足够的有效性,并要求对隐私攻击进行更先进的防御能力。
translated by 谷歌翻译
图表神经网络(GNNS)在行业中,由于各种预测任务的表现令人印象深刻,在行业中获得了显着的采用。然而,单独的性能是不够的。任何广泛部署的机器学习算法都必须强大到对抗性攻击。在这项工作中,我们调查了GNN的这个方面,识别漏洞,并将它们链接到图形属性,可能导致更安全和强大的GNN的开发。具体而言,我们制定任务和模型不可知逃避攻击问题,其中对手修改了测试图以影响任何未知下游任务的性能。提出的算法,盛大($ GR $ APH $ A $ TTACK通过$ N $ eighbors $ D $ Istorration)显示节点邻域的失真在急剧损害预测性能方面是有效的。虽然邻里失真是一个NP难题,但是宏伟设计了通过具有深入$ Q $ -Learning的图形同构网络的新组合的启发式。关于实际数据集的广泛实验表明,平均而言,盛大的速度高达50美元,而不是最先进的技术,同时速度超过100美元。
translated by 谷歌翻译
我们通过形式化节点标签的异质性(即连接的节点倾向于具有不同的标签)和GNN与对抗性攻击的稳健性来弥合图形神经网络(GNN)的两个研究方向。我们的理论和经验分析表明,对于同质图数据,有影响力的结构攻击始终导致同质性降低,而对于异性图数据,同质级别的变化取决于节点度。这些见解对防御对现实图形的攻击具有实际含义:我们推断出分离自我和邻居限制的汇总器,这是一种已确定的设计原则,可以显着改善异性图数据的预测,还可以为增强的鲁棒性提供稳健性gnns。我们的综合实验表明,与表现最好的未接种模型相比,GNN仅采用这种设计可以提高经验和可证明的鲁棒性。此外,与表现最佳的疫苗接种模型相比,这种设计与对抗性攻击的明确防御机制相结合,可提高稳健性,攻击性能在攻击下提高18.33%。
translated by 谷歌翻译
一组广泛建立的无监督节点嵌入方法可以解释为由两个独特的步骤组成:i)基于兴趣图的相似性矩阵的定义,然后是II)ii)该矩阵的明确或隐式因素化。受这个观点的启发,我们提出了框架的两个步骤的改进。一方面,我们建议根据自由能距离编码节点相似性,该自由能距离在最短路径和通勤时间距离之间进行了插值,从而提供了额外的灵活性。另一方面,我们根据损耗函数提出了一种基质分解方法,该方法将Skip-Gram模型的损失函数推广到任意相似性矩阵。与基于广泛使用的$ \ ell_2 $损失的因素化相比,该方法可以更好地保留与较高相似性分数相关的节点对。此外,它可以使用高级自动分化工具包轻松实现,并通过利用GPU资源进行有效计算。在现实世界数据集上的节点聚类,节点分类和链接预测实验证明了与最先进的替代方案相比,合并基于自由能的相似性以及所提出的矩阵分解的有效性。
translated by 谷歌翻译
在过去的二十年中,我们目睹了以图形或网络形式构建的有价值的大数据的大幅增长。为了将传统的机器学习和数据分析技术应用于此类数据,有必要将图形转换为基于矢量的表示,以保留图形最重要的结构属性。为此,文献中已经提出了大量的图形嵌入方法。它们中的大多数产生了适用于各种应用的通用嵌入,例如节点聚类,节点分类,图形可视化和链接预测。在本文中,我们提出了两个新的图形嵌入算法,这些算法是基于专门为节点分类问题设计的随机步道。已设计算法的随机步行采样策略旨在特别注意集线器 - 高度节点,这些节点在大规模图中具有最关键的作用。通过分析对现实世界网络嵌入的三种分类算法的分类性能,对所提出的方法进行实验评估。获得的结果表明,与当前最流行的随机步行方法相比,我们的方法可大大提高所检查分类器的预测能力(NODE2VEC)。
translated by 谷歌翻译
图形嵌入是图形节点到一组向量的转换。良好的嵌入应捕获图形拓扑,节点与节点的关系以及有关图,其子图和节点的其他相关信息。如果实现了这些目标,则嵌入是网络中有意义的,可理解的,可理解的压缩表示形式,可用于其他机器学习工具,例如节点分类,社区检测或链接预测。主要的挑战是,需要确保嵌入很好地描述图形的属性。结果,选择最佳嵌入是一项具有挑战性的任务,并且通常需要领域专家。在本文中,我们在现实世界网络和人为生成的网络上进行了一系列广泛的实验,并使用选定的图嵌入算法进行了一系列的实验。根据这些实验,我们制定了两个一般结论。首先,如果需要在运行实验之前选择一种嵌入算法,则Node2Vec是最佳选择,因为它在我们的测试中表现最好。话虽如此,在所有测试中都没有单一的赢家,此外,大多数嵌入算法都具有应该调整并随机分配的超参数。因此,如果可能的话,我们对从业者的主要建议是生成几个问题的嵌入,然后使用一个通用框架,该框架为无监督的图形嵌入比较提供了工具。该框架(最近在文献中引入并在GitHub存储库中很容易获得)将分歧分数分配给嵌入,以帮助区分好的分数和不良的分数。
translated by 谷歌翻译
图表神经网络(GNNS)已成功利用在许多现实世界应用中的图形分析任务中。攻击和防御方法之间的竞争也增强了GNN的鲁棒性。在这次竞争中,对抗性培训方法的发展提出了对攻击例子的多样性要求。相比之下,大多数具有特定攻击策略的攻击方法难以满足这种要求。为了解决这个问题,我们提出了GraphAtcher,这是一种新型通用图形攻击框架,可根据图分析任务灵活地调整结构和攻击策略。通过在三个关键组件上的替代培训:基于生成对冲网络(GaN)的多策略攻击发生器(MAG),相似性鉴别器(SD)和攻击鉴别器(AD),产生对手示例。此外,考虑到节点相似性分布的变化,我们介绍了一种新颖的相似性修改率SMR来进行隐秘的攻击。在各种基准数据集上的实验表明,GraphAtcker可以在节点分类,图形分类和链路预测的图形分析任务上实现最先进的攻击性能,无论是否进行了对抗性培训。此外,我们还分析了每个任务的独特特征及其在统一攻击框架中的特定响应。项目代码可在https://github.com/honoluluuuu/graphatter处获得。
translated by 谷歌翻译
图形神经网络(GNNS)在各种现实世界应用中取得了有希望的性能。然而,最近的研究表明,GNN易受对抗性发作的影响。在本文中,我们研究了关于图表 - 图 - 图注射攻击(GIA)的最近引入的现实攻击情景。在GIA场景中,对手无法修改输入图的现有链路结构和节点属性,而是通过将逆势节点注入到它中来执行攻击。我们对GIA环境下GNN的拓扑脆弱性分析,基于该拓扑结构,我们提出了用于有效注射攻击的拓扑缺陷图注射攻击(TDGIA)。 TDGIA首先介绍了拓扑有缺陷的边缘选择策略,可以选择与注入的原始节点连接。然后,它设计平滑功能优化目标,以生成注入节点的功能。大规模数据集的广泛实验表明,TDGIA可以一致而明显优于攻击数十个防御GNN模型中的各种攻击基线。值得注意的是,来自TDGIA的目标GNNS上的性能下降比KDD-CUP 2020上的数百个提交所带来的最佳攻击解决方案所带来的损坏多于两倍。
translated by 谷歌翻译
图表卷积网络(GCNS)由于图形学习任务的优异性能,因此引起了感兴趣的激增,但也显示出对抗对抗攻击的脆弱性。在本文中,研究了有效的曲线图结构攻击以破坏傅立叶域中的图形光谱滤波器。我们基于图拉普拉斯的特征值来定义光谱距离,以测量光谱滤波器的破坏。然后,我们通过同时最大化任务特定的攻击目标和所提出的光谱距离来生成边缘扰动。实验表明,在训练和测试时间都表现出拟议的攻击中所提出的攻击的显着效果。我们的定性分析显示了攻击行为与谱分布的强加变化之间的连接,这提供了最大化光谱距离的经验证据是改变空间域中图形结构的结构特性和傅立叶中的频率分量的有效方式领域。
translated by 谷歌翻译