图神经网络（GNN）正在在各种应用领域中实现出色的性能。但是，GNN容易受到输入数据中的噪声和对抗性攻击。在噪音和对抗性攻击方面使GNN坚固是一个重要的问题。现有的GNN防御方法在计算上是要求的，并且不可扩展。在本文中，我们提出了一个通用框架，用于鲁棒化的GNN称为加权laplacian GNN（RWL-GNN）。该方法将加权图拉普拉斯学习与GNN实现结合在一起。所提出的方法受益于Laplacian矩阵的积极半定义特性，具有光滑度和潜在特征，通过制定统一的优化框架，从而确保丢弃对抗性/嘈杂的边缘，并适当加权图中的相关连接。为了进行演示，实验是通过图形卷积神经网络（GCNN）体系结构进行的，但是，所提出的框架很容易适合任何现有的GNN体系结构。使用基准数据集的仿真结果建立了所提出方法的疗效，无论是准确性还是计算效率。可以在https://github.com/bharat-runwal/rwl-gnn上访问代码。

图形注意力网络（GAT）是处理图数据的有用深度学习模型。但是，最近的作品表明，经典的GAT容易受到对抗攻击的影响。它在轻微的扰动下急剧降低。因此，如何增强GAT的鲁棒性是一个关键问题。本文提出了强大的GAT（Rogat），以根据注意机制的修订来改善GAT的鲁棒性。与原始的GAT不同，该GAT使用注意力机制的不同边缘，但仍然对扰动敏感，Rogat逐渐增加了动态注意力评分并提高了稳健性。首先，Rogat根据平滑度假设修改边缘的重量，这对于普通图很常见。其次，Rogat进一步修改了功能以抑制功能的噪声。然后，由动态边缘的重量产生额外的注意力评分，可用于减少对抗性攻击的影响。针对引文数据的引文数据的针对目标和不靶向攻击的不同实验表明，Rogat的表现优于最近的大多数防御方法。

从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。

Graph neural networks (GNNs) have been increasingly deployed in various applications that involve learning on non-Euclidean data. However, recent studies show that GNNs are vulnerable to graph adversarial attacks. Although there are several defense methods to improve GNN robustness by eliminating adversarial components, they may also impair the underlying clean graph structure that contributes to GNN training. In addition, few of those defense models can scale to large graphs due to their high computational complexity and memory usage. In this paper, we propose GARNET, a scalable spectral method to boost the adversarial robustness of GNN models. GARNET first leverages weighted spectral embedding to construct a base graph, which is not only resistant to adversarial attacks but also contains critical (clean) graph structure for GNN training. Next, GARNET further refines the base graph by pruning additional uncritical edges based on probabilistic graphical model. GARNET has been evaluated on various datasets, including a large graph with millions of nodes. Our extensive experiment results show that GARNET achieves adversarial accuracy improvement and runtime speedup over state-of-the-art GNN (defense) models by up to 13.27% and 14.7x, respectively.

图形神经网络（GNNS）在建模图形结构数据方面表明了它们的能力。但是，实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时，GNN的性能会显着下降，这阻碍了许多应用程序的GNN。因此，与有限标记的节点开发抗噪声GNN是重要的。但是，这是一个相当有限的工作。因此，我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明，嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题，我们提出了一种新颖的框架，该框架采用嘈杂的边缘作为监督，以学习去噪和密集的图形，这可以减轻或消除嘈杂的边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化，以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。

图表卷积网络（GCNS）由于图形学习任务的优异性能，因此引起了感兴趣的激增，但也显示出对抗对抗攻击的脆弱性。在本文中，研究了有效的曲线图结构攻击以破坏傅立叶域中的图形光谱滤波器。我们基于图拉普拉斯的特征值来定义光谱距离，以测量光谱滤波器的破坏。然后，我们通过同时最大化任务特定的攻击目标和所提出的光谱距离来生成边缘扰动。实验表明，在训练和测试时间都表现出拟议的攻击中所提出的攻击的显着效果。我们的定性分析显示了攻击行为与谱分布的强加变化之间的连接，这提供了最大化光谱距离的经验证据是改变空间域中图形结构的结构特性和傅立叶中的频率分量的有效方式领域。

我们通过形式化节点标签的异质性（即连接的节点倾向于具有不同的标签）和GNN与对抗性攻击的稳健性来弥合图形神经网络（GNN）的两个研究方向。我们的理论和经验分析表明，对于同质图数据，有影响力的结构攻击始终导致同质性降低，而对于异性图数据，同质级别的变化取决于节点度。这些见解对防御对现实图形的攻击具有实际含义：我们推断出分离自我和邻居限制的汇总器，这是一种已确定的设计原则，可以显着改善异性图数据的预测，还可以为增强的鲁棒性提供稳健性gnns。我们的综合实验表明，与表现最好的未接种模型相比，GNN仅采用这种设计可以提高经验和可证明的鲁棒性。此外，与表现最佳的疫苗接种模型相比，这种设计与对抗性攻击的明确防御机制相结合，可提高稳健性，攻击性能在攻击下提高18.33％。

最近的研究证明，图形神经网络容易受到对抗性攻击的影响。攻击者可以仅依靠培训标签来破坏Edge扰动不可知论受害者模型的性能。研究人员观察到，基于显着性的攻击者倾向于添加边缘而不是删除它们，这是通过以下事实来解释的：添加边缘通过聚集来污染节点的特征，同时删除边缘只会导致一些信息丢失。在本文中，我们进一步证明了攻击者通过添加类间边缘来扰动图，这也表现为降低扰动图的同层。从这个角度来看，基于显着的攻击者仍然有提高能力和不可识别的空间。基于GNN的替代模型的消息传递导致通过类间边缘连接的节点的过度厚度，从而阻止了攻击者获得节点特征的独特性。为了解决此问题，我们引入了一个多跳的汇总消息传递，以保留节点之间的属性差异。此外，我们提出了一个正规化术语来限制同质方差，以增强攻击不可识别。实验验证我们提出的替代模型改善了攻击者的多功能性，正则化项有助于限制扰动图的同质性。

图形神经网络（GNNS）由于其强大的表示能力而广泛用于图形结构化数据处理。通常认为，GNNS可以隐式消除非预测性的噪音。但是，对图神经网络中隐式降解作用的分析仍然开放。在这项工作中，我们进行了一项全面的理论研究，并分析了隐式denoising在GNN中发生的何时以及为什么发生。具体而言，我们研究噪声矩阵的收敛性。我们的理论分析表明，隐式转化很大程度上取决于连接性，图形大小和GNN体系结构。此外，我们通过扩展图形信号降解问题来正式定义并提出对抗图信号denoising（AGSD）问题。通过解决这样的问题，我们得出了一个可靠的图形卷积，可以增强节点表示的平滑度和隐式转化效果。广泛的经验评估验证了我们的理论分析和我们提出的模型的有效性。

图形神经网络（GNNS）在许多图形挖掘任务中取得了巨大的成功，这些任务从消息传递策略中受益，该策略融合了局部结构和节点特征，从而为更好的图表表示学习。尽管GNN成功，并且与其他类型的深神经网络相似，但发现GNN容易受到图形结构和节点特征的不明显扰动。已经提出了许多对抗性攻击，以披露在不同的扰动策略下创建对抗性例子的GNN的脆弱性。但是，GNNS对成功后门攻击的脆弱性直到最近才显示。在本文中，我们披露了陷阱攻击，这是可转移的图形后门攻击。核心攻击原则是用基于扰动的触发器毒化训练数据集，这可以导致有效且可转移的后门攻击。图形的扰动触发是通过通过替代模型的基于梯度的得分矩阵在图形结构上执行扰动动作来生成的。与先前的作品相比，陷阱攻击在几种方面有所不同：i）利用替代图卷积网络（GCN）模型来生成基于黑盒的后门攻击的扰动触发器； ii）它产生了没有固定模式的样品特异性扰动触发器； iii）在使用锻造中毒训练数据集训练时，在GNN的背景下，攻击转移到了不同​​的GNN模型中。通过对四个现实世界数据集进行广泛的评估，我们证明了陷阱攻击使用四个现实世界数据集在四个不同流行的GNN中构建可转移的后门的有效性

Predictive coding is a message-passing framework initially developed to model information processing in the brain, and now also topic of research in machine learning due to some interesting properties. One of such properties is the natural ability of generative models to learn robust representations thanks to their peculiar credit assignment rule, that allows neural activities to converge to a solution before updating the synaptic weights. Graph neural networks are also message-passing models, which have recently shown outstanding results in diverse types of tasks in machine learning, providing interdisciplinary state-of-the-art performance on structured data. However, they are vulnerable to imperceptible adversarial attacks, and unfit for out-of-distribution generalization. In this work, we address this by building models that have the same structure of popular graph neural network architectures, but rely on the message-passing rule of predictive coding. Through an extensive set of experiments, we show that the proposed models are (i) comparable to standard ones in terms of performance in both inductive and transductive tasks, (ii) better calibrated, and (iii) robust against multiple kinds of adversarial attacks.

许多数据挖掘任务依靠图来模拟个人（节点）之间的关系结构。由于关系数据通常很敏感，因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击，该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功，但直接应用模型反转攻击（例如图形）导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距，我们对模型反转攻击对图神经网络（GNNS）进行了系统研究，这是本文中最新的图形分析工具之一。首先，在攻击者可以完全访问目标GNN模型的白色框设置中，我们提出GraphMi来推断私人训练图数据。具体而言，在GraphMi中，提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑，节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外，在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中，我们根据梯度估计和增强学习（RL-GraphMI）提出了两种方法。我们的实验结果表明，此类防御措施没有足够的有效性，并要求对隐私攻击进行更先进的防御能力。

图表的深度学习模型对节点分类的任务取得了很强的性能。尽管他们扩散，目前没有对对抗性袭击的稳健性的研究。然而，在域中可能被使用，例如，网上，对手很常见。图表的深度学习模型很容易被愚弄吗？在这项工作中，我们介绍了对归属图的对抗性攻击的第一次研究，特别是专注于利用图形卷积思想的模型。除了在考试时间的攻击之外，我们还解决了更具挑战性的中毒/致病攻击，这些攻击专注于机器学习模型的训练阶段。我们生成针对节点特征和图形结构的对抗扰动，从而占用了实例之间的依赖关系。此外，我们确保通过保留重要数据特征来确保扰动仍然是不可抑制的。为了应对基础的离散域，我们提出了一种有效的NetTack利用增量计算的算法。我们的实验研究表明，即使仅在扰动时，节点分类的准确性也显着下降。甚至更多，我们的攻击是可转移的：学习攻击概括到其他最先进的节点分类模型和无监督的方法，同样也是成功的，即使仅给出了关于图形的有限知识时也是成功的。

图形卷积网络（GCN）已显示出容易受到小型对抗扰动的影响，这成为严重的威胁，并在很大程度上限制了其在关键安全场景中的应用。为了减轻这种威胁，大量的研究工作已致力于增加GCN对对抗攻击的鲁棒性。但是，当前的防御方法通常是为整个图表而设计的，并考虑了全球性能，在保护重要的本地节点免受更强的对抗性靶向攻击方面面临着挑战。在这项工作中，我们提出了一种简单而有效的方法，名为Graph Universal对抗防御（Guard）。与以前的作品不同，Guard可以保护每个单独的节点免受通用防御贴片的攻击，该节点是一次生成的，可以应用于图中的任何节点（节点-Agnostic）。在四个基准数据集上进行的广泛实验表明，我们的方法可显着提高几种已建立的GCN的鲁棒性，以针对多种对抗性攻击，并且胜过大幅度的最先进的防御方法。我们的代码可在https://github.com/edisonleeeeee/guard上公开获取。

鉴于他们的普及和应用程序的多样性，图形神经网络（GNNS）越来越重要。然而，对对抗性袭击的脆弱性的现有研究依赖于相对较小的图形。我们解决了这个差距并研究了如何在规模攻击和捍卫GNN。我们提出了两个稀疏感知的一阶优化攻击，尽管优化了在节点数量中的许多参数上优化了有效的表示。我们表明，普通的替代损失并不适合全球对GNN的攻击。我们的替代品可以加倍攻击力量。此外，为了提高GNNS的可靠性，我们设计了强大的聚合函数，软中位，导致所有尺度的有效防御。我们评估了我们的攻击和防御与图形的标准GNN，与以前的工作相比大于100倍以上。我们甚至通过将技术扩展到可伸缩的GNN来进一步缩放一个数量级。

A lot of theoretical and empirical evidence shows that the flatter local minima tend to improve generalization. Adversarial Weight Perturbation (AWP) is an emerging technique to efficiently and effectively find such minima. In AWP we minimize the loss w.r.t. a bounded worst-case perturbation of the model parameters thereby favoring local minima with a small loss in a neighborhood around them. The benefits of AWP, and more generally the connections between flatness and generalization, have been extensively studied for i.i.d. data such as images. In this paper, we extensively study this phenomenon for graph data. Along the way, we first derive a generalization bound for non-i.i.d. node classification tasks. Then we identify a vanishing-gradient issue with all existing formulations of AWP and we propose a new Weighted Truncated AWP (WT-AWP) to alleviate this issue. We show that regularizing graph neural networks with WT-AWP consistently improves both natural and robust generalization across many different graph learning tasks and models.

Graph Neural Networks (GNNs) as deep learning models working on graph-structure data have achieved advanced performance in many works. However, it has been proved repeatedly that, not all edges in a graph are necessary for the training of machine learning models. In other words, some of the connections between nodes may bring redundant or even misleading information to downstream tasks. In this paper, we try to provide a method to drop edges in order to purify the graph data from a new perspective. Specifically, it is a framework to purify graphs with the least loss of information, under which the core problems are how to better evaluate the edges and how to delete the relatively redundant edges with the least loss of information. To address the above two problems, we propose several measurements for the evaluation and different judges and filters for the edge deletion. We also introduce a residual-iteration strategy and a surrogate model for measurements requiring unknown information. The experimental results show that our proposed measurements for KL divergence with constraints to maintain the connectivity of the graph and delete edges in an iterative way can find out the most edges while keeping the performance of GNNs. What's more, further experiments show that this method also achieves the best defense performance against adversarial attacks.

尽管近期图形神经网络（GNN）成功，但常见的架构通常表现出显着的限制，包括对过天飞机，远程依赖性和杂散边缘的敏感性，例如，由于图形异常或对抗性攻击。至少部分地解决了一个简单的透明框架内的这些问题，我们考虑了一个新的GNN层系列，旨在模仿和整合两个经典迭代算法的更新规则，即近端梯度下降和迭代重复最小二乘（IRLS）。前者定义了一个可扩展的基础GNN架构，其免受过性的，而仍然可以通过允许任意传播步骤捕获远程依赖性。相反，后者产生了一种新颖的注意机制，该注意机制被明确地锚定到底层端到端能量函数，以及相对于边缘不确定性的稳定性。当结合时，我们获得了一个非常简单而强大的模型，我们在包括标准化基准，与异常扰动的图形，具有异化的图形和涉及远程依赖性的图形的不同方案的极其简单而强大的模型。在此过程中，我们与已明确为各个任务设计的SOTA GNN方法进行比较，实现竞争或卓越的节点分类准确性。我们的代码可以在https://github.com/fftyyy/twirls获得。

图表神经网络（GNNS）在行业中，由于各种预测任务的表现令人印象深刻，在行业中获得了显着的采用。然而，单独的性能是不够的。任何广泛部署的机器学习算法都必须强大到对抗性攻击。在这项工作中，我们调查了GNN的这个方面，识别漏洞，并将它们链接到图形属性，可能导致更安全和强大的GNN的开发。具体而言，我们制定任务和模型不可知逃避攻击问题，其中对手修改了测试图以影响任何未知下游任务的性能。提出的算法，盛大（$ GR $ APH $ A $ TTACK通过$ N $ eighbors $ D $ Istorration）显示节点邻域的失真在急剧损害预测性能方面是有效的。虽然邻里失真是一个NP难题，但是宏伟设计了通过具有深入$ Q $ -Learning的图形同构网络的新组合的启发式。关于实际数据集的广泛实验表明，平均而言，盛大的速度高达50美元，而不是最先进的技术，同时速度超过100美元。

Graph Neural Networks (GNNs) have been widely applied to different tasks such as bioinformatics, drug design, and social networks. However, recent studies have shown that GNNs are vulnerable to adversarial attacks which aim to mislead the node or subgraph classification prediction by adding subtle perturbations. Detecting these attacks is challenging due to the small magnitude of perturbation and the discrete nature of graph data. In this paper, we propose a general adversarial edge detection pipeline EDoG without requiring knowledge of the attack strategies based on graph generation. Specifically, we propose a novel graph generation approach combined with link prediction to detect suspicious adversarial edges. To effectively train the graph generative model, we sample several sub-graphs from the given graph data. We show that since the number of adversarial edges is usually low in practice, with low probability the sampled sub-graphs will contain adversarial edges based on the union bound. In addition, considering the strong attacks which perturb a large number of edges, we propose a set of novel features to perform outlier detection as the preprocessing for our detection. Extensive experimental results on three real-world graph datasets including a private transaction rule dataset from a major company and two types of synthetic graphs with controlled properties show that EDoG can achieve above 0.8 AUC against four state-of-the-art unseen attack strategies without requiring any knowledge about the attack type; and around 0.85 with knowledge of the attack type. EDoG significantly outperforms traditional malicious edge detection baselines. We also show that an adaptive attack with full knowledge of our detection pipeline is difficult to bypass it.