Machine Unerning是在收到删除请求时从机器学习（ML）模型中删除某些培训数据的影响的过程。虽然直接而合法，但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题，在图像和文本数据的域中提出了许多近似算法，其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中，并为每个碎片训练一个组成模型。但是，将SISA直接应用于图形数据可能会严重损害图形结构信息，从而导致的ML模型实用程序。在本文中，我们提出了Grapheraser，这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验，以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $（小数据集）至35.94 $ \ times $（大数据集）未学习时间的改进。另一方面，Grapheraser的实现最高62.5美元\％$更高的F1分数，我们提出的基于学习的聚合方法可达到高达$ 112 \％$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}

在本文中，我们研究了具有差异隐私（DP）的学习图神经网络（GNN）的问题。我们提出了一种基于聚合扰动（GAP）的新型差异私有GNN，该GNN为GNN的聚合函数添加了随机噪声，以使单个边缘（边缘级隐私）或单个节点的存在统计上的存在及其所有邻接边缘（ - 级别的隐私）。 GAP的新体系结构是根据私人学习的细节量身定制的，由三个单独的模块组成：（i）编码器模块，我们在不依赖边缘信息的情况下学习私人节点嵌入； （ii）聚合模块，其中我们根据图结构计算嘈杂的聚合节点嵌入； （iii）分类模块，我们在私有聚合上训练神经网络进行节点分类，而无需进一步查询图表。 GAP比以前的方法的主要优势在于，它可以从多跳社区的聚合中受益，并保证边缘级别和节点级别的DP不仅用于培训，而且可以推断出培训的隐私预算以外的额外费用。我们使用R \'Enyi DP来分析GAP的正式隐私保证，并在三个真实世界图数据集上进行经验实验。我们证明，与最先进的DP-GNN方法和天真的MLP基线相比，GAP提供了明显更好的准确性私人权衡权衡。

标记为图形结构数据的分类任务具有许多重要的应用程序，从社交建议到财务建模。深度神经网络越来越多地用于图形上的节点分类，其中具有相似特征的节点必须给出相同的标签。图形卷积网络（GCN）是如此广泛研究的神经网络体系结构，在此任务上表现良好。但是，对GCN的强大链接攻击攻击最近表明，即使对训练有素的模型进行黑框访问，培训图中也存在哪些链接（或边缘）。在本文中，我们提出了一种名为LPGNET的新神经网络体系结构，用于对具有隐私敏感边缘的图形进行培训。 LPGNET使用新颖的设计为训练过程中的图形结构提供了新颖的设计，为边缘提供了差异隐私（DP）保证。我们从经验上表明，LPGNET模型通常位于提供隐私和效用之间的最佳位置：它们比使用不使用边缘信息的“琐碎”私人体系结构（例如，香草MLP）和针对现有的链接策略攻击更好的弹性可以提供更好的实用性。使用完整边缘结构的香草GCN。 LPGNET还与DPGCN相比，LPGNET始终提供更好的隐私性权衡，这是我们大多数评估的数据集中将差异隐私改造为常规GCN的最新机制。

随着机器学习（ML）技术的快速采用，ML模型的共享变得流行。但是，ML模型容易受到隐私攻击的攻击，这些攻击泄漏了有关培训数据的信息。在这项工作中，我们专注于一种名为属性推理攻击（PIA）的特定类型的隐私攻击，该隐私攻击通过访问目标ML模型来渗透培训数据的敏感属性。特别是，我们将图形神经网络（GNN）视为目标模型，而训练图中特定的节点和链接的分布是目标属性。尽管现有的工作调查了针对图形属性的PIA，但尚无先前的工作研究节点和链接属性在组级别的推断。在这项工作中，我们对针对GNNS的小组财产推理攻击（GPIA）进行了首次系统研究。首先，我们考虑具有不同类型的对手知识的黑盒和白色框设置下的威胁模型的分类法，并为这些设置设计了六种不同的攻击。我们通过对三个代表性的GNN模型和三个现实图表进行广泛的实验来评估这些攻击的有效性。我们的结果证明了这些攻击的有效性，这些攻击的准确性优于基线方法。其次，我们分析了有助于GPIA成功的基本因素，并表明在图形上有或没有目标属性的图形训练的目标模型代表模型参数和/或模型输出的一定程度，这使对手可以推断存在的存在。属性。此外，我们设计了针对GPIA攻击的一组防御机制，并证明这些机制可以有效地降低攻击精度，而GNN模型准确性的损失很小。

许多真实数据以图形的形式出现。图表神经网络（GNNS）是一个新的机器学习（ML）模型，已建议完全利用图表数据来构建强大的应用程序。特别地，可以概括到看不见的数据的电感GNN成为主流。机器学习模型在各种任务中表现出很大的潜力，并已在许多真实情景中部署。要培训良好的模型，需要大量的数据以及计算资源，从而导致有价值的知识产权。以前的研究表明，ML模型容易窃取攻击模型，旨在窃取目标模型的功能。然而，大多数人都专注于用图像和文本接受培训的模型。另一方面，对于用图表数据，即GNNS接受培训的模型，已经支付了很少的注意。在本文中，我们通过提出针对电感GNN的第一个模型窃取攻击来填补差距。我们系统地定义了威胁模型，并根据对手的背景知识和目标模型的响应提出六次攻击。我们对六个基准数据集的评估显示，拟议的模型窃取针对GNN的攻击实现了有希望的性能。

许多数据挖掘任务依靠图来模拟个人（节点）之间的关系结构。由于关系数据通常很敏感，因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击，该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功，但直接应用模型反转攻击（例如图形）导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距，我们对模型反转攻击对图神经网络（GNNS）进行了系统研究，这是本文中最新的图形分析工具之一。首先，在攻击者可以完全访问目标GNN模型的白色框设置中，我们提出GraphMi来推断私人训练图数据。具体而言，在GraphMi中，提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑，节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外，在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中，我们根据梯度估计和增强学习（RL-GraphMI）提出了两种方法。我们的实验结果表明，此类防御措施没有足够的有效性，并要求对隐私攻击进行更先进的防御能力。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图形神经网络（GNN）在学习强大的节点表示中显示了令人信服的性能，这些表现在保留节点属性和图形结构信息的强大节点表示中。然而，许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训，但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息，同时消除冗余信息甚至噪声。在本文中，我们提出了一种用于GNN的公制引导（MEGUIDE）子图学习框架。 MEGUIDE采用两种新颖的度量：功能平滑和连接失效距离，以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息，而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。

数十年来，计算机系统持有大量个人数据。一方面，这种数据丰度允许在人工智能（AI），尤其是机器学习（ML）模型中突破。另一方面，它可能威胁用户的隐私并削弱人类与人工智能之间的信任。最近的法规要求，可以从一般情况下从计算机系统中删除有关用户的私人信息，特别是根据要求从ML模型中删除（例如，“被遗忘的权利”）。虽然从后端数据库中删除数据应该很简单，但在AI上下文中，它不够，因为ML模型经常“记住”旧数据。现有的对抗攻击证明，我们可以从训练有素的模型中学习私人会员或培训数据的属性。这种现象要求采用新的范式，即机器学习，以使ML模型忘记了特定的数据。事实证明，由于缺乏共同的框架和资源，最近在机器上学习的工作无法完全解决问题。在本调查文件中，我们试图在其定义，场景，机制和应用中对机器进行彻底的研究。具体而言，作为最先进的研究的类别集合，我们希望为那些寻求机器未学习的入门及其各种表述，设计要求，删除请求，算法和用途的人提供广泛的参考。 ML申请。此外，我们希望概述范式中的关键发现和趋势，并突出显示尚未看到机器无法使用的新研究领域，但仍可以受益匪浅。我们希望这项调查为ML研究人员以及寻求创新隐私技术的研究人员提供宝贵的参考。我们的资源是在https://github.com/tamlhp/awesome-machine-unlearning上。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

通过提取和利用来自异构信息网络（HIN）的高阶信息的提取和利用模拟异质性，近年来一直在吸引巨大的研究关注。这种异构网络嵌入（HNE）方法有效地利用小规模旋流的异质性。然而，在现实世界中，随着新节点和不同类型的链路的连续引入，何种素数量呈指数级增长，使其成为十亿尺度的网络。在这种关链接上的学习节点嵌入式为现有的HNE方法进行了性能瓶颈，这些方法通常是集中的，即完成数据，并且模型都在单机上。为了满足强大的效率和有效性保障的大型HNE任务，我们呈现\纺织{分散嵌入框架的异构信息网络}（Dehin）。在Dehin中，我们生成一个分布式并行管道，它利用超图来注入到HNE任务中的并行化。 Dehin呈现了一种上下文保留的分区机制，可创新地将大HIN作为超图制定，其超高频连接语义相似的节点。我们的框架然后采用分散的策略来通过采用类似的树形管道来有效地分隔帖。然后，每个结果的子网被分配给分布式工作人员，该工作者采用深度信息最大化定理，从其接收的分区本地学习节点嵌入。我们进一步设计了一种新颖的嵌入对准方案，将独立学习的节点嵌入从所有子网嵌入到公共向量空间上的新颖嵌入对准方案，从而允许下游任务等链路预测和节点分类。

图表神经网络（GNNS）在各种机器学习任务中获得了表示学习的提高。然而，应用邻域聚合的大多数现有GNN通常在图中的图表上执行不良，其中相邻的节点属于不同的类。在本文中，我们示出了在典型的异界图中，边缘可以被引导，以及是否像是处理边缘，也可以使它们过度地影响到GNN模型的性能。此外，由于异常的限制，节点对来自本地邻域之外的类似节点的消息非常有益。这些激励我们开发一个自适应地学习图表的方向性的模型，并利用潜在的长距离相关性节点之间。我们首先将图拉普拉斯概括为基于所提出的特征感知PageRank算法向数字化，该算法同时考虑节点之间的图形方向性和长距离特征相似性。然后，Digraph Laplacian定义了一个图形传播矩阵，导致一个名为{\ em diglaciangcn}的模型。基于此，我们进一步利用节点之间的通勤时间测量的节点接近度，以便在拓扑级别上保留节点的远距离相关性。具有不同级别的10个数据集的广泛实验，同意级别展示了我们在节点分类任务任务中对现有解决方案的有效性。

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

Graph AutoCododers（GAE）和变分图自动编码器（VGAE）作为链接预测的强大方法出现。他们的表现对社区探测问题的印象不那么令人印象深刻，根据最近和同意的实验评估，它们的表现通常超过了诸如louvain方法之类的简单替代方案。目前尚不清楚可以通过GAE和VGAE改善社区检测的程度，尤其是在没有节点功能的情况下。此外，不确定是否可以在链接预测上同时保留良好的性能。在本文中，我们表明，可以高精度地共同解决这两个任务。为此，我们介绍和理论上研究了一个社区保留的消息传递方案，通过在计算嵌入空间时考虑初始图形结构和基于模块化的先验社区来掺杂我们的GAE和VGAE编码器。我们还提出了新颖的培训和优化策略，包括引入一个模块化的正规器，以补充联合链路预测和社区检测的现有重建损失。我们通过对各种现实世界图的深入实验验证，证明了方法的经验有效性，称为模块化感知的GAE和VGAE。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

Graph Neural Networks (GNNs) have become increasingly important in recent years due to their state-of-the-art performance on many important downstream applications. Existing GNNs have mostly focused on learning a single node representation, despite that a node often exhibits polysemous behavior in different contexts. In this work, we develop a persona-based graph neural network framework called PersonaSAGE that learns multiple persona-based embeddings for each node in the graph. Such disentangled representations are more interpretable and useful than a single embedding. Furthermore, PersonaSAGE learns the appropriate set of persona embeddings for each node in the graph, and every node can have a different number of assigned persona embeddings. The framework is flexible enough and the general design helps in the wide applicability of the learned embeddings to suit the domain. We utilize publicly available benchmark datasets to evaluate our approach and against a variety of baselines. The experiments demonstrate the effectiveness of PersonaSAGE for a variety of important tasks including link prediction where we achieve an average gain of 15% while remaining competitive for node classification. Finally, we also demonstrate the utility of PersonaSAGE with a case study for personalized recommendation of different entity types in a data management platform.

最近，图形神经网络（GNN）通过利用图形结构和节点特征的知识来表现出图表表示的显着性能。但是，他们中的大多数都有两个主要限制。首先，GNN可以通过堆叠更多的层来学习高阶结构信息，但由于过度光滑的问题，无法处理较大的深度。其次，由于昂贵的计算成本和高内存使用情况，在大图上应用这些方法并不容易。在本文中，我们提出了节点自适应特征平滑（NAFS），这是一种简单的非参数方法，该方法构建了没有参数学习的节点表示。 NAFS首先通过特征平滑提取每个节点及其不同啤酒花的邻居的特征，然后自适应地结合了平滑的特征。此外，通过不同的平滑策略提取的平滑特征的合奏可以进一步增强构建的节点表示形式。我们在两个不同的应用程序方案上对四个基准数据集进行实验：节点群集和链接预测。值得注意的是，具有功能合奏的NAFS优于这些任务上最先进的GNN，并减轻上述大多数基于学习的GNN对应物的两个限制。