在本文中，我们研究了具有差异隐私（DP）的学习图神经网络（GNN）的问题。我们提出了一种基于聚合扰动（GAP）的新型差异私有GNN，该GNN为GNN的聚合函数添加了随机噪声，以使单个边缘（边缘级隐私）或单个节点的存在统计上的存在及其所有邻接边缘（ - 级别的隐私）。 GAP的新体系结构是根据私人学习的细节量身定制的，由三个单独的模块组成：（i）编码器模块，我们在不依赖边缘信息的情况下学习私人节点嵌入； （ii）聚合模块，其中我们根据图结构计算嘈杂的聚合节点嵌入； （iii）分类模块，我们在私有聚合上训练神经网络进行节点分类，而无需进一步查询图表。 GAP比以前的方法的主要优势在于，它可以从多跳社区的聚合中受益，并保证边缘级别和节点级别的DP不仅用于培训，而且可以推断出培训的隐私预算以外的额外费用。我们使用R \'Enyi DP来分析GAP的正式隐私保证，并在三个真实世界图数据集上进行经验实验。我们证明，与最先进的DP-GNN方法和天真的MLP基线相比，GAP提供了明显更好的准确性私人权衡权衡。

标记为图形结构数据的分类任务具有许多重要的应用程序，从社交建议到财务建模。深度神经网络越来越多地用于图形上的节点分类，其中具有相似特征的节点必须给出相同的标签。图形卷积网络（GCN）是如此广泛研究的神经网络体系结构，在此任务上表现良好。但是，对GCN的强大链接攻击攻击最近表明，即使对训练有素的模型进行黑框访问，培训图中也存在哪些链接（或边缘）。在本文中，我们提出了一种名为LPGNET的新神经网络体系结构，用于对具有隐私敏感边缘的图形进行培训。 LPGNET使用新颖的设计为训练过程中的图形结构提供了新颖的设计，为边缘提供了差异隐私（DP）保证。我们从经验上表明，LPGNET模型通常位于提供隐私和效用之间的最佳位置：它们比使用不使用边缘信息的“琐碎”私人体系结构（例如，香草MLP）和针对现有的链接策略攻击更好的弹性可以提供更好的实用性。使用完整边缘结构的香草GCN。 LPGNET还与DPGCN相比，LPGNET始终提供更好的隐私性权衡，这是我们大多数评估的数据集中将差异隐私改造为常规GCN的最新机制。

图形神经网络（GNNS）是一种用于建模图形结构化数据的流行技术，该数据通过来自每个节点的本地邻域的信息聚合来计算节点级表示的结构。然而，该聚合意味着增加敏感信息的风险，因为节点可以参与多个节点的推断。这意味着标准隐私保存机器学习技术，例如差异私有随机梯度下降（DP-SGD） - 这被设计用于每个数据点仅参与推理的一个点的情况 - 要么不适用，或导致不准确解决方案。在这项工作中，我们正式定义了使用节点级别隐私学习1层GNN的问题，并提供具有强大差异隐私保证的算法解决方案。即使每个节点都可以参与多个节点的推断，通过采用仔细的敏感性分析和逐个放大技术的非琐碎扩展，我们的方法能够提供具有实心隐私参数的准确解决方案。标准基准测试的实证评估表明，我们的方法确实能够学习准确的隐私保留GNN，同时仍然优于完全忽略图形信息的标准非私有方法。

许多数据挖掘任务依靠图来模拟个人（节点）之间的关系结构。由于关系数据通常很敏感，因此迫切需要评估图形数据中的隐私风险。对数据分析模型的著名隐私攻击是模型反转攻击，该攻击旨在推断培训数据集中的敏感数据并引起极大的隐私问题。尽管它在类似网格的域中取得了成功，但直接应用模型反转攻击（例如图形）导致攻击性能差。这主要是由于未能考虑图的唯一属性。为了弥合这一差距，我们对模型反转攻击对图神经网络（GNNS）进行了系统研究，这是本文中最新的图形分析工具之一。首先，在攻击者可以完全访问目标GNN模型的白色框设置中，我们提出GraphMi来推断私人训练图数据。具体而言，在GraphMi中，提出了一个投影梯度模块来应对图边的离散性并保持图形特征的稀疏性和平滑度。图形自动编码器模块用于有效利用边缘推理的图形拓扑，节点属性和目标模型参数。随机采样模块最终可以采样离散边缘。此外，在攻击者只能查询GNN API并接收分类结果的硬标签黑框设置中，我们根据梯度估计和增强学习（RL-GraphMI）提出了两种方法。我们的实验结果表明，此类防御措施没有足够的有效性，并要求对隐私攻击进行更先进的防御能力。

隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息，我们提出了几种图形重建攻击。我们表明，事后功能解释的其他知识大大提高了这些攻击的成功率。此外，我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异：基于梯度，基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多，但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释，隐私泄漏随着解释实用程序的增加而增加。最后，我们提出了基于随机响应机制的防御，以释放大大降低攻击成功率的解释。我们的匿名代码可用。

Deep learning models are known to put the privacy of their training data at risk, which poses challenges for their safe and ethical release to the public. Differentially private stochastic gradient descent is the de facto standard for training neural networks without leaking sensitive information about the training data. However, applying it to models for graph-structured data poses a novel challenge: unlike with i.i.d. data, sensitive information about a node in a graph cannot only leak through its gradients, but also through the gradients of all nodes within a larger neighborhood. In practice, this limits privacy-preserving deep learning on graphs to very shallow graph neural networks. We propose to solve this issue by training graph neural networks on disjoint subgraphs of a given training graph. We develop three random-walk-based methods for generating such disjoint subgraphs and perform a careful analysis of the data-generating distributions to provide strong privacy guarantees. Through extensive experiments, we show that our method greatly outperforms the state-of-the-art baseline on three large graphs, and matches or outperforms it on four smaller ones.

Machine Unerning是在收到删除请求时从机器学习（ML）模型中删除某些培训数据的影响的过程。虽然直接而合法，但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题，在图像和文本数据的域中提出了许多近似算法，其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中，并为每个碎片训练一个组成模型。但是，将SISA直接应用于图形数据可能会严重损害图形结构信息，从而导致的ML模型实用程序。在本文中，我们提出了Grapheraser，这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验，以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $（小数据集）至35.94 $ \ times $（大数据集）未学习时间的改进。另一方面，Grapheraser的实现最高62.5美元\％$更高的F1分数，我们提出的基于学习的聚合方法可达到高达$ 112 \％$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}

我们通过形式化节点标签的异质性（即连接的节点倾向于具有不同的标签）和GNN与对抗性攻击的稳健性来弥合图形神经网络（GNN）的两个研究方向。我们的理论和经验分析表明，对于同质图数据，有影响力的结构攻击始终导致同质性降低，而对于异性图数据，同质级别的变化取决于节点度。这些见解对防御对现实图形的攻击具有实际含义：我们推断出分离自我和邻居限制的汇总器，这是一种已确定的设计原则，可以显着改善异性图数据的预测，还可以为增强的鲁棒性提供稳健性gnns。我们的综合实验表明，与表现最好的未接种模型相比，GNN仅采用这种设计可以提高经验和可证明的鲁棒性。此外，与表现最佳的疫苗接种模型相比，这种设计与对抗性攻击的明确防御机制相结合，可提高稳健性，攻击性能在攻击下提高18.33％。

许多真实数据以图形的形式出现。图表神经网络（GNNS）是一个新的机器学习（ML）模型，已建议完全利用图表数据来构建强大的应用程序。特别地，可以概括到看不见的数据的电感GNN成为主流。机器学习模型在各种任务中表现出很大的潜力，并已在许多真实情景中部署。要培训良好的模型，需要大量的数据以及计算资源，从而导致有价值的知识产权。以前的研究表明，ML模型容易窃取攻击模型，旨在窃取目标模型的功能。然而，大多数人都专注于用图像和文本接受培训的模型。另一方面，对于用图表数据，即GNNS接受培训的模型，已经支付了很少的注意。在本文中，我们通过提出针对电感GNN的第一个模型窃取攻击来填补差距。我们系统地定义了威胁模型，并根据对手的背景知识和目标模型的响应提出六次攻击。我们对六个基准数据集的评估显示，拟议的模型窃取针对GNN的攻击实现了有希望的性能。

Graph neural networks (GNNs) are susceptible to privacy inference attacks (PIAs), given their ability to learn joint representation from features and edges among nodes in graph data. To prevent privacy leakages in GNNs, we propose a novel heterogeneous randomized response (HeteroRR) mechanism to protect nodes' features and edges against PIAs under differential privacy (DP) guarantees without an undue cost of data and model utility in training GNNs. Our idea is to balance the importance and sensitivity of nodes' features and edges in redistributing the privacy budgets since some features and edges are more sensitive or important to the model utility than others. As a result, we derive significantly better randomization probabilities and tighter error bounds at both levels of nodes' features and edges departing from existing approaches, thus enabling us to maintain high data utility for training GNNs. An extensive theoretical and empirical analysis using benchmark datasets shows that HeteroRR significantly outperforms various baselines in terms of model utility under rigorous privacy protection for both nodes' features and edges. That enables us to defend PIAs in DP-preserving GNNs effectively.

随着机器学习（ML）技术的快速采用，ML模型的共享变得流行。但是，ML模型容易受到隐私攻击的攻击，这些攻击泄漏了有关培训数据的信息。在这项工作中，我们专注于一种名为属性推理攻击（PIA）的特定类型的隐私攻击，该隐私攻击通过访问目标ML模型来渗透培训数据的敏感属性。特别是，我们将图形神经网络（GNN）视为目标模型，而训练图中特定的节点和链接的分布是目标属性。尽管现有的工作调查了针对图形属性的PIA，但尚无先前的工作研究节点和链接属性在组级别的推断。在这项工作中，我们对针对GNNS的小组财产推理攻击（GPIA）进行了首次系统研究。首先，我们考虑具有不同类型的对手知识的黑盒和白色框设置下的威胁模型的分类法，并为这些设置设计了六种不同的攻击。我们通过对三个代表性的GNN模型和三个现实图表进行广泛的实验来评估这些攻击的有效性。我们的结果证明了这些攻击的有效性，这些攻击的准确性优于基线方法。其次，我们分析了有助于GPIA成功的基本因素，并表明在图形上有或没有目标属性的图形训练的目标模型代表模型参数和/或模型输出的一定程度，这使对手可以推断存在的存在。属性。此外，我们设计了针对GPIA攻击的一组防御机制，并证明这些机制可以有效地降低攻击精度，而GNN模型准确性的损失很小。

Differential privacy is a strong notion for privacy that can be used to prove formal guarantees, in terms of a privacy budget, , about how much information is leaked by a mechanism. However, implementations of privacy-preserving machine learning often select large values of in order to get acceptable utility of the model, with little understanding of the impact of such choices on meaningful privacy. Moreover, in scenarios where iterative learning procedures are used, differential privacy variants that offer tighter analyses are used which appear to reduce the needed privacy budget but present poorly understood trade-offs between privacy and utility. In this paper, we quantify the impact of these choices on privacy in experiments with logistic regression and neural network models. Our main finding is that there is a huge gap between the upper bounds on privacy loss that can be guaranteed, even with advanced mechanisms, and the effective privacy loss that can be measured using current inference attacks. Current mechanisms for differentially private machine learning rarely offer acceptable utility-privacy trade-offs with guarantees for complex learning tasks: settings that provide limited accuracy loss provide meaningless privacy guarantees, and settings that provide strong privacy guarantees result in useless models.

图形神经网络（GNNS）概括了图形数据上的传统深度神经网络，在几个图形分析任务上取得了最先进的性能。我们专注于训练有素的GNN模型如何泄露有关他们培训的\ emph {成员}节点的信息。我们介绍了两个现实的设置，以便在GNN上执行员工推理（MI）攻击。在选择利用培训模型的后索（黑匣子访问）的最简单可能的攻击模型时，我们彻底分析了GNN和数据集的属性，这些数据集决定了对MI攻击的鲁棒性的差异。虽然在传统的机器学习模型中，过度装备被认为是这种泄漏的主要原因，我们表明，在GNN中，额外的结构信息是主要的贡献因素。我们在四个代表性GNN模型上进行了广泛的实验，我们支持我们的结果。为防止MI攻击GNN，我们提出了两种有效的防御，明显将攻击者推断显着降低了60％，而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebmigraph获得。

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图形神经网络（GNNS）在建模图形结构数据方面表明了它们的能力。但是，实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时，GNN的性能会显着下降，这阻碍了许多应用程序的GNN。因此，与有限标记的节点开发抗噪声GNN是重要的。但是，这是一个相当有限的工作。因此，我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明，嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题，我们提出了一种新颖的框架，该框架采用嘈杂的边缘作为监督，以学习去噪和密集的图形，这可以减轻或消除嘈杂的边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化，以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。

Learning fair graph representations for downstream applications is becoming increasingly important, but existing work has mostly focused on improving fairness at the global level by either modifying the graph structure or objective function without taking into account the local neighborhood of a node. In this work, we formally introduce the notion of neighborhood fairness and develop a computational framework for learning such locally fair embeddings. We argue that the notion of neighborhood fairness is more appropriate since GNN-based models operate at the local neighborhood level of a node. Our neighborhood fairness framework has two main components that are flexible for learning fair graph representations from arbitrary data: the first aims to construct fair neighborhoods for any arbitrary node in a graph and the second enables adaption of these fair neighborhoods to better capture certain application or data-dependent constraints, such as allowing neighborhoods to be more biased towards certain attributes or neighbors in the graph.Furthermore, while link prediction has been extensively studied, we are the first to investigate the graph representation learning task of fair link classification. We demonstrate the effectiveness of the proposed neighborhood fairness framework for a variety of graph machine learning tasks including fair link prediction, link classification, and learning fair graph embeddings. Notably, our approach achieves not only better fairness but also increases the accuracy in the majority of cases across a wide variety of graphs, problem settings, and metrics.

Federated learning facilitates the collaborative training of models without the sharing of raw data. However, recent attacks demonstrate that simply maintaining data locality during training processes does not provide sufficient privacy guarantees. Rather, we need a federated learning system capable of preventing inference over both the messages exchanged during training and the final trained model while ensuring the resulting model also has acceptable predictive accuracy. Existing federated learning approaches either use secure multiparty computation (SMC) which is vulnerable to inference or differential privacy which can lead to low accuracy given a large number of parties with relatively small amounts of data each. In this paper, we present an alternative approach that utilizes both differential privacy and SMC to balance these trade-offs. Combining differential privacy with secure multiparty computation enables us to reduce the growth of noise injection as the number of parties increases without sacrificing privacy while maintaining a pre-defined rate of trust. Our system is therefore a scalable approach that protects against inference threats and produces models with high accuracy. Additionally, our system can be used to train a variety of machine learning models, which we validate with experimental results on 3 different machine learning algorithms. Our experiments demonstrate that our approach out-performs state of the art solutions. CCS CONCEPTS• Security and privacy → Privacy-preserving protocols; Trust frameworks; • Computing methodologies → Learning settings.

梯度泄漏攻击被认为是深度学习中的邪恶隐私威胁之一，因为攻击者在迭代培训期间隐蔽了梯度更新，而不会影响模型培训质量，但又使用泄漏的梯度逐步重建敏感培训数据，具有高攻击成功率。虽然具有差异隐私的深度学习是发布具有差异隐私保障的深度学习模型的违法标准，但我们展示了具有固定隐私参数的差异私有算法易受梯度泄漏攻击的影响。本文调查了差异隐私（DP）的梯度泄漏弹性深度学习的替代方法。首先，我们分析了差异隐私的深度学习的现有实现，它使用固定噪声方差使用固定隐私参数将恒定噪声对所有层中的梯度注入恒定噪声。尽管提供了DP保证，但该方法遭受了低精度，并且很容易受到梯度泄漏攻击。其次，通过使用动态隐私参数，我们提出了一种梯度泄漏弹性深度学习方法，差异隐私保证。与导致恒定噪声方差导致的固定参数策略不同，不同的动态参数策略存在替代技术，以引入自适应噪声方差和自适应噪声注入，其与差别私有模型训练期间的梯度更新的趋势紧密对齐。最后，我们描述了四个互补指标来评估和比较替代方法。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。