图形神经网络（GNNS）已被证明是在预测建模任务中的Excel，其中底层数据是图形。然而，由于GNN广泛用于人以人为本的应用，因此出现了公平性问题。虽然边缘删除是用于促进GNNS中公平性的常用方法，但是当数据本质上缺少公平连接时，它就无法考虑。在这项工作中，我们考虑未删除的边缘添加方法，促进公平。我们提出了两个模型 - 不可知的算法来执行边缘编辑：蛮力方法和连续近似方法，公平。Fairedit通过利用公平损失的梯度信息来执行有效的边缘编辑，以找到改善公平性的边缘。我们发现Fairedit优于许多数据集和GNN方法的标准培训，同时表现了许多最先进的方法，展示了公平的能力，以改善许多领域和模型的公平性。

Learning fair graph representations for downstream applications is becoming increasingly important, but existing work has mostly focused on improving fairness at the global level by either modifying the graph structure or objective function without taking into account the local neighborhood of a node. In this work, we formally introduce the notion of neighborhood fairness and develop a computational framework for learning such locally fair embeddings. We argue that the notion of neighborhood fairness is more appropriate since GNN-based models operate at the local neighborhood level of a node. Our neighborhood fairness framework has two main components that are flexible for learning fair graph representations from arbitrary data: the first aims to construct fair neighborhoods for any arbitrary node in a graph and the second enables adaption of these fair neighborhoods to better capture certain application or data-dependent constraints, such as allowing neighborhoods to be more biased towards certain attributes or neighbors in the graph.Furthermore, while link prediction has been extensively studied, we are the first to investigate the graph representation learning task of fair link classification. We demonstrate the effectiveness of the proposed neighborhood fairness framework for a variety of graph machine learning tasks including fair link prediction, link classification, and learning fair graph embeddings. Notably, our approach achieves not only better fairness but also increases the accuracy in the majority of cases across a wide variety of graphs, problem settings, and metrics.

我们研究图形神经网络（GNN）的节点分类任务，并在群体公平性（通过统计平等和均等机会衡量）之间建立联系，以及局部分类性，即连接节点的趋势具有相似的属性。这种分类性通常是由同质性诱导的，即相似特性的节点连接的趋势。同质性在社交网络中可能很常见，在社交网络中，系统性因素迫使个人进入具有敏感属性的社区。通过合成图，我们研究了本地发生的同质和公平预测之间的相互作用，发现并非所有节点邻居在这方面都相等 - 社区以敏感属性的一类类别为主导，通常会努力获得公平的治疗，尤其是在分化本地类别和敏感属性同质。在确定存在局部同质和公平之间的关系之后，我们研究了不公平的问题是否与应用的GNN模型的设计相关联。我们表明，通过采用能够处理拆卸组标签的异性GNN设计，与真实和合成数据集中的同质设计相比，可以将本地异性邻居中的群体公平提高25％。

图表表示学习已经成为许多情景中的无处不在的组成部分，从社会网络分析到智能电网的能量预测。在几个应用程序中，确保关于某些受保护属性的节点（或图形）表示的公平对其正确部署至关重要。然而，图表深度学习的公平仍然在探索，很少有解决方案。特别地，在若干真实世界图（即同声源性）上相似节点对簇的趋势可以显着恶化这些程序的公平性。在本文中，我们提出了一种新颖的偏见边缘辍学算法（Fairdrop）来反击精神剧并改善图形表示学习中的公平性。 Fairdrop可以在许多现有算法上轻松插入，具有高效，适应性，并且可以与其他公平诱导的解决方案结合。在描述了一般算法之后，我们在两个基准任务中展示其应用，具体地，作为用于生产节点嵌入的随机步道模型，以及用于链路预测的图形卷积网络。我们证明，所提出的算法可以成功地改善所有型号的公平，直到精度小或可忽略的降低，并与现有的最先进的解决方案相比。在一个消融研究中，我们证明我们的算法可以灵活地在偏置公平性和无偏见的边缘辍学之间插入。此外，为了更好地评估增益，我们提出了一种新的二元组定义，以测量与基于组的公平度量配对时的链路预测任务的偏差。特别是，我们扩展了用于测量节点嵌入的偏差的指标，以考虑图形结构。

图形神经网络（GNN）表现出令人满意的各种图分析问题的性能。因此，在各种决策方案中，它们已成为\ emph {de exto}解决方案。但是，GNN可以针对某些人口亚组产生偏差的结果。最近的一些作品在经验上表明，输入网络的偏见结构是GNN的重要来源。然而，没有系统仔细检查输入网络结构的哪一部分会导致对任何给定节点的偏见预测。对输入网络的结构如何影响GNN结果的偏见的透明度很大，在很大程度上限制了在各种决策方案中的安全采用GNN。在本文中，我们研究了GNN中偏见的结构解释的新研究问题。具体而言，我们提出了一个新颖的事后解释框架，以识别可以最大程度地解释出偏见的两个边缘集，并最大程度地促进任何给定节点的GNN预测的公平水平。这种解释不仅提供了对GNN预测的偏见/公平性的全面理解，而且在建立有效但公平的GNN模型方面具有实际意义。对现实世界数据集的广泛实验验证了拟议框架在为GNN偏见提供有效的结构解释方面的有效性。可以在https://github.com/yushundong/referee上找到开源代码。

公平机器学习旨在减轻模型预测的偏见，这对于关于诸如种族和性别等敏感属性的某些群体的偏见。在许多现有的公平概念中，反事实公平通过比较来自原始数据和反事实的预测来衡量因因果角度来源的模型公平。在反事实上，该个人的敏感属性值已被修改。最近，少数作品将反事实公平扩展到图数据，但大多数忽略了可能导致偏差的以下事实：1）每个节点邻居的敏感属性可能会影响预测w.r.t.这个节点; 2）敏感属性可能会导致其他特征和图形结构。为了解决这些问题，在本文中，我们提出了一种新颖的公平概念 - 图形反应性公平，这考虑了上述事实领导的偏差。要学习对图形反事实公平的节点表示，我们提出了一种基于反事实数据增强的新颖框架。在此框架中，我们生成对应于每个节点和邻居敏感属性的扰动的反应性。然后，我们通过最大限度地减少从原始图表中学到的表示与每个节点的反事实之间的差异来执行公平性。合成和真实图的实验表明，我们的框架优于图形反事实公平性的最先进的基线，并且还实现了可比的预测性能。

图神经网络（GNN）在图形上学习节点表示方面表现出很大的力量。但是，他们可能会从训练数据中继承历史偏见，从而导致预测的歧视性偏见。尽管某些工作已经开发出公平的GNN，但其中大多数直接从非图形域借用了公平代表性学习技术，而没有考虑GNN中特征传播引起的敏感属性泄漏的潜在问题。但是，我们从经验上观察到，特征传播可能会改变以前无害特征与敏感特征的相关性。这可以看作是敏感信息的泄漏，可以进一步加剧预测中的歧视。因此，我们根据特征相关性设计了两个特征掩盖策略，以突出考虑特征传播和相关性变化在减轻歧视中的重要性。通过我们的分析，我们提出了公平视图图神经网络（FAIRVGNN），以通过自动识别和掩盖敏感的相关特征来生成特征的公平视图，以考虑特征传播后的相关变化。鉴于博学的公平视图，我们适应编码器的夹紧权重，以避免使用敏感相关的功能。现实世界数据集的实验表明，Fairvgnn在模型实用程序和公平性之间取得了更好的权衡。我们的代码可在https://github.com/yuwvandy/fairvgnn上公开获取。

由于事后解释越来越多地用于了解图神经网络（GNN）的行为，因此评估GNN解释的质量和可靠性至关重要。但是，评估GNN解释的质量是具有挑战性的，因为现有的图形数据集对给定任务没有或不可靠的基础真相解释。在这里，我们介绍了一个合成图数据生成器ShapeGgen，该生成可以生成各种基准数据集（例如，不同的图形大小，度分布，同粒细胞与异性图）以及伴随着地面真相解释。此外，生成各种合成数据集和相应的基础真相解释的灵活性使我们能够模仿各种现实世界应用程序生成的数据。我们将ShapeGgen和几个现实图形数据集包括在开源图形图库GraphXai中。除了带有基础真相说明的合成和现实图形数据集外，GraphXAI还提供数据加载程序，数据处理功能，可视化器，GNN模型实现和评估指标，以基准基准GNN解释性方法的性能。

我们为旨在降低公平性的对抗神经网络（GNN）的对抗性攻击（GNN）的存在和有效性提供了证据。这些攻击可能不利基于GNN的节点分类中的特定节点子组，其中基础网络的节点具有敏感的属性，例如种族或性别。我们进行了定性和实验分析，以解释对抗链接注射如何损害GNN预测的公平性。例如，攻击者可以通过在属于相反子组和相反类标签的节点之间注入对抗性链接来损害基于GNN的节点分类的公平性。我们在经验数据集上的实验表明，对抗公平性攻击可以显着降低GNN预测的公平性（攻击是有效的），其扰动率较低（攻击是有效的），并且没有明显的准确性下降（攻击是欺骗性的）。这项工作证明了GNN模型对对抗公平性攻击的脆弱性。我们希望我们的发现在社区中提高人们对这个问题的认识，并为GNN模型的未来发展奠定了基础，这些模型对这种攻击更为强大。

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by recursively passing neural messages along edges of the input graph. However, incorporating both graph structure and feature information leads to complex models and explaining predictions made by GNNs remains unsolved. Here we propose GNNEXPLAINER, the first general, model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task. Given an instance, GNNEXPLAINER identifies a compact subgraph structure and a small subset of node features that have a crucial role in GNN's prediction. Further, GNNEXPLAINER can generate consistent and concise explanations for an entire class of instances. We formulate GNNEXPLAINER as an optimization task that maximizes the mutual information between a GNN's prediction and distribution of possible subgraph structures. Experiments on synthetic and real-world graphs show that our approach can identify important graph structures as well as node features, and outperforms alternative baseline approaches by up to 43.0% in explanation accuracy. GNNEXPLAINER provides a variety of benefits, from the ability to visualize semantically relevant structures to interpretability, to giving insights into errors of faulty GNNs.

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

With the increasing use of Graph Neural Networks (GNNs) in critical real-world applications, several post hoc explanation methods have been proposed to understand their predictions. However, there has been no work in generating explanations on the fly during model training and utilizing them to improve the expressive power of the underlying GNN models. In this work, we introduce a novel explanation-directed neural message passing framework for GNNs, EXPASS (EXplainable message PASSing), which aggregates only embeddings from nodes and edges identified as important by a GNN explanation method. EXPASS can be used with any existing GNN architecture and subgraph-optimizing explainer to learn accurate graph embeddings. We theoretically show that EXPASS alleviates the oversmoothing problem in GNNs by slowing the layer wise loss of Dirichlet energy and that the embedding difference between the vanilla message passing and EXPASS framework can be upper bounded by the difference of their respective model weights. Our empirical results show that graph embeddings learned using EXPASS improve the predictive performance and alleviate the oversmoothing problems of GNNs, opening up new frontiers in graph machine learning to develop explanation-based training frameworks.

Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

在高措施应用中大量部署图神经网络（GNNS）对对噪声的强大解释产生了强烈的需求，这些解释与人类的直觉很好。大多数现有方法通过识别与预测有很强相关性的输入图的子图来生成解释。这些解释对噪声并不强大，因为独立优化单个输入的相关性很容易过分拟合噪声。此外，它们与人类直觉并不十分吻合，因为从输入图中删除已识别的子图并不一定会改变预测结果。在本文中，我们提出了一种新颖的方法，可以通过在类似的输入图上明确建模GNNS的共同决策逻辑来生成对GNN的强大反事实解释。我们的解释自然对噪声是强大的，因为它们是由控制许多类似输入图的GNN的共同决策边界产生的。该解释也与人类的直觉很好地吻合，因为从输入图中的解释中删除了一组边缘，从而显着改变了预测。许多公共数据集上的详尽实验证明了我们方法的出色性能。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。