Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.

由于学术和工业领域的异质图无处不在，研究人员最近提出了许多异质图神经网络（HGNN）。在本文中，我们不再采用更强大的HGNN模型，而是有兴趣设计一个多功能的插件模块，该模块解释了从预先训练的HGNN中提取的关系知识。据我们所知，我们是第一个在异质图上提出高阶（雇用）知识蒸馏框架的人，无论HGNN的模型体系结构如何，它都可以显着提高预测性能。具体而言，我们的雇用框架最初执行一阶节点级知识蒸馏，该蒸馏曲线及其预测逻辑编码了老师HGNN的语义。同时，二阶关系级知识蒸馏模仿了教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNN模型和三个现实世界的异质图上进行了广泛的实验表明，我们的方法获得了一致且相当大的性能增强，证明了其有效性和泛化能力。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。

图形神经网络（GNN）已被广泛用于建模图形结构化数据，这是由于其在广泛的实用应用中令人印象深刻的性能。最近，GNNS的知识蒸馏（KD）在图形模型压缩和知识转移方面取得了显着进步。但是，大多数现有的KD方法都需要大量的真实数据，这些数据在实践中不容易获得，并且可能排除其在教师模型对稀有或难以获取数据集培训的情况下的适用性。为了解决这个问题，我们提出了第一个用于图形结构化数据（DFAD-GNN）的无数据对抗知识蒸馏的端到端框架。具体而言，我们的DFAD-GNN采用生成性对抗网络，主要由三个组成部分组成：预先训练的教师模型和学生模型被视为两个歧视者，并利用生成器来衍生训练图来从教师模型进入学生模型。在各种基准模型和六个代表性数据集上进行的广泛实验表明，我们的DFAD-GNN在图形分类任务中显着超过了最新的无数据基线。

图形神经网络（GNNS）在节点分类，回归和推荐任务中取得了最新的最新性能。当可提供高质量和丰富的连接结构时，GNNS工作好。但是，在许多真实世界图中，该要求在节点度具有幂律分布的许多真实世界中，因为许多节点具有较少或嘈杂的连接。这种情况的极端情况是节点可能没有邻居，称为严格的冷启动（SCS）场景。这会强制预测模型依赖于节点的输入特征。与通过蒸馏方法相比，我们提出冷啤酒以解决SCS和嘈杂的邻居设置。我们介绍了功能贡献比（FCR），测量使用电感GNN解决SCS问题的可行性，并选择SCS泛化的最佳体系结构。我们通过实验显示FCR Disentangles图数据集的各种组成部分的贡献，并展示了几个公共基准和专有电子商务数据集上的冷啤酒的优越性。我们方法的源代码可用于：https://github.com/amazon-research/gnn-tail-一致化。

尽管图神经网络（GNNS）已经证明了它们在处理非欧国人结构数据方面的功效，但由于多跳数据依赖性施加的可伸缩性约束，因此很难将它们部署在实际应用中。现有方法试图通过使用训练有素的GNN的标签训练多层感知器（MLP）来解决此可伸缩性问题。即使可以显着改善MLP的性能，但两个问题仍能阻止MLP的表现优于GNN并在实践中使用：图形结构信息的无知和对节点功能噪声的敏感性。在本文中，我们建议在图（NOSMOG）上学习噪声稳定结构感知的MLP，以克服挑战。具体而言，我们首先将节点内容与位置功能进行补充，以帮助MLP捕获图形结构信息。然后，我们设计了一种新颖的表示相似性蒸馏策略，以将结构节点相似性注入MLP。最后，我们介绍了对抗性功能的扩展，以确保稳定的学习能力噪声，并进一步提高性能。广泛的实验表明，在七个数据集中，NOSMOG在转导和归纳环境中均优于GNN和最先进的方法，同时保持竞争性推理效率。

本文研究了用于无监督场景的图形神经网络（GNN）的节点表示。具体地，我们推导了理论分析，并在不适当定义的监督信号时，在不同的图形数据集中提供关于GNN的非稳定性能的实证演示。 GNN的性能取决于节点特征平滑度和图形结构的局部性。为了平滑通过图形拓扑和节点功能测量的节点接近度的差异，我们提出了帆 - 一个小说\下划线{s} elf- \下划线{a} u段图对比度\下划线{i} ve \ nignline {l}收入框架，使用两个互补的自蒸馏正则化模块，\ emph {Ie}，内部和图间知识蒸馏。我们展示了帆在各种图形应用中的竞争性能。即使使用单个GNN层，Sail也在各种基准数据集中持续竞争或更好的性能，与最先进的基线相比。

众所周知，图形神经网络（GNN）的成功高度依赖于丰富的人类通知数据，这在实践中努力获得，并且并非总是可用的。当只有少数标记的节点可用时，如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能，但其在图形结构数据上的应用可能会失败，因为（1）不利用较大的接收场来捕获远程节点相互作用，这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式； （2）有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构，这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战，我们提出了一个新的图数据增强框架，AGST（增强图自训练），该框架由两个新的（即结构和语义）增强模块构建。 GST骨干。在这项工作中，我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下，我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献，几乎没有标记的数据。

知识蒸馏（KD）证明了其有效性，可以提高图形神经网络（GNN）的性能，其目标是将知识从更深的教师gnn蒸馏成较浅的学生GNN。但是，由于众所周知的过度参数和过度光滑的问题，实际上很难培训令人满意的教师GNN，从而导致实际应用中的知识转移无效。在本文中，我们通过对GNN的加强学习（称为FreeKD）提出了第一个自由方向知识蒸馏框架，而这不再需要提供更深入的良好优化的教师GNN。我们工作的核心思想是协作建立两个较浅的GNN，以通过以层次结构方式通过加强学习来交流知识。正如我们观察到的一个典型的GNN模型在训练过程中通常在不同节点的表现更好，更差的表现，我们设计了一种动态和自由方向的知识转移策略，该策略由两个级别的动作组成：1）节点级别的动作决定了知识的方向。两个网络的相应节点之间的传输；然后2）结构级的动作确定了要传播的节点级别生成的局部结构。从本质上讲，我们的FreeKD是一个一般且原则性的框架，可以自然与不同架构的GNN兼容。在五个基准数据集上进行的广泛实验表明，我们的FreeKD在很大的边距上优于两个基本GNN，并显示了其对各种GNN的功效。更令人惊讶的是，我们的FreeKD比传统的KD算法具有可比性甚至更好的性能，这些KD算法将知识从更深，更强大的教师GNN中提取。

图形神经网络（GNN）在高级AI系统中被广泛采用，因为它们在图形数据上的表示能力。即使GNN的解释对于增加对系统的信任至关重要，但由于GNN执行的复杂性，它也是一项挑战。最近，已经提出了许多工作来解决GNN解释中的一些问题。但是，当图形的大小巨大时，它们缺乏概括能力或遭受计算负担。为了应对这些挑战，我们提出了一个多级GNN解释框架，基于观察到GNN是图形数据中多个组件的多模式学习过程。原始问题的复杂性是通过分解为表示为层次结构的多个子部分来放松的。顶级解释旨在指定每个组件对模型执行和预测的贡献，而细粒度的级别则集中于基于知识蒸馏的特征归因和图形结构归因分析。学生模型接受了独立模式的培训，并负责捕获不同的教师行为，后来用于特定的组成部分。此外，我们还旨在实现个性化的解释，因为该框架可以根据用户偏好产生不同的结果。最后，广泛的实验证明了我们提出的方法的有效性和保真度。

知识蒸馏是一种有前途的学习范式，用于提高资源有效的图形神经网络（GNNS）的性能和可靠性使用更多富有表现力而繁琐的教师模型。过去的GNNS蒸馏工作提出了局部结构保存损失（LSP），它与学生和教师节点嵌入空间的局部结构关系匹配。在本文中，我们提出了两个关键贡献：从方法的角度来看，我们研究了是否保留了教师嵌入图数据的全球拓扑结构对于GNN的更有效的蒸馏物目标，因为真实世界的图表通常包含潜在的相互作用和嘈杂边缘。通过预定义边缘的纯粹本地LSP目标无法实现这一目标，因为它忽略了断开的节点之间的关系。我们提出了两种新方法，更好地保留了全球拓扑结构：（1）全局结构保存损失（GSP），其扩展了LSP掺入所有成对相互作用; （2）曲线图对比度表示蒸馏（G-CRD），它使用对比学学习将学生节点嵌入的学生节点嵌入到参与表示空间中的教师。从实验的角度来看，我们在大型现实世界数据集中介绍了一组扩展的基准，教师和学生GNN之间的性能差距是不可忽略的。我们认为这对于测试知识蒸馏的功效和稳健性至关重要，但是从LSP研究中缺少，使用具有琐碎性能间隙的合成数据集。 4个数据集和14个异构GNN架构的实验表明，G-CRD始终如一地提高了轻量级GNN型号的性能和稳健性，优于维护方法，LSP和GSP的结构，以及由2D计算机视觉调整的基线。

Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for this academic-industrial gap is the neighborhood-fetching latency incurred by data dependency in GNNs, which make it hard to deploy for latency-sensitive applications that require fast inference. Conversely, without involving any feature aggregation, MLPs have no data dependency and infer much faster than GNNs, but their performance is less competitive. Motivated by these complementary strengths and weaknesses, we propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely on MLPs, where structural information is only implicitly used as prior to guide knowledge self-distillation between the neighborhood and the target, substituting the explicit neighborhood information propagation as in GNNs. As a result, GSDN enjoys the benefits of graph topology-awareness in training but has no data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with self-distillation, e.g., GSDN improves over stand-alone MLPs by 15.54\% on average and outperforms the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN infers 75X-89X faster than existing GNNs and 16X-25X faster than other inference acceleration methods.

图形表示学习（GRL）属性缺失的图表，这是一个常见的难以具有挑战性的问题，最近引起了相当大的关注。我们观察到现有文献：1）隔离属性和结构嵌入的学习因此未能采取两种类型的信息的充分优势; 2）对潜伏空间变量的分布假设施加过于严格的分布假设，从而导致差异较少的特征表示。在本文中，基于在两个信息源之间引入亲密信息交互的想法，我们提出了我们的暹罗属性丢失的图形自动编码器（SAGA）。具体而言，已经进行了三种策略。首先，我们通过引入暹罗网络结构来共享两个进程学习的参数来纠缠嵌入属性嵌入和结构嵌入，这允许网络培训从更丰富和不同的信息中受益。其次，我们介绍了一个K到最近的邻居（knn）和结构约束，增强了学习机制，通过过滤不可靠的连接来提高缺失属性的潜在特征的质量。第三，我们手动掩盖多个相邻矩阵上的连接，并强力嵌入子网恢复真正的相邻矩阵，从而强制实现所得到的网络能够选择性地利用更高级别的判别特征来进行数据完成。六个基准数据集上的广泛实验表明了我们传奇的优越性，反对最先进的方法。

Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.

图形神经网络（GNN）在解决图形结构数据（即网络）方面的各种分析任务方面已广受欢迎。典型的gnns及其变体遵循一种消息的方式，该方式通过网络拓扑沿网络拓扑的特征传播过程获得网络表示，然而，它们忽略了许多现实世界网络中存在的丰富文本语义（例如，局部单词序列）。现有的文本丰富网络方法通过主要利用内部信息（例如主题或短语/单词）来整合文本语义，这些信息通常无法全面地挖掘文本语义，从而限制了网络结构和文本语义之间的相互指导。为了解决这些问题，我们提出了一个具有外部知识（TEKO）的新型文本富裕的图形神经网络，以充分利用文本丰富的网络中的结构和文本信息。具体而言，我们首先提出一个灵活的异质语义网络，该网络结合了文档和实体之间的高质量实体和互动。然后，我们介绍两种类型的外部知识，即结构化的三胞胎和非结构化实体描述，以更深入地了解文本语义。我们进一步为构建的异质语义网络设计了互惠卷积机制，使网络结构和文本语义能够相互协作并学习高级网络表示。在四个公共文本丰富的网络以及一个大规模的电子商务搜索数据集上进行了广泛的实验结果，这说明了Teko优于最先进的基线。

Node classification on graph data is a major problem, and various graph neural networks (GNNs) have been proposed. Variants of GNNs such as H2GCN and CPF outperform graph convolutional networks (GCNs) by improving on the weaknesses of the traditional GNN. However, there are some graph data which these GNN variants fail to perform well than other GNNs in the node classification task. This is because H2GCN has a feature thinning on graph data with high average degree, and CPF gives rise to a problem about label-propagation suitability. Accordingly, we propose a hierarchical model selection framework (HMSF) that selects an appropriate GNN model by analyzing the indicators of each graph data. In the experiment, we show that the model selected by our HMSF achieves high performance on node classification for various types of graph data.

图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。

图形神经网络是一种强大的深度学习工具，用于建模图形结构化数据，在众多图形学习任务上表现出了出色的性能。为了解决深图学习中的数据噪声和数据稀缺性问题，最近有关图形数据的研究已加剧。但是，常规数据增强方法几乎无法处理具有多模式性的非欧几里得空间中定义的图形结构化数据。在这项调查中，我们正式提出了图数据扩展的问题，并进一步审查了代表性技术及其在不同深度学习问题中的应用。具体而言，我们首先提出了图形数据扩展技术的分类法，然后通过根据增强信息方式对相关工作进行分类，从而提供结构化的审查。此外，我们总结了以数据为中心的深图学习中两个代表性问题中图数据扩展的应用：（1）可靠的图形学习，重点是增强输入图的实用性以及通过图数据增强的模型容量； （2）低资源图学习，其针对通过图数据扩大标记的训练数据量表的目标。对于每个问题，我们还提供层次结构问题分类法，并审查与图数据增强相关的现有文献。最后，我们指出了有希望的研究方向和未来研究的挑战。

图表卷积网络在基于图形的半监督学习方面取得了很大进展。现有方法主要假设通过图形边缘连接的节点容易具有相似的属性和标签，因此由本地图形结构平滑的特征可以揭示类相似性。然而，在许多真实情景中的图形结构和标签之间经常存在不匹配，其中结构可以传播最终影响模型性能的误导性功能或标签。在本文中，我们提出了一种多任务的自蒸馏框架，将自我监督的学习和自蒸煮注入图形卷积网络中，以分别地解决结构侧和标签侧的不匹配问题。首先，我们基于预先文本任务制定自我监督管道，以捕获图表中的不同程度的相似性。鼓励特征提取过程通过联合优化预文本任务和目标任务来捕获更复杂的接近。因此，从结构侧提高了本地特征聚合。其次，自蒸馏使用模型本身的软标签作为额外的监督，这与标签平滑有类似的效果。从分类管道和自我监督管道的知识共同蒸馏，以改善来自标签侧的模型的泛化能力。实验结果表明，该方法在几种经典图卷积架构下获得了显着性能增益。

Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.