图形神经网络（GNN）已被广泛用于建模图形结构化数据，这是由于其在广泛的实用应用中令人印象深刻的性能。最近，GNNS的知识蒸馏（KD）在图形模型压缩和知识转移方面取得了显着进步。但是，大多数现有的KD方法都需要大量的真实数据，这些数据在实践中不容易获得，并且可能排除其在教师模型对稀有或难以获取数据集培训的情况下的适用性。为了解决这个问题，我们提出了第一个用于图形结构化数据（DFAD-GNN）的无数据对抗知识蒸馏的端到端框架。具体而言，我们的DFAD-GNN采用生成性对抗网络，主要由三个组成部分组成：预先训练的教师模型和学生模型被视为两个歧视者，并利用生成器来衍生训练图来从教师模型进入学生模型。在各种基准模型和六个代表性数据集上进行的广泛实验表明，我们的DFAD-GNN在图形分类任务中显着超过了最新的无数据基线。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。

Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.

由于学术和工业领域的异质图无处不在，研究人员最近提出了许多异质图神经网络（HGNN）。在本文中，我们不再采用更强大的HGNN模型，而是有兴趣设计一个多功能的插件模块，该模块解释了从预先训练的HGNN中提取的关系知识。据我们所知，我们是第一个在异质图上提出高阶（雇用）知识蒸馏框架的人，无论HGNN的模型体系结构如何，它都可以显着提高预测性能。具体而言，我们的雇用框架最初执行一阶节点级知识蒸馏，该蒸馏曲线及其预测逻辑编码了老师HGNN的语义。同时，二阶关系级知识蒸馏模仿了教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNN模型和三个现实世界的异质图上进行了广泛的实验表明，我们的方法获得了一致且相当大的性能增强，证明了其有效性和泛化能力。

知识蒸馏（KD）证明了其有效性，可以提高图形神经网络（GNN）的性能，其目标是将知识从更深的教师gnn蒸馏成较浅的学生GNN。但是，由于众所周知的过度参数和过度光滑的问题，实际上很难培训令人满意的教师GNN，从而导致实际应用中的知识转移无效。在本文中，我们通过对GNN的加强学习（称为FreeKD）提出了第一个自由方向知识蒸馏框架，而这不再需要提供更深入的良好优化的教师GNN。我们工作的核心思想是协作建立两个较浅的GNN，以通过以层次结构方式通过加强学习来交流知识。正如我们观察到的一个典型的GNN模型在训练过程中通常在不同节点的表现更好，更差的表现，我们设计了一种动态和自由方向的知识转移策略，该策略由两个级别的动作组成：1）节点级别的动作决定了知识的方向。两个网络的相应节点之间的传输；然后2）结构级的动作确定了要传播的节点级别生成的局部结构。从本质上讲，我们的FreeKD是一个一般且原则性的框架，可以自然与不同架构的GNN兼容。在五个基准数据集上进行的广泛实验表明，我们的FreeKD在很大的边距上优于两个基本GNN，并显示了其对各种GNN的功效。更令人惊讶的是，我们的FreeKD比传统的KD算法具有可比性甚至更好的性能，这些KD算法将知识从更深，更强大的教师GNN中提取。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

知识蒸馏（KD）通过强制执行学生将学生模仿预先训练教师的产出，将知识转移到学生。但是，由于大量数据大小，隐私或机密性，在许多情况下，数据示例并不总是可访问。对解决卷积神经网络（CNNS）的这个问题已经提出了许多努力，其输入位于诸如图像和视频的连续空间内的网格域中，但很大程度上忽略了用不同的非网格数据处理非网格数据的图形神经网络（GNN）。离散空间内的拓扑结构。其输入之间的固有差异使得基于CNN的方法不适用于GNN。在本文中，我们建议我们最佳了解，从没有图数据的GNN从GNN中蒸馏出知识的第一种专用方法。所提出的图形kd（gfkd）通过使用多元Bernoulli分布来模拟它们来了解图形拓扑结构以了解知识转移。然后，我们介绍渐变估计器以优化此框架。基本上，梯度w.r.t.通过在没有反向传播的情况下仅使用GNN正向传播而获得图形结构，这意味着GFKD与现代GNN库（例如DGL和几何）兼容。此外，我们提供了处理图表数据或GNN中不同类型知识的策略。广泛的实验表明，GFKD实现了无需培训数据的GNNS蒸馏知识的最先进的性能。

Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.

知识蒸馏是一种有前途的学习范式，用于提高资源有效的图形神经网络（GNNS）的性能和可靠性使用更多富有表现力而繁琐的教师模型。过去的GNNS蒸馏工作提出了局部结构保存损失（LSP），它与学生和教师节点嵌入空间的局部结构关系匹配。在本文中，我们提出了两个关键贡献：从方法的角度来看，我们研究了是否保留了教师嵌入图数据的全球拓扑结构对于GNN的更有效的蒸馏物目标，因为真实世界的图表通常包含潜在的相互作用和嘈杂边缘。通过预定义边缘的纯粹本地LSP目标无法实现这一目标，因为它忽略了断开的节点之间的关系。我们提出了两种新方法，更好地保留了全球拓扑结构：（1）全局结构保存损失（GSP），其扩展了LSP掺入所有成对相互作用; （2）曲线图对比度表示蒸馏（G-CRD），它使用对比学学习将学生节点嵌入的学生节点嵌入到参与表示空间中的教师。从实验的角度来看，我们在大型现实世界数据集中介绍了一组扩展的基准，教师和学生GNN之间的性能差距是不可忽略的。我们认为这对于测试知识蒸馏的功效和稳健性至关重要，但是从LSP研究中缺少，使用具有琐碎性能间隙的合成数据集。 4个数据集和14个异构GNN架构的实验表明，G-CRD始终如一地提高了轻量级GNN型号的性能和稳健性，优于维护方法，LSP和GSP的结构，以及由2D计算机视觉调整的基线。

尽管图神经网络（GNNS）已经证明了它们在处理非欧国人结构数据方面的功效，但由于多跳数据依赖性施加的可伸缩性约束，因此很难将它们部署在实际应用中。现有方法试图通过使用训练有素的GNN的标签训练多层感知器（MLP）来解决此可伸缩性问题。即使可以显着改善MLP的性能，但两个问题仍能阻止MLP的表现优于GNN并在实践中使用：图形结构信息的无知和对节点功能噪声的敏感性。在本文中，我们建议在图（NOSMOG）上学习噪声稳定结构感知的MLP，以克服挑战。具体而言，我们首先将节点内容与位置功能进行补充，以帮助MLP捕获图形结构信息。然后，我们设计了一种新颖的表示相似性蒸馏策略，以将结构节点相似性注入MLP。最后，我们介绍了对抗性功能的扩展，以确保稳定的学习能力噪声，并进一步提高性能。广泛的实验表明，在七个数据集中，NOSMOG在转导和归纳环境中均优于GNN和最先进的方法，同时保持竞争性推理效率。

Knowledge distillation (KD) has been actively studied for image classification tasks in deep learning, aiming to improve the performance of a student based on the knowledge from a teacher. However, applying KD in image regression with a scalar response variable has been rarely studied, and there exists no KD method applicable to both classification and regression tasks yet. Moreover, existing KD methods often require a practitioner to carefully select or adjust the teacher and student architectures, making these methods less flexible in practice. To address the above problems in a unified way, we propose a comprehensive KD framework based on cGANs, termed cGAN-KD. Fundamentally different from existing KD methods, cGAN-KD distills and transfers knowledge from a teacher model to a student model via cGAN-generated samples. This novel mechanism makes cGAN-KD suitable for both classification and regression tasks, compatible with other KD methods, and insensitive to the teacher and student architectures. An error bound for a student model trained in the cGAN-KD framework is derived in this work, providing a theory for why cGAN-KD is effective as well as guiding the practical implementation of cGAN-KD. Extensive experiments on CIFAR-100 and ImageNet-100 show that we can combine state of the art KD methods with the cGAN-KD framework to yield a new state of the art. Moreover, experiments on Steering Angle and UTKFace demonstrate the effectiveness of cGAN-KD in image regression tasks, where existing KD methods are inapplicable.

图形神经网络（GNNS）在节点分类，回归和推荐任务中取得了最新的最新性能。当可提供高质量和丰富的连接结构时，GNNS工作好。但是，在许多真实世界图中，该要求在节点度具有幂律分布的许多真实世界中，因为许多节点具有较少或嘈杂的连接。这种情况的极端情况是节点可能没有邻居，称为严格的冷启动（SCS）场景。这会强制预测模型依赖于节点的输入特征。与通过蒸馏方法相比，我们提出冷啤酒以解决SCS和嘈杂的邻居设置。我们介绍了功能贡献比（FCR），测量使用电感GNN解决SCS问题的可行性，并选择SCS泛化的最佳体系结构。我们通过实验显示FCR Disentangles图数据集的各种组成部分的贡献，并展示了几个公共基准和专有电子商务数据集上的冷啤酒的优越性。我们方法的源代码可用于：https://github.com/amazon-research/gnn-tail-一致化。

本文研究了用于无监督场景的图形神经网络（GNN）的节点表示。具体地，我们推导了理论分析，并在不适当定义的监督信号时，在不同的图形数据集中提供关于GNN的非稳定性能的实证演示。 GNN的性能取决于节点特征平滑度和图形结构的局部性。为了平滑通过图形拓扑和节点功能测量的节点接近度的差异，我们提出了帆 - 一个小说\下划线{s} elf- \下划线{a} u段图对比度\下划线{i} ve \ nignline {l}收入框架，使用两个互补的自蒸馏正则化模块，\ emph {Ie}，内部和图间知识蒸馏。我们展示了帆在各种图形应用中的竞争性能。即使使用单个GNN层，Sail也在各种基准数据集中持续竞争或更好的性能，与最先进的基线相比。

在多种方式知识蒸馏研究的背景下，现有方法主要集中在唯一的学习教师最终产出问题。因此，教师网络与学生网络之间存在深处。有必要强制学生网络来学习教师网络的模态关系信息。为了有效利用从教师转移到学生的知识，采用了一种新的模型关系蒸馏范式，通过建模不同的模态之间的关系信息，即学习教师模级克矩阵。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

With the growth of high-dimensional sparse data in web-scale recommender systems, the computational cost to learn high-order feature interaction in CTR prediction task largely increases, which limits the use of high-order interaction models in real industrial applications. Some recent knowledge distillation based methods transfer knowledge from complex teacher models to shallow student models for accelerating the online model inference. However, they suffer from the degradation of model accuracy in knowledge distillation process. It is challenging to balance the efficiency and effectiveness of the shallow student models. To address this problem, we propose a Directed Acyclic Graph Factorization Machine (KD-DAGFM) to learn the high-order feature interactions from existing complex interaction models for CTR prediction via Knowledge Distillation. The proposed lightweight student model DAGFM can learn arbitrary explicit feature interactions from teacher networks, which achieves approximately lossless performance and is proved by a dynamic programming algorithm. Besides, an improved general model KD-DAGFM+ is shown to be effective in distilling both explicit and implicit feature interactions from any complex teacher model. Extensive experiments are conducted on four real-world datasets, including a large-scale industrial dataset from WeChat platform with billions of feature dimensions. KD-DAGFM achieves the best performance with less than 21.5% FLOPs of the state-of-the-art method on both online and offline experiments, showing the superiority of DAGFM to deal with the industrial scale data in CTR prediction task. Our implementation code is available at: https://github.com/RUCAIBox/DAGFM.

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for this academic-industrial gap is the neighborhood-fetching latency incurred by data dependency in GNNs, which make it hard to deploy for latency-sensitive applications that require fast inference. Conversely, without involving any feature aggregation, MLPs have no data dependency and infer much faster than GNNs, but their performance is less competitive. Motivated by these complementary strengths and weaknesses, we propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely on MLPs, where structural information is only implicitly used as prior to guide knowledge self-distillation between the neighborhood and the target, substituting the explicit neighborhood information propagation as in GNNs. As a result, GSDN enjoys the benefits of graph topology-awareness in training but has no data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with self-distillation, e.g., GSDN improves over stand-alone MLPs by 15.54\% on average and outperforms the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN infers 75X-89X faster than existing GNNs and 16X-25X faster than other inference acceleration methods.

知识蒸馏已成为获得紧凑又有效模型的重要方法。为实现这一目标，培训小型学生模型以利用大型训练有素的教师模型的知识。然而，由于教师和学生之间的能力差距，学生的表现很难达到老师的水平。关于这个问题，现有方法建议通过代理方式减少教师知识的难度。我们认为这些基于代理的方法忽视了教师的知识损失，这可能导致学生遇到容量瓶颈。在本文中，我们从新的角度来缓解能力差距问题，以避免知识损失的目的。我们建议通过对抗性协作学习建立一个更有力的学生，而不是牺牲教师的知识。为此，我们进一步提出了一种逆势协作知识蒸馏（ACKD）方法，有效提高了知识蒸馏的性能。具体来说，我们用多个辅助学习者构建学生模型。同时，我们设计了对抗的对抗性协作模块（ACM），引入注意机制和对抗的学习，以提高学生的能力。四个分类任务的广泛实验显示了拟议的Ackd的优越性。