知识蒸馏最近成为一种流行的技术,以改善卷积神经网络的模型泛化能力。然而,它对图形神经网络的影响小于令人满意的,因为图形拓扑和节点属性可能以动态方式改变,并且在这种情况下,静态教师模型引导学生培训不足。在本文中,我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战,其中组知识发挥作用作为动态虚拟教师,并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能,在学生之间转移两种知识,以增强彼此:在图形拓扑和节点属性中反映信息的本地知识,以及反映课程预测的全局知识。随着香草知识蒸馏等,在利用有效的对抗性循环学习框架,将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。
translated by 谷歌翻译
由于学术和工业领域的异质图无处不在,研究人员最近提出了许多异质图神经网络(HGNN)。在本文中,我们不再采用更强大的HGNN模型,而是有兴趣设计一个多功能的插件模块,该模块解释了从预先训练的HGNN中提取的关系知识。据我们所知,我们是第一个在异质图上提出高阶(雇用)知识蒸馏框架的人,无论HGNN的模型体系结构如何,它都可以显着提高预测性能。具体而言,我们的雇用框架最初执行一阶节点级知识蒸馏,该蒸馏曲线及其预测逻辑编码了老师HGNN的语义。同时,二阶关系级知识蒸馏模仿了教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNN模型和三个现实世界的异质图上进行了广泛的实验表明,我们的方法获得了一致且相当大的性能增强,证明了其有效性和泛化能力。
translated by 谷歌翻译
图形神经网络(GNN)已被广泛用于建模图形结构化数据,这是由于其在广泛的实用应用中令人印象深刻的性能。最近,GNNS的知识蒸馏(KD)在图形模型压缩和知识转移方面取得了显着进步。但是,大多数现有的KD方法都需要大量的真实数据,这些数据在实践中不容易获得,并且可能排除其在教师模型对稀有或难以获取数据集培训的情况下的适用性。为了解决这个问题,我们提出了第一个用于图形结构化数据(DFAD-GNN)的无数据对抗知识蒸馏的端到端框架。具体而言,我们的DFAD-GNN采用生成性对抗网络,主要由三个组成部分组成:预先训练的教师模型和学生模型被视为两个歧视者,并利用生成器来衍生训练图来从教师模型进入学生模型。在各种基准模型和六个代表性数据集上进行的广泛实验表明,我们的DFAD-GNN在图形分类任务中显着超过了最新的无数据基线。
translated by 谷歌翻译
知识蒸馏(KD)证明了其有效性,可以提高图形神经网络(GNN)的性能,其目标是将知识从更深的教师gnn蒸馏成较浅的学生GNN。但是,由于众所周知的过度参数和过度光滑的问题,实际上很难培训令人满意的教师GNN,从而导致实际应用中的知识转移无效。在本文中,我们通过对GNN的加强学习(称为FreeKD)提出了第一个自由方向知识蒸馏框架,而这不再需要提供更深入的良好优化的教师GNN。我们工作的核心思想是协作建立两个较浅的GNN,以通过以层次结构方式通过加强学习来交流知识。正如我们观察到的一个典型的GNN模型在训练过程中通常在不同节点的表现更好,更差的表现,我们设计了一种动态和自由方向的知识转移策略,该策略由两个级别的动作组成:1)节点级别的动作决定了知识的方向。两个网络的相应节点之间的传输;然后2)结构级的动作确定了要传播的节点级别生成的局部结构。从本质上讲,我们的FreeKD是一个一般且原则性的框架,可以自然与不同架构的GNN兼容。在五个基准数据集上进行的广泛实验表明,我们的FreeKD在很大的边距上优于两个基本GNN,并显示了其对各种GNN的功效。更令人惊讶的是,我们的FreeKD比传统的KD算法具有可比性甚至更好的性能,这些KD算法将知识从更深,更强大的教师GNN中提取。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.
translated by 谷歌翻译
尽管图神经网络(GNNS)已经证明了它们在处理非欧国人结构数据方面的功效,但由于多跳数据依赖性施加的可伸缩性约束,因此很难将它们部署在实际应用中。现有方法试图通过使用训练有素的GNN的标签训练多层感知器(MLP)来解决此可伸缩性问题。即使可以显着改善MLP的性能,但两个问题仍能阻止MLP的表现优于GNN并在实践中使用:图形结构信息的无知和对节点功能噪声的敏感性。在本文中,我们建议在图(NOSMOG)上学习噪声稳定结构感知的MLP,以克服挑战。具体而言,我们首先将节点内容与位置功能进行补充,以帮助MLP捕获图形结构信息。然后,我们设计了一种新颖的表示相似性蒸馏策略,以将结构节点相似性注入MLP。最后,我们介绍了对抗性功能的扩展,以确保稳定的学习能力噪声,并进一步提高性能。广泛的实验表明,在七个数据集中,NOSMOG在转导和归纳环境中均优于GNN和最先进的方法,同时保持竞争性推理效率。
translated by 谷歌翻译
知识蒸馏是一种有前途的学习范式,用于提高资源有效的图形神经网络(GNNS)的性能和可靠性使用更多富有表现力而繁琐的教师模型。过去的GNNS蒸馏工作提出了局部结构保存损失(LSP),它与学生和教师节点嵌入空间的局部结构关系匹配。在本文中,我们提出了两个关键贡献:从方法的角度来看,我们研究了是否保留了教师嵌入图数据的全球拓扑结构对于GNN的更有效的蒸馏物目标,因为真实世界的图表通常包含潜在的相互作用和嘈杂边缘。通过预定义边缘的纯粹本地LSP目标无法实现这一目标,因为它忽略了断开的节点之间的关系。我们提出了两种新方法,更好地保留了全球拓扑结构:(1)全局结构保存损失(GSP),其扩展了LSP掺入所有成对相互作用; (2)曲线图对比度表示蒸馏(G-CRD),它使用对比学学习将学生节点嵌入的学生节点嵌入到参与表示空间中的教师。从实验的角度来看,我们在大型现实世界数据集中介绍了一组扩展的基准,教师和学生GNN之间的性能差距是不可忽略的。我们认为这对于测试知识蒸馏的功效和稳健性至关重要,但是从LSP研究中缺少,使用具有琐碎性能间隙的合成数据集。 4个数据集和14个异构GNN架构的实验表明,G-CRD始终如一地提高了轻量级GNN型号的性能和稳健性,优于维护方法,LSP和GSP的结构,以及由2D计算机视觉调整的基线。
translated by 谷歌翻译
图形神经网络(GNN)在高级AI系统中被广泛采用,因为它们在图形数据上的表示能力。即使GNN的解释对于增加对系统的信任至关重要,但由于GNN执行的复杂性,它也是一项挑战。最近,已经提出了许多工作来解决GNN解释中的一些问题。但是,当图形的大小巨大时,它们缺乏概括能力或遭受计算负担。为了应对这些挑战,我们提出了一个多级GNN解释框架,基于观察到GNN是图形数据中多个组件的多模式学习过程。原始问题的复杂性是通过分解为表示为层次结构的多个子部分来放松的。顶级解释旨在指定每个组件对模型执行和预测的贡献,而细粒度的级别则集中于基于知识蒸馏的特征归因和图形结构归因分析。学生模型接受了独立模式的培训,并负责捕获不同的教师行为,后来用于特定的组成部分。此外,我们还旨在实现个性化的解释,因为该框架可以根据用户偏好产生不同的结果。最后,广泛的实验证明了我们提出的方法的有效性和保真度。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have shown satisfying performance on various graph learning tasks. To achieve better fitting capability, most GNNs are with a large number of parameters, which makes these GNNs computationally expensive. Therefore, it is difficult to deploy them onto edge devices with scarce computational resources, e.g., mobile phones and wearable smart devices. Knowledge Distillation (KD) is a common solution to compress GNNs, where a light-weighted model (i.e., the student model) is encouraged to mimic the behavior of a computationally expensive GNN (i.e., the teacher GNN model). Nevertheless, most existing GNN-based KD methods lack fairness consideration. As a consequence, the student model usually inherits and even exaggerates the bias from the teacher GNN. To handle such a problem, we take initial steps towards fair knowledge distillation for GNNs. Specifically, we first formulate a novel problem of fair knowledge distillation for GNN-based teacher-student frameworks. Then we propose a principled framework named RELIANT to mitigate the bias exhibited by the student model. Notably, the design of RELIANT is decoupled from any specific teacher and student model structures, and thus can be easily adapted to various GNN-based KD frameworks. We perform extensive experiments on multiple real-world datasets, which corroborates that RELIANT achieves less biased GNN knowledge distillation while maintaining high prediction utility.
translated by 谷歌翻译
Graph neural networks (GNNs) have demonstrated excellent performance in a wide range of applications. However, the enormous size of large-scale graphs hinders their applications under real-time inference scenarios. Although existing scalable GNNs leverage linear propagation to preprocess the features and accelerate the training and inference procedure, these methods still suffer from scalability issues when making inferences on unseen nodes, as the feature preprocessing requires the graph is known and fixed. To speed up the inference in the inductive setting, we propose a novel adaptive propagation order approach that generates the personalized propagation order for each node based on its topological information. This could successfully avoid the redundant computation of feature propagation. Moreover, the trade-off between accuracy and inference latency can be flexibly controlled by simple hyper-parameters to match different latency constraints of application scenarios. To compensate for the potential inference accuracy loss, we further propose Inception Distillation to exploit the multi scale reception information and improve the inference performance. Extensive experiments are conducted on four public datasets with different scales and characteristics, and the experimental results show that our proposed inference acceleration framework outperforms the SOTA graph inference acceleration baselines in terms of both accuracy and efficiency. In particular, the advantage of our proposed method is more significant on larger-scale datasets, and our framework achieves $75\times$ inference speedup on the largest Ogbn-products dataset.
translated by 谷歌翻译
Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). Despite their great academic success, Multi-Layer Perceptrons (MLPs) remain the primary workhorse for practical industrial applications. One reason for this academic-industrial gap is the neighborhood-fetching latency incurred by data dependency in GNNs, which make it hard to deploy for latency-sensitive applications that require fast inference. Conversely, without involving any feature aggregation, MLPs have no data dependency and infer much faster than GNNs, but their performance is less competitive. Motivated by these complementary strengths and weaknesses, we propose a Graph Self-Distillation on Neighborhood (GSDN) framework to reduce the gap between GNNs and MLPs. Specifically, the GSDN framework is based purely on MLPs, where structural information is only implicitly used as prior to guide knowledge self-distillation between the neighborhood and the target, substituting the explicit neighborhood information propagation as in GNNs. As a result, GSDN enjoys the benefits of graph topology-awareness in training but has no data dependency in inference. Extensive experiments have shown that the performance of vanilla MLPs can be greatly improved with self-distillation, e.g., GSDN improves over stand-alone MLPs by 15.54\% on average and outperforms the state-of-the-art GNNs on six datasets. Regarding inference speed, GSDN infers 75X-89X faster than existing GNNs and 16X-25X faster than other inference acceleration methods.
translated by 谷歌翻译
知识蒸馏已成为获得紧凑又有效模型的重要方法。为实现这一目标,培训小型学生模型以利用大型训练有素的教师模型的知识。然而,由于教师和学生之间的能力差距,学生的表现很难达到老师的水平。关于这个问题,现有方法建议通过代理方式减少教师知识的难度。我们认为这些基于代理的方法忽视了教师的知识损失,这可能导致学生遇到容量瓶颈。在本文中,我们从新的角度来缓解能力差距问题,以避免知识损失的目的。我们建议通过对抗性协作学习建立一个更有力的学生,而不是牺牲教师的知识。为此,我们进一步提出了一种逆势协作知识蒸馏(ACKD)方法,有效提高了知识蒸馏的性能。具体来说,我们用多个辅助学习者构建学生模型。同时,我们设计了对抗的对抗性协作模块(ACM),引入注意机制和对抗的学习,以提高学生的能力。四个分类任务的广泛实验显示了拟议的Ackd的优越性。
translated by 谷歌翻译
机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络(教师)压缩到较小网络(学生)的技术之一,该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时,学生网络的表现就会下降。为了解决这个问题,在教师模型和名为助教模型的学生模型之间采用了中间模型,这反过来弥补了教师与学生之间的差距。在这项研究中,我们已经表明,使用多个助教模型,可以进一步改进学生模型(较小的模型)。我们使用加权集合学习将这些多个助教模型组合在一起,我们使用了差异评估优化算法来生成权重值。
translated by 谷歌翻译
图形神经网络(GNNS)在节点分类,回归和推荐任务中取得了最新的最新性能。当可提供高质量和丰富的连接结构时,GNNS工作好。但是,在许多真实世界图中,该要求在节点度具有幂律分布的许多真实世界中,因为许多节点具有较少或嘈杂的连接。这种情况的极端情况是节点可能没有邻居,称为严格的冷启动(SCS)场景。这会强制预测模型依赖于节点的输入特征。与通过蒸馏方法相比,我们提出冷啤酒以解决SCS和嘈杂的邻居设置。我们介绍了功能贡献比(FCR),测量使用电感GNN解决SCS问题的可行性,并选择SCS泛化的最佳体系结构。我们通过实验显示FCR Disentangles图数据集的各种组成部分的贡献,并展示了几个公共基准和专有电子商务数据集上的冷啤酒的优越性。我们方法的源代码可用于:https://github.com/amazon-research/gnn-tail-一致化。
translated by 谷歌翻译
知识蒸馏(KD)通过强制执行学生将学生模仿预先训练教师的产出,将知识转移到学生。但是,由于大量数据大小,隐私或机密性,在许多情况下,数据示例并不总是可访问。对解决卷积神经网络(CNNS)的这个问题已经提出了许多努力,其输入位于诸如图像和视频的连续空间内的网格域中,但很大程度上忽略了用不同的非网格数据处理非网格数据的图形神经网络(GNN)。离散空间内的拓扑结构。其输入之间的固有差异使得基于CNN的方法不适用于GNN。在本文中,我们建议我们最佳了解,从没有图数据的GNN从GNN中蒸馏出知识的第一种专用方法。所提出的图形kd(gfkd)通过使用多元Bernoulli分布来模拟它们来了解图形拓扑结构以了解知识转移。然后,我们介绍渐变估计器以优化此框架。基本上,梯度w.r.t.通过在没有反向传播的情况下仅使用GNN正向传播而获得图形结构,这意味着GFKD与现代GNN库(例如DGL和几何)兼容。此外,我们提供了处理图表数据或GNN中不同类型知识的策略。广泛的实验表明,GFKD实现了无需培训数据的GNNS蒸馏知识的最先进的性能。
translated by 谷歌翻译
众所周知,图形神经网络(GNN)的成功高度依赖于丰富的人类通知数据,这在实践中努力获得,并且并非总是可用的。当只有少数标记的节点可用时,如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能,但其在图形结构数据上的应用可能会失败,因为(1)不利用较大的接收场来捕获远程节点相互作用,这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式; (2)有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构,这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战,我们提出了一个新的图数据增强框架,AGST(增强图自训练),该框架由两个新的(即结构和语义)增强模块构建。 GST骨干。在这项工作中,我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下,我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献,几乎没有标记的数据。
translated by 谷歌翻译
图表可以模拟实体之间的复杂交互,它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中,其中关键步骤是学习低维图表示。图形神经网络(GNN)目前是嵌入方法中最受欢迎的模型。然而,邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力,而不是\ EMPH {低位}结构。为了捕获高阶结构,研究人员求助于主题和开发的基于主题的GNN。然而,现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性,我们提出了一个新颖的框架,以更好地捕获高阶结构的新框架,铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先,MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化,该主题在彼此相互比较并蒸馏出每个主题的特征。最后,MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地,为了增强鉴别的功率,MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明,我们的拟议体系结构增加了GNN的表现力,具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。
translated by 谷歌翻译
本文研究了用于无监督场景的图形神经网络(GNN)的节点表示。具体地,我们推导了理论分析,并在不适当定义的监督信号时,在不同的图形数据集中提供关于GNN的非稳定性能的实证演示。 GNN的性能取决于节点特征平滑度和图形结构的局部性。为了平滑通过图形拓扑和节点功能测量的节点接近度的差异,我们提出了帆 - 一个小说\下划线{s} elf- \下划线{a} u段图对比度\下划线{i} ve \ nignline {l}收入框架,使用两个互补的自蒸馏正则化模块,\ emph {Ie},内部和图间知识蒸馏。我们展示了帆在各种图形应用中的竞争性能。即使使用单个GNN层,Sail也在各种基准数据集中持续竞争或更好的性能,与最先进的基线相比。
translated by 谷歌翻译
最初引入了知识蒸馏,以利用来自单一教师模型的额外监督为学生模型培训。为了提高学生表现,最近的一些变体试图利用多个教师利用不同的知识来源。然而,现有研究主要通过对多种教师预测的平均或将它们与其他无标签策略相结合,将知识集成在多种来源中,可能在可能存在低质量的教师预测存在中误导学生。为了解决这个问题,我们提出了信心感知的多教师知识蒸馏(CA-MKD),该知识蒸馏(CA-MKD)在地面真理标签的帮助下,适用于每个教师预测的样本明智的可靠性,与那些接近单热的教师预测标签分配了大量的重量。此外,CA-MKD包含中间层,以进一步提高学生表现。广泛的实验表明,我们的CA-MKD始终如一地优于各种教师学生架构的所有最先进的方法。
translated by 谷歌翻译
Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.
translated by 谷歌翻译