Graph neural networks have shown significant success in the field of graph representation learning. Graph convolutions perform neighborhood aggregation and represent one of the most important graph operations. Nevertheless, one layer of these neighborhood aggregation methods only consider immediate neighbors, and the performance decreases when going deeper to enable larger receptive fields. Several recent studies attribute this performance deterioration to the over-smoothing issue, which states that repeated propagation makes node representations of different classes indistinguishable. In this work, we study this observation systematically and develop new insights towards deeper graph neural networks. First, we provide a systematical analysis on this issue and argue that the key factor compromising the performance significantly is the entanglement of representation transformation and propagation in current graph convolution operations. After decoupling these two operations, deeper graph neural networks can be used to learn graph node representations from larger receptive fields. We further provide a theoretical analysis of the above observation when building very deep models, which can serve as a rigorous and gentle description of the over-smoothing issue. Based on our theoretical and empirical analysis, we propose Deep Adaptive Graph Neural Network (DAGNN) to adaptively incorporate information from large receptive fields. A set of experiments on citation, coauthorship, and co-purchase datasets have confirmed our analysis and insights and demonstrated the superiority of our proposed methods. CCS CONCEPTS• Mathematics of computing → Graph algorithms; • Computing methodologies → Artificial intelligence; Neural networks.
translated by 谷歌翻译
消息传递已作为设计图形神经网络(GNN)的有效工具的发展。但是,消息传递的大多数现有方法简单地简单或平均所有相邻的功能更新节点表示。它们受到两个问题的限制,即(i)缺乏可解释性来识别对GNN的预测重要的节点特征,以及(ii)特征过度混合,导致捕获长期依赖和无能为力的过度平滑问题在异质或低同质的下方处理图。在本文中,我们提出了一个节点级胶囊图神经网络(NCGNN),以通过改进的消息传递方案来解决这些问题。具体而言,NCGNN表示节点为节点级胶囊组,其中每个胶囊都提取其相应节点的独特特征。对于每个节点级胶囊,开发了一个新颖的动态路由过程,以适应适当的胶囊,以从设计的图形滤波器确定的子图中聚集。 NCGNN聚集仅有利的胶囊并限制无关的消息,以避免交互节点的过度混合特征。因此,它可以缓解过度平滑的问题,并通过同粒或异质的图表学习有效的节点表示。此外,我们提出的消息传递方案本质上是可解释的,并免于复杂的事后解释,因为图形过滤器和动态路由过程确定了节点特征的子集,这对于从提取的子分类中的模型预测最为重要。关于合成和现实图形的广泛实验表明,NCGNN可以很好地解决过度光滑的问题,并为半监视的节点分类产生更好的节点表示。它的表现优于同质和异质的艺术状态。
translated by 谷歌翻译
图形神经网络(GNN)在各种图挖掘任务中取得了巨大的成功。但是,当GNN堆叠着许多层时,总是观察到急剧性能降解。结果,大多数GNN仅具有浅层建筑,这限制了它们的表现力和对深社区的开发。最近的研究将深度GNN的性能降低归因于\ textit {过度平滑}的问题。在本文中,我们将传统的图形卷积操作分为两个独立操作:\ textit {passagation}(\ textbf {p})和\ textit {transformation}(\ textbf {t})。可以分为传播深度($ d_p $)和转换深度($ d_t $)。通过广泛的实验,我们发现深度GNNS性能下降的主要原因是\ textit {model dygradation}问题是由大$ d_t $而不是\ textit {过度平滑}问题引起的,主要是由大$ d_p $引起的。 。此外,我们提出\ textIt {自适应初始残留}(air),一个与各种GNN架构兼容的插件模块,以减轻\ textit {model {model dradation degradation}问题和\ textit {textit {过度敏感}问题同时。六个现实世界数据集的实验结果表明,配备空气的GNN胜过大多数具有浅层建筑的GNN,这是由于大型$ d_p $和$ d_t $的好处,而与空气相关的时间成本则可以忽略。
translated by 谷歌翻译
图表神经网络(GNNS)在各种机器学习任务中获得了表示学习的提高。然而,应用邻域聚合的大多数现有GNN通常在图中的图表上执行不良,其中相邻的节点属于不同的类。在本文中,我们示出了在典型的异界图中,边缘可以被引导,以及是否像是处理边缘,也可以使它们过度地影响到GNN模型的性能。此外,由于异常的限制,节点对来自本地邻域之外的类似节点的消息非常有益。这些激励我们开发一个自适应地学习图表的方向性的模型,并利用潜在的长距离相关性节点之间。我们首先将图拉普拉斯概括为基于所提出的特征感知PageRank算法向数字化,该算法同时考虑节点之间的图形方向性和长距离特征相似性。然后,Digraph Laplacian定义了一个图形传播矩阵,导致一个名为{\ em diglaciangcn}的模型。基于此,我们进一步利用节点之间的通勤时间测量的节点接近度,以便在拓扑级别上保留节点的远距离相关性。具有不同级别的10个数据集的广泛实验,同意级别展示了我们在节点分类任务任务中对现有解决方案的有效性。
translated by 谷歌翻译
最近关于图表卷积网络(GCN)的研究表明,初始节点表示(即,第一次图卷积前的节点表示)很大程度上影响最终的模型性能。但是,在学习节点的初始表示时,大多数现有工作线性地组合了节点特征的嵌入,而不考虑特征之间的交互(或特征嵌入)。我们认为,当节点特征是分类时,例如,在许多实际应用程序中,如用户分析和推荐系统,功能交互通常会对预测分析进行重要信号。忽略它们将导致次优初始节点表示,从而削弱后续图表卷积的有效性。在本文中,我们提出了一个名为CatGCN的新GCN模型,当节点功能是分类时,为图表学习量身定制。具体地,我们将显式交互建模的两种方式集成到初始节点表示的学习中,即在每对节点特征上的本地交互建模和人工特征图上的全局交互建模。然后,我们通过基于邻域聚合的图形卷积来优化增强的初始节点表示。我们以端到端的方式训练CatGCN,并在半监督节点分类上展示它。来自腾讯和阿里巴巴数据集的三个用户分析的三个任务(预测用户年龄,城市和购买级别)的大量实验验证了CatGCN的有效性,尤其是在图表卷积之前执行特征交互建模的积极效果。
translated by 谷歌翻译
Graph Convolutional Networks (GCNs) and their variants have experienced significant attention and have become the de facto methods for learning graph representations. GCNs derive inspiration primarily from recent deep learning approaches, and as a result, may inherit unnecessary complexity and redundant computation. In this paper, we reduce this excess complexity through successively removing nonlinearities and collapsing weight matrices between consecutive layers. We theoretically analyze the resulting linear model and show that it corresponds to a fixed low-pass filter followed by a linear classifier. Notably, our experimental evaluation demonstrates that these simplifications do not negatively impact accuracy in many downstream applications. Moreover, the resulting model scales to larger datasets, is naturally interpretable, and yields up to two orders of magnitude speedup over FastGCN.
translated by 谷歌翻译
最近,图形神经网络(GNN)通过利用图形结构和节点特征的知识来表现出图表表示的显着性能。但是,他们中的大多数都有两个主要限制。首先,GNN可以通过堆叠更多的层来学习高阶结构信息,但由于过度光滑的问题,无法处理较大的深度。其次,由于昂贵的计算成本和高内存使用情况,在大图上应用这些方法并不容易。在本文中,我们提出了节点自适应特征平滑(NAFS),这是一种简单的非参数方法,该方法构建了没有参数学习的节点表示。 NAFS首先通过特征平滑提取每个节点及其不同啤酒花的邻居的特征,然后自适应地结合了平滑的特征。此外,通过不同的平滑策略提取的平滑特征的合奏可以进一步增强构建的节点表示形式。我们在两个不同的应用程序方案上对四个基准数据集进行实验:节点群集和链接预测。值得注意的是,具有功能合奏的NAFS优于这些任务上最先进的GNN,并减轻上述大多数基于学习的GNN对应物的两个限制。
translated by 谷歌翻译
近年来,图形神经网络(GNNS)在许多现实世界中的应用(例如建议和药物发现)中取得了巨大的成功。尽管取得了成功,但已将过度厚度确定为限制GNN绩效的关键问题之一。这表明由于堆叠聚合器,学到的节点表示是无法区分的。在本文中,我们提出了一种新的观点,以研究深度GNN的性能降低,即特征过度相关。通过有关此问题的经验和理论研究,我们证明了更深层次的GNN中的特征过度相关的存在,并揭示了导致该问题的潜在原因。为了减少功能相关性,我们提出了一个通用框架,可以鼓励GNN编码较少的冗余信息。广泛的实验表明,Decorr可以帮助实现更深入的GNN,并与现有的技术相辅相成。
translated by 谷歌翻译
图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而,发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作,这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是,尚不清楚异质性是否确实会损害图神经网络(GNNS)的性能。关键是要展现一个节点与其直接邻居之间的关系,例如它们是异性还是同质性?从这个角度来看,我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是,我们提出了一个端到端框架,该框架既学习边缘的类型(即异性/同质性),并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言,为了避免通过异质边缘传递的消息,我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外,可以利用有关异性邻居的存在的信息进行特征学习,因此,设计了一种混合消息传递方法来汇总同质性邻居,并根据边缘分类使异性邻居多样化。广泛的实验表明,在整个同质级别的多个数据集上,通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。
translated by 谷歌翻译
图形神经网络已成为从图形结构数据学习的不可缺少的工具之一,并且它们的实用性已在各种各样的任务中显示。近年来,建筑设计的巨大改进,导致各种预测任务的性能更好。通常,这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别,因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中,我们将节点特征聚合步骤和深度与图形神经网络分离,并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明,并非通过聚合步骤生成的所有功能都很有用,并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验,我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器,并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术,我们呈现了一个简单浅的模型,特征选择图神经网络(FSGNN),并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务,具有显着的改进,可达51.1%。
translated by 谷歌翻译
图表可以模拟实体之间的复杂交互,它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中,其中关键步骤是学习低维图表示。图形神经网络(GNN)目前是嵌入方法中最受欢迎的模型。然而,邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力,而不是\ EMPH {低位}结构。为了捕获高阶结构,研究人员求助于主题和开发的基于主题的GNN。然而,现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性,我们提出了一个新颖的框架,以更好地捕获高阶结构的新框架,铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先,MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化,该主题在彼此相互比较并蒸馏出每个主题的特征。最后,MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地,为了增强鉴别的功率,MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明,我们的拟议体系结构增加了GNN的表现力,具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。
translated by 谷歌翻译
Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the over-smoothing problem.In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: Initial residual and Identity mapping. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi-and fullsupervised tasks. Code is available at https: //github.com/chennnM/GCNII.
translated by 谷歌翻译
过度平滑是一个具有挑战性的问题,这会降低深图卷积网络(GCNS)的性能。然而,用于缓解过度平滑问题的现有研究缺乏一般性或有效性。在本文中,我们分析了过度平滑问题背后的潜在问题,即特征 - 多样性退化,梯度消失和模型重量衰减。灵感来自于此,我们提出了一个简单而有效的即插即用模块,速度,缓解过度平滑。具体地,对于GCN模型的每个中间层,随机地(或基于节点度)选择节点以通过直接向非线性函数馈送它们的输入特征来跳过卷积操作。分析,1)跳过卷积操作可以防止特征失去多样性; 2)“跳过”节点使能梯度直接传递回来,从而减轻梯度消失和模型权重过腐蚀问题。为了展示Skipnode的优越性,我们对九个流行的数据集进行了广泛的实验,包括同性恋和异化图,在两个典型的任务上具有不同的图表大小:节点分类和链路预测。具体而言,1)SkipNode具有适应不同数据集和任务的各种基于GCN的模型的普遍性。 2)Skipnode优于最近最先进的反平滑插头 - 播放模块,即DropEdge和Dropnode,在不同的设置中。代码将在GitHub上公开提供。
translated by 谷歌翻译
由于学习节点表示的优越性,图形神经网络(GNNS)受到了巨大的关注。这些模型依赖于消息传递和特征转换功能来从邻居编码结构和功能信息。然而,堆叠更多的卷积层显着降低了GNN的性能。大多数最近的研究将此限制属于过平滑问题,其中节点嵌入式会聚到无法区分的向量。通过许多实验观察,我们认为,主要因素降低性能是不稳定的正向标准化和后向梯度因特征变换的不当设计而导致的,尤其是对于未发生过平滑的浅GNN。因此,我们提出了一个名为Ortho-GConv的新型正交特征转换,这通常可以增加现有的GNN骨干,以稳定模型训练并改善模型的泛化性能。具体地,我们从三个视角综合地维持特征变换的正交性,即混合权重初始化,正交变换和正交正规。通过用ortho-gconv配备现有的GNN(例如GCN,JKNET,GCNII),我们展示了正交特征变换的一般性以实现稳定训练,并显示其对节点和图形分类任务的有效性。
translated by 谷歌翻译
提高GCN的深度(预计将允许更多表达性)显示出损害性能,尤其是在节点分类上。原因的主要原因在于过度平滑。过度平滑的问题将GCN的输出驱动到一个在节点之间包含有限的区别信息的空间,从而导致表现不佳。已经提出了一些有关完善GCN架构的作品,但理论上仍然未知这些改进是否能够缓解过度平衡。在本文中,我们首先从理论上分析了通用GCN如何与深度增加的作用,包括通用GCN,GCN,具有偏见,RESGCN和APPNP。我们发现所有这些模型都以通用过程为特征:所有节点融合到Cuboid。在该定理下,我们建议通过在每个训练时期随机去除一定数量的边缘来减轻过度光滑的状态。从理论上讲,Dropedge可以降低过度平滑的收敛速度,或者可以减轻尺寸崩溃引起的信息损失。对模拟数据集的实验评估已可视化不同GCN之间过度平滑的差异。此外,对几个真正的基准支持的广泛实验,这些实验始终如一地改善各种浅GCN和深度GCN的性能。
translated by 谷歌翻译
几何深度学习取得了长足的进步,旨在概括从传统领域到非欧几里得群岛的结构感知神经网络的设计,从而引起图形神经网络(GNN),这些神经网络(GNN)可以应用于形成的图形结构数据,例如社会,例如,网络,生物化学和材料科学。尤其是受欧几里得对应物的启发,尤其是图形卷积网络(GCN)通过提取结构感知功能来成功处理图形数据。但是,当前的GNN模型通常受到各种现象的限制,这些现象限制了其表达能力和推广到更复杂的图形数据集的能力。大多数模型基本上依赖于通过本地平均操作对图形信号的低通滤波,从而导致过度平滑。此外,为了避免严重的过度厚度,大多数流行的GCN式网络往往是较浅的,并且具有狭窄的接收场,导致侵犯。在这里,我们提出了一个混合GNN框架,该框架将传统的GCN过滤器与通过几何散射定义的带通滤波器相结合。我们进一步介绍了一个注意框架,该框架允许该模型在节点级别上从不同过滤器的组合信息进行本地参与。我们的理论结果确定了散射过滤器的互补益处,以利用图表中的结构信息,而我们的实验显示了我们方法对各种学习任务的好处。
translated by 谷歌翻译
本文提出了FLGC,这是一个简单但有效的全线性图形卷积网络,用于半监督和无人监督的学习。基于计算具有解耦步骤的全局最优闭合液解决方案而不是使用梯度下降,而不是使用梯度下降。我们展示(1)FLGC强大的是处理图形结构化数据和常规数据,(2)具有闭合形式解决方案的训练图卷积模型提高了计算效率而不会降低性能,而(3)FLGC作为自然概括非欧几里德域的经典线性模型,例如Ridge回归和子空间聚类。此外,我们通过引入初始剩余策略来实现半监督的FLGC和无监督的FLGC,使FLGC能够聚集长距离邻域并减轻过平滑。我们将我们的半监督和无人监督的FLGC与各种分类和聚类基准的许多最先进的方法进行比较,表明建议的FLGC模型在准确性,鲁棒性和学习效率方面始终如一地优于先前的方法。我们的FLGC的核心代码在https://github.com/angrycai/flgc下发布。
translated by 谷歌翻译
图形神经网络(GNN)已被密切应用于各种基于图的应用程序。尽管他们成功了,但手动设计行为良好的GNN需要巨大的人类专业知识。因此,发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS,这是一种新的神经体系结构搜索(NAS)方法,可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同,DFG-NAS突出了另一个设计级别:搜索有关原子传播的宏观构造(\ TextBf {\ Textbf {\ Texttt {p}}})和转换(\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}})的操作被整合并组织到GNN中。为此,DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间,该搜索空间是基于消息传播的散布,定义了四个自定义设计的宏观架构突变,并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明,DFG-NAS优于最先进的手动设计和GNN的NAS方法。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.
translated by 谷歌翻译
灵感来自深度学习的广泛成功,已经提出了图表神经网络(GNNS)来学习表达节点表示,并在各种图形学习任务中表现出有希望的性能。然而,现有的努力主要集中在提供相对丰富的金色标记节点的传统半监督设置。虽然数据标签是难以忍受的事实令人生畏的事实并且需要强化领域知识,但特别是在考虑图形结构数据的异质性时,它通常是不切实际的。在几次半监督的环境下,大多数现有GNN的性能不可避免地受到过度装备和过天际问题的破坏,在很大程度上由于标记数据的短缺。在本文中,我们提出了一种配备有新型元学习算法的解耦的网络架构来解决这个问题。从本质上讲,我们的框架META-PN通过META学习的标签传播策略在未标记节点上乘坐高质量的伪标签,这有效增强了稀缺标记的数据,同时在培训期间启用大型接受领域。广泛的实验表明,与各种基准数据集上的现有技术相比,我们的方法提供了简单且实质性的性能。
translated by 谷歌翻译