在过去几年中，人们对代表性学习的图形神经网络（GNN）的兴趣不大。GNN提供了一个一般有效的框架，可以从图形结构化数据中学习。但是，GNN通常仅使用一个非常有限的邻域的信息来避免过度光滑。希望为模型提供更多信息。在这项工作中，我们将个性化Pagerank（PPR）的极限分布纳入图形注意力网络（GATS）中，以反映较大的邻居信息，而无需引入过度光滑。从直觉上讲，基于个性化Pagerank的消息聚合对应于无限的许多邻里聚合层。我们表明，对于四个广泛使用的基准数据集，我们的模型优于各种基线模型。我们的实施已在线公开。
translated by 谷歌翻译
We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-theart results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a proteinprotein interaction dataset (wherein test graphs remain unseen during training).
translated by 谷歌翻译
图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。
translated by 谷歌翻译
Neural message passing algorithms for semi-supervised classification on graphs have recently achieved great success. However, for classifying a node these methods only consider nodes that are a few propagation steps away and the size of this utilized neighborhood is hard to extend. In this paper, we use the relationship between graph convolutional networks (GCN) and PageRank to derive an improved propagation scheme based on personalized PageRank. We utilize this propagation procedure to construct a simple model, personalized propagation of neural predictions (PPNP), and its fast approximation, APPNP. Our model's training time is on par or faster and its number of parameters on par or lower than previous models. It leverages a large, adjustable neighborhood for classification and can be easily combined with any neural network. We show that this model outperforms several recently proposed methods for semi-supervised classification in the most thorough study done so far for GCN-like models. Our implementation is available online. 1
translated by 谷歌翻译
数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。
translated by 谷歌翻译
图形神经网络（GNN）已被广泛应用于各种领域，以通过图形结构数据学习。在各种任务（例如节点分类和图形分类）中，他们对传统启发式方法显示了显着改进。但是，由于GNN严重依赖于平滑的节点特征而不是图形结构，因此在链接预测中，它们通常比简单的启发式方法表现出差的性能，例如，结构信息（例如，重叠的社区，学位和最短路径）至关重要。为了解决这一限制，我们建议邻里重叠感知的图形神经网络（NEO-GNNS），这些神经网络（NEO-GNNS）从邻接矩阵中学习有用的结构特征，并估算了重叠的邻域以进行链接预测。我们的Neo-Gnns概括了基于社区重叠的启发式方法，并处理重叠的多跳社区。我们在开放图基准数据集（OGB）上进行的广泛实验表明，NEO-GNNS始终在链接预测中实现最新性能。我们的代码可在https://github.com/seongjunyun/neo_gnns上公开获取。
translated by 谷歌翻译
图形神经网络（GNNS）依赖于图形结构来定义聚合策略，其中每个节点通过与邻居的信息组合来更新其表示。已知GNN的限制是，随着层数的增加，信息被平滑，压扁并且节点嵌入式变得无法区分，对性能产生负面影响。因此，实用的GNN模型雇用了几层，只能在每个节点周围的有限邻域利用图形结构。不可避免地，实际的GNN不会根据图的全局结构捕获信息。虽然有几种研究GNNS的局限性和表达性，但是关于图形结构数据的实际应用的问题需要全局结构知识，仍然没有答案。在这项工作中，我们通过向几个GNN模型提供全球信息并观察其对下游性能的影响来认证解决这个问题。我们的研究结果表明，全球信息实际上可以为共同的图形相关任务提供显着的好处。我们进一步确定了一项新的正规化策略，导致所有考虑的任务的平均准确性提高超过5％。
translated by 谷歌翻译
近三年来，异质图神经网络（HGNN）吸引了研究的兴趣。大多数现有的HGNN分为两类。一个类是基于元路径的HGNN，要么需要域知识才能手工制作元路径，要么花费大量时间和内存来自动构建元路径。另一个类不依赖元路径结构。它将均匀的卷积图神经网络（Conv-GNN）作为骨架，并通过引入节点型和边缘型依赖性参数将其扩展到异质图。不管元路径依赖性如何，大多数现有的HGNN都采用浅层探测器（例如GCN和GAT）来汇总邻里信息，并且可能有限地捕获高阶邻里信息的能力。在这项工作中，我们提出了两个异构图树网络模型：异质图树卷积网络（HETGTCN）和异质图树注意网络（HETGTAN），它们不依赖元路径来在两个节点特征和图形结构中编码异质性。在三个现实世界的异质图数据上进行了广泛的实验表明，所提出的HETGTCN和HETGTAN具有有效的效率，并且一致地超过了所有最先进的HGNN基准在半监视的节点分类任务上，并且可以深入不受损害的性能。
translated by 谷歌翻译
图形神经网络（GNNS）在各种基于图形的应用中显示了优势。大多数现有的GNNS假设图形结构的强大奇妙并应用邻居的置换不变本地聚合以学习每个节点的表示。然而，它们未能概括到异质图，其中大多数相邻节点具有不同的标签或特征，并且相关节点远处。最近的几项研究通过组合中央节点的隐藏表示（即，基于多跳的方法）的多个跳数来解决这个问题，或者基于注意力分数对相邻节点进行排序（即，基于排名的方法）来解决这个问题。结果，这些方法具有一些明显的限制。一方面，基于多跳的方法没有明确区分相关节点的大量多跳社区，导致严重的过平滑问题。另一方面，基于排名的模型不与结束任务进行联合优化节点排名，并导致次优溶液。在这项工作中，我们呈现图表指针神经网络（GPNN）来解决上述挑战。我们利用指针网络从大量的多跳邻域选择最相关的节点，这根据与中央节点的关系来构造有序序列。然后应用1D卷积以从节点序列中提取高级功能。 GPNN中的基于指针网络的Ranker是以端到端的方式与其他部件进行联合优化的。在具有异质图的六个公共节点分类数据集上进行了广泛的实验。结果表明，GPNN显着提高了最先进方法的分类性能。此外，分析还揭示了拟议的GPNN在过滤出无关邻居并减少过平滑的特权。
translated by 谷歌翻译
图表神经网络（GNNS）在各种机器学习任务中获得了表示学习的提高。然而，应用邻域聚合的大多数现有GNN通常在图中的图表上执行不良，其中相邻的节点属于不同的类。在本文中，我们示出了在典型的异界图中，边缘可以被引导，以及是否像是处理边缘，也可以使它们过度地影响到GNN模型的性能。此外，由于异常的限制，节点对来自本地邻域之外的类似节点的消息非常有益。这些激励我们开发一个自适应地学习图表的方向性的模型，并利用潜在的长距离相关性节点之间。我们首先将图拉普拉斯概括为基于所提出的特征感知PageRank算法向数字化，该算法同时考虑节点之间的图形方向性和长距离特征相似性。然后，Digraph Laplacian定义了一个图形传播矩阵，导致一个名为{\ em diglaciangcn}的模型。基于此，我们进一步利用节点之间的通勤时间测量的节点接近度，以便在拓扑级别上保留节点的远距离相关性。具有不同级别的10个数据集的广泛实验，同意级别展示了我们在节点分类任务任务中对现有解决方案的有效性。
translated by 谷歌翻译
图形神经网络（GNN）已成功用于许多涉及图形结构数据的问题，从而实现了最新的性能。 GNN通常采用消息通话方案，其中每个节点都使用置换不变的聚合函数从其邻居中汇总信息。标准良好的选择（例如平均值或总和函数）具有有限的功能，因为它们无法捕获邻居之间的相互作用。在这项工作中，我们使用信息理论框架正式化了这些交互，该框架特别包括协同信息。在此定义的驱动下，我们介绍了图排序注意（山羊）层，这是一种新型的GNN组件，可捕获邻域中的节点之间的相互作用。这是通过通过注意机制学习局部节点顺序并使用复发性神经网络聚合器来处理订购表示的来实现的。这种设计使我们能够利用置换敏感的聚合器，同时维持所提出的山羊层的排列量表。山羊模型展示了其在捕获复杂信息（例如中心中心性和节点的有效大小）中的建模图指标中提高的性能。在实用用例中，通过在几个现实世界节点分类基准中成功证实了其出色的建模能力。
translated by 谷歌翻译
图形神经网络（GNNS）在学习归属图中显示了很大的力量。但是，GNNS从源节点利用遥控器的信息仍然是一个挑战。此外，常规GNN要求将图形属性作为输入，因此它们无法应用于纯图。在论文中，我们提出了名为G-GNNS（GNN的全局信息）的新模型来解决上述限制。首先，通过无监督的预训练获得每个节点的全局结构和属性特征，其保留与节点相关联的全局信息。然后，使用全局功能和原始网络属性，我们提出了一个并行GNN的并行框架来了解这些功能的不同方面。所提出的学习方法可以应用于普通图和归属图。广泛的实验表明，G-GNNS可以在三个标准评估图上优于其他最先进的模型。特别是，我们的方法在学习归属图表时建立了Cora（84.31 \％）和PubMed（80.95 \％）的新基准记录。
translated by 谷歌翻译
近年来，图形变压器在各种图形学习任务上表现出了优势。但是，现有图形变压器的复杂性与节点的数量二次缩放，因此难以扩展到具有数千个节点的图形。为此，我们提出了一个邻域聚集图变压器（Nagphormer），该变压器可扩展到具有数百万节点的大图。在将节点特征馈送到变压器模型中之前，Nagphormer构造令牌由称为Hop2Token的邻域聚合模块为每个节点。对于每个节点，Hop2token聚合从每个跳跃到表示形式的邻域特征，从而产生一系列令牌向量。随后，不同HOP信息的结果序列是变压器模型的输入。通过将每个节点视为一个序列，可以以迷你批量的方式训练Nagphormer，从而可以扩展到大图。 Nagphormer进一步开发了基于注意力的读数功能，以便学习每个跳跃的重要性。我们在各种流行的基准测试中进行了广泛的实验，包括六个小数据集和三个大数据集。结果表明，Nagphormer始终优于现有的图形变压器和主流图神经网络。
translated by 谷歌翻译
图神经网络（GNN）在图形深学习域中受到了很多关注。但是，从经验和理论上，最近的研究表明，深度GNN遭受了过度拟合和过度平滑的问题。通常的解决方案不能解决深度GNN的大量运行时，或者在同一特征空间中限制了图形卷积。我们提出了自适应图扩散网络（AGDN），该网络在具有中等复杂性和运行时的不同特征空间中执行多层广义图扩散。标准图扩散方法将过渡矩阵的大且密集的功率与预定义的加权系数结合在一起。取而代之的是，AGDN将较小的多跳节点表示与可学习的加权系数结合在一起。我们提出了两种可扩展的加权系数机制，以捕获多跳信息：趋于关注（HA）和霍普·沃斯卷积（HC）。我们评估了具有半监督节点分类和链接预测任务的多样性，挑战开放图基准（OGB）数据集的AGDN。直到提交日期（2022年8月26日），AGDNS在OGBN-ARXIV，OGBN-蛋白质和OGBL-DDI数据集中实现了TOP-1性能，并且在OGBL-Citater2数据集中获得了TOP-3性能。在类似的Tesla V100 GPU卡上，AGDNS优于可逆的GNNS（REVGNNS），其复杂性为13％，REVGNN在OGBN-Proteins数据集上的培训时间为1％。 AGDN还可以通过36％的训练来实现与密封的可比性能，而OGBL-Citation2数据集的密封量为0.2％的推理运行时。
translated by 谷歌翻译
我们提出了一个框架，该框架会自动将不可缩放的GNN转换为基于预典型的GNN，该GNN对于大型图表有效且可扩展。我们框架的优势是两倍。1）它通过将局部特征聚合与其图形卷积中的重量学习分开，2）通过将其边缘分解为小型图形，将其有效地在GPU上进行了预先执行，将各种局部特征聚合与重量学习分开，将各种局部特征聚合从重量学习中分离出来，从而使各种不可估计的GNN转换为大规模图表。和平衡的集合。通过大规模图的广泛实验，我们证明了转化的GNN在训练时间内的运行速度比现有的GNN更快，同时实现了最先进的GNN的竞争精度。因此，我们的转型框架为可伸缩GNN的未来研究提供了简单有效的基础。
translated by 谷歌翻译
近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。
translated by 谷歌翻译
Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set, and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable, and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.Node embedding methods can be categorized into Graph Neural Networks (GNNs) approaches (Scarselli et al., 2009),
translated by 谷歌翻译
时间图神经网络（时间GNN）已被广泛研究，在多个预测任务上达到了最新的结果。大多数先前作品采用的一种常见方法是应用一个层，该图层汇总了节点历史邻居的信息。朝着不同的研究方向迈进，在这项工作中，我们提出了TBDFS - 一种新颖的时间GNN架构。 TBDF应用一个层，该图层有效地将信息从时间路径聚集到图中的给定（目标）节点。对于每个给定的节点，将聚集分为两个阶段：（1）在该节点中结束的每个时间路径的单个表示，并且（2）所有路径表示都汇总为最终节点表示。总体而言，我们的目标不是在节点中添加新信息，而是从新角度观察相同的确切信息。这使我们的模型可以直接观察到面向路径的模式，而不是面向邻里的模式。与以前的作品中应用的流行呼吸优先搜索（BFS）遍历相比，这可以认为是时间图上的深度优先搜索（DFS）遍历。我们通过多个链接预测任务评估了TBDF，并显示出与最先进的基线相比的表现。据我们所知，我们是第一个应用Perimal-DFS神经网络的人。
translated by 谷歌翻译
图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。
translated by 谷歌翻译
异质图具有多个节点和边缘类型，并且在语义上比同质图更丰富。为了学习这种复杂的语义，许多用于异质图的图形神经网络方法使用Metapaths捕获节点之间的多跳相互作用。通常，非目标节点的功能未纳入学习过程。但是，可以存在涉及多个节点或边缘的非线性高阶相互作用。在本文中，我们提出了Simplicial Graph注意网络（SGAT），这是一种简单的复杂方法，可以通过将非目标节点的特征放在简单上来表示这种高阶相互作用。然后，我们使用注意机制和上邻接来生成表示。我们凭经验证明了方法在异质图数据集上使用节点分类任务的方法的功效，并进一步显示了SGAT通过采用随机节点特征来提取结构信息的能力。数值实验表明，SGAT的性能优于其他当前最新的异质图学习方法。
translated by 谷歌翻译