链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

图形神经网络（GNNS）在建模图形结构数据方面表明了它们的能力。但是，实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时，GNN的性能会显着下降，这阻碍了许多应用程序的GNN。因此，与有限标记的节点开发抗噪声GNN是重要的。但是，这是一个相当有限的工作。因此，我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明，嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题，我们提出了一种新颖的框架，该框架采用嘈杂的边缘作为监督，以学习去噪和密集的图形，这可以减轻或消除嘈杂的边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化，以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。

图形神经网络（GNN）已被广泛应用于各种领域，以通过图形结构数据学习。在各种任务（例如节点分类和图形分类）中，他们对传统启发式方法显示了显着改进。但是，由于GNN严重依赖于平滑的节点特征而不是图形结构，因此在链接预测中，它们通常比简单的启发式方法表现出差的性能，例如，结构信息（例如，重叠的社区，学位和最短路径）至关重要。为了解决这一限制，我们建议邻里重叠感知的图形神经网络（NEO-GNNS），这些神经网络（NEO-GNNS）从邻接矩阵中学习有用的结构特征，并估算了重叠的邻域以进行链接预测。我们的Neo-Gnns概括了基于社区重叠的启发式方法，并处理重叠的多跳社区。我们在开放图基准数据集（OGB）上进行的广泛实验表明，NEO-GNNS始终在链接预测中实现最新性能。我们的代码可在https://github.com/seongjunyun/neo_gnns上公开获取。

Clustering is a fundamental problem in network analysis that finds closely connected groups of nodes and separates them from other nodes in the graph, while link prediction is to predict whether two nodes in a network are likely to have a link. The definition of both naturally determines that clustering must play a positive role in obtaining accurate link prediction tasks. Yet researchers have long ignored or used inappropriate ways to undermine this positive relationship. In this article, We construct a simple but efficient clustering-driven link prediction framework(ClusterLP), with the goal of directly exploiting the cluster structures to obtain connections between nodes as accurately as possible in both undirected graphs and directed graphs. Specifically, we propose that it is easier to establish links between nodes with similar representation vectors and cluster tendencies in undirected graphs, while nodes in a directed graphs can more easily point to nodes similar to their representation vectors and have greater influence in their own cluster. We customized the implementation of ClusterLP for undirected and directed graphs, respectively, and the experimental results using multiple real-world networks on the link prediction task showed that our models is highly competitive with existing baseline models. The code implementation of ClusterLP and baselines we use are available at https://github.com/ZINUX1998/ClusterLP.

在本文中，我们提供了一种使用图形神经网络（GNNS）的理论，用于多节点表示学习（我们有兴趣学习一组多个节点的表示）。我们知道GNN旨在学习单节点表示。当我们想学习涉及多个节点的节点集表示时，先前作品中的常见做法是直接将GNN学习的多节点表示与节点集的关节表示。在本文中，我们显示了这种方法的基本限制，即无法捕获节点集中节点之间的依赖性，并且认为直接聚合各个节点表示不会导致多个节点的有效关节表示。然后，我们注意到，以前的一些成功的工作作品用于多节点表示学习，包括密封，距离编码和ID-GNN，所有使用的节点标记。这些方法根据应用GNN之前的与目标节点集的关系，首先标记图中的节点。然后，在标记的图表中获得的节点表示被聚合到节点集表示中。通过调查其内部机制，我们将这些节点标记技术统一到单个和最基本的形式，即标记技巧。我们证明，通过标记技巧，可以获得足够富有表现力的GNN学习最具表现力的节点集表示，因此原则上可以解决节点集的任何联合学习任务。关于一个重要的双节点表示学习任务，链接预测，验证了我们理论的实验。我们的工作建立了使用GNN在节点集上使用GNN进行联合预测任务的理论基础。

我们介绍了一种新颖的屏蔽图AutoEncoder（MGAE）框架，以在图形结构数据上执行有效的学习。从自我监督学习中欣识见，我们随机掩盖了大部分边缘，并在训练期间尝试重建这些缺失的边缘。 Mgae有两个核心设计。首先，我们发现掩蔽了输入图结构的高比率，例如70 \％$，产生一个非凡和有意义的自我监督任务，使下游应用程序受益。其次，我们使用图形神经网络（GNN）作为编码器，以在部分掩蔽的图表上执行消息传播。为了重建大量掩模边缘，提出了一种定制的互相关解码器。它可以捕获多粒度的锚边的头部和尾部节点之间的互相关。耦合这两种设计使MGAE能够有效且有效地培训。在多个开放数据集（Planetoid和OGB基准测试）上进行了广泛的实验，证明MGAE通常比链接预测和节点分类更好地表现优于最先进的无监督竞争对手。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

Inferring missing links or detecting spurious ones based on observed graphs, known as link prediction, is a long-standing challenge in graph data analysis. With the recent advances in deep learning, graph neural networks have been used for link prediction and have achieved state-of-the-art performance. Nevertheless, existing methods developed for this purpose are typically discriminative, computing features of local subgraphs around two neighboring nodes and predicting potential links between them from the perspective of subgraph classification. In this formalism, the selection of enclosing subgraphs and heuristic structural features for subgraph classification significantly affects the performance of the methods. To overcome this limitation, this paper proposes a novel and radically different link prediction algorithm based on the network reconstruction theory, called GraphLP. Instead of sampling positive and negative links and heuristically computing the features of their enclosing subgraphs, GraphLP utilizes the feature learning ability of deep-learning models to automatically extract the structural patterns of graphs for link prediction under the assumption that real-world graphs are not locally isolated. Moreover, GraphLP explores high-order connectivity patterns to utilize the hierarchical organizational structures of graphs for link prediction. Our experimental results on all common benchmark datasets from different applications demonstrate that the proposed method consistently outperforms other state-of-the-art methods. Unlike the discriminative neural network models used for link prediction, GraphLP is generative, which provides a new paradigm for neural-network-based link prediction.

Link prediction is a key problem for network-structured data. Link prediction heuristics use some score functions, such as common neighbors and Katz index, to measure the likelihood of links. They have obtained wide practical uses due to their simplicity, interpretability, and for some of them, scalability. However, every heuristic has a strong assumption on when two nodes are likely to link, which limits their effectiveness on networks where these assumptions fail. In this regard, a more reasonable way should be learning a suitable heuristic from a given network instead of using predefined ones. By extracting a local subgraph around each target link, we aim to learn a function mapping the subgraph patterns to link existence, thus automatically learning a "heuristic" that suits the current network. In this paper, we study this heuristic learning paradigm for link prediction. First, we develop a novel γ-decaying heuristic theory. The theory unifies a wide range of heuristics in a single framework, and proves that all these heuristics can be well approximated from local subgraphs. Our results show that local subgraphs reserve rich information related to link existence. Second, based on the γ-decaying theory, we propose a new method to learn heuristics from local subgraphs using a graph neural network (GNN). Its experimental results show unprecedented performance, working consistently well on a wide range of problems.

近年来，异构图形神经网络（HGNNS）一直在开花，但每个工作所使用的独特数据处理和评估设置会让他们的进步完全了解。在这项工作中，我们通过使用其官方代码，数据集，设置和超参数来展示12个最近的HGNN的系统再现，揭示了关于HGNN的进展的令人惊讶的结果。我们发现，由于设置不当，简单的均匀GNN，例如GCN和GAT在很大程度上低估了。具有适当输入的GAT通常可以匹配或优于各种场景的所有现有HGNN。为了促进稳健和可重复的HGNN研究，我们构建异构图形基准（HGB），由具有三个任务的11个不同数据集组成。 HGB标准化异构图数据分割，特征处理和性能评估的过程。最后，我们介绍了一个简单但非常强大的基线简单 - HGN - 这显着优于HGB上以前的所有模型 - 以加速未来HGNN的进步。

链接预测是图神经网络（GNN）的重要应用。链接预测的大多数现有GNN基于一维Weisfeiler-Lehman（1-WL）测试。 1-wl-gnn首先通过迭代的相邻节点特征来计算中心，然后通过汇总成对节点表示来获得链接表示。正如先前的作品所指出的那样，这两步过程会导致较低的区分功能，因为自然而然地学习节点级表示而不是链接级别。在本文中，我们研究了一种完全不同的方法，该方法可以基于\ textit {二维WEISFEILER-LEHMAN（2-WL）测试直接获得节点对（链接）表示。 2-WL测试直接使用链接（2个小说）作为消息传递单元而不是节点，因此可以直接获得链接表示。我们理论上分析了2-WL测试的表达能力以区分非晶状体链接，并证明其优越的链接与1-WL相比。基于不同的2-WL变体，我们提出了一系列用于链路预测的新型2-WL-GNN模型。在广泛的现实数据集上进行的实验证明了它们对最先进的基线的竞争性能以及优于普通1-WL-GNN的优势。

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node-and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm-HGSampling-for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%-21% on various downstream tasks. The dataset and source code of HGT are publicly available at https://github.com/acbull/pyHGT.

消息传递已作为设计图形神经网络（GNN）的有效工具的发展。但是，消息传递的大多数现有方法简单地简单或平均所有相邻的功能更新节点表示。它们受到两个问题的限制，即（i）缺乏可解释性来识别对GNN的预测重要的节点特征，以及（ii）特征过度混合，导致捕获长期依赖和无能为力的过度平滑问题在异质或低同质的下方处理图。在本文中，我们提出了一个节点级胶囊图神经网络（NCGNN），以通过改进的消息传递方案来解决这些问题。具体而言，NCGNN表示节点为节点级胶囊组，其中每个胶囊都提取其相应节点的独特特征。对于每个节点级胶囊，开发了一个新颖的动态路由过程，以适应适当的胶囊，以从设计的图形滤波器确定的子图中聚集。 NCGNN聚集仅有利的胶囊并限制无关的消息，以避免交互节点的过度混合特征。因此，它可以缓解过度平滑的问题，并通过同粒或异质的图表学习有效的节点表示。此外，我们提出的消息传递方案本质上是可解释的，并免于复杂的事后解释，因为图形过滤器和动态路由过程确定了节点特征的子集，这对于从提取的子分类中的模型预测最为重要。关于合成和现实图形的广泛实验表明，NCGNN可以很好地解决过度光滑的问题，并为半监视的节点分类产生更好的节点表示。它的表现优于同质和异质的艺术状态。

在本文中，我们研究了在非全粒图上进行节点表示学习的自我监督学习的问题。现有的自我监督学习方法通​​常假定该图是同质的，其中链接的节点通常属于同一类或具有相似的特征。但是，这种同质性的假设在现实图表中并不总是正确的。我们通过为图神经网络开发脱钩的自我监督学习（DSSL）框架来解决这个问题。 DSSL模仿了节点的生成过程和语义结构的潜在变量建模的链接，该过程将不同邻域之间的不同基础语义解散到自我监督的节点学习过程中。我们的DSSL框架对编码器不可知，不需要预制的增强，因此对不同的图表灵活。为了通过潜在变量有效地优化框架，我们得出了自我监督目标的较低范围的证据，并开发了具有变异推理的可扩展培训算法。我们提供理论分析，以证明DSSL享有更好的下游性能。与竞争性的自我监督学习基线相比，对各种类图基准的广泛实验表明，我们提出的框架可以显着取得更好的性能。

Graph neural networks (GNNs) have received remarkable success in link prediction (GNNLP) tasks. Existing efforts first predefine the subgraph for the whole dataset and then apply GNNs to encode edge representations by leveraging the neighborhood structure induced by the fixed subgraph. The prominence of GNNLP methods significantly relies on the adhoc subgraph. Since node connectivity in real-world graphs is complex, one shared subgraph is limited for all edges. Thus, the choices of subgraphs should be personalized to different edges. However, performing personalized subgraph selection is nontrivial since the potential selection space grows exponentially to the scale of edges. Besides, the inference edges are not available during training in link prediction scenarios, so the selection process needs to be inductive. To bridge the gap, we introduce a Personalized Subgraph Selector (PS2) as a plug-and-play framework to automatically, personally, and inductively identify optimal subgraphs for different edges when performing GNNLP. PS2 is instantiated as a bi-level optimization problem that can be efficiently solved differently. Coupling GNNLP models with PS2, we suggest a brand-new angle towards GNNLP training: by first identifying the optimal subgraphs for edges; and then focusing on training the inference model by using the sampled subgraphs. Comprehensive experiments endorse the effectiveness of our proposed method across various GNNLP backbones (GCN, GraphSage, NGCF, LightGCN, and SEAL) and diverse benchmarks (Planetoid, OGB, and Recommendation datasets). Our code is publicly available at \url{https://github.com/qiaoyu-tan/PS2}

用于异质图嵌入的图形神经网络是通过探索异质图的异质性和语义来将节点投射到低维空间中。但是，一方面，大多数现有的异质图嵌入方法要么不足以对特定语义下的局部结构进行建模，要么在汇总信息时忽略异质性。另一方面，来自多种语义的表示形式未全面整合以获得多功能节点嵌入。为了解决该问题，我们通过引入多视图表示学习的概念，提出了一个具有多视图表示学习（名为MV-HETGNN）的异质图神经网络（称为MV-HETGNN）。所提出的模型由节点特征转换，特定于视图的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，以生成全面的节点表示。在三个现实世界的异质图数据集上进行的广泛实验表明，所提出的MV-HETGNN模型始终优于各种下游任务中所有最新的GNN基准，例如节点分类，节点群集和链接预测。

Graph Neural Networks (GNNs), originally proposed for node classification, have also motivated many recent works on edge prediction (a.k.a., link prediction). However, existing methods lack elaborate design regarding the distinctions between two tasks that have been frequently overlooked: (i) edges only constitute the topology in the node classification task but can be used as both the topology and the supervisions (i.e., labels) in the edge prediction task; (ii) the node classification makes prediction over each individual node, while the edge prediction is determinated by each pair of nodes. To this end, we propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE). Concretely, we first introduce an edge splitting technique to specify use of each edge where each edge is solely used as either the topology or the supervision (named as topology edge or supervision edge). We then develop a new message passing mechanism that generates the messages to source nodes (through topology edges) being aware of target nodes (through supervision edges). In order to emphasize the differences between pairs connected by supervision edges and pairs unconnected, we further weight the messages to highlight the relative ones that can reflect the differences. In addition, we design a novel negative node-pair sampling trick that efficiently samples 'hard' negative instances in the supervision instances, and can significantly improve the performance. Experimental results verify that the proposed method can significantly outperform existing state-of-the-art models regarding the edge prediction task on multiple homogeneous and heterogeneous graph datasets.

Link prediction is a crucial problem in graph-structured data. Due to the recent success of graph neural networks (GNNs), a variety of GNN-based models were proposed to tackle the link prediction task. Specifically, GNNs leverage the message passing paradigm to obtain node representation, which relies on link connectivity. However, in a link prediction task, links in the training set are always present while ones in the testing set are not yet formed, resulting in a discrepancy of the connectivity pattern and bias of the learned representation. It leads to a problem of dataset shift which degrades the model performance. In this paper, we first identify the dataset shift problem in the link prediction task and provide theoretical analyses on how existing link prediction methods are vulnerable to it. We then propose FakeEdge, a model-agnostic technique, to address the problem by mitigating the graph topological gap between training and testing sets. Extensive experiments demonstrate the applicability and superiority of FakeEdge on multiple datasets across various domains.