Graph structure learning (GSL), which aims to learn the adjacency matrix for graph neural networks (GNNs), has shown great potential in boosting the performance of GNNs. Most existing GSL works apply a joint learning framework where the estimated adjacency matrix and GNN parameters are optimized for downstream tasks. However, as GSL is essentially a link prediction task, whose goal may largely differ from the goal of the downstream task. The inconsistency of these two goals limits the GSL methods to learn the potential optimal graph structure. Moreover, the joint learning framework suffers from scalability issues in terms of time and space during the process of estimation and optimization of the adjacency matrix. To mitigate these issues, we propose a graph structure refinement (GSR) framework with a pretrain-finetune pipeline. Specifically, The pre-training phase aims to comprehensively estimate the underlying graph structure by a multi-view contrastive learning framework with both intra- and inter-view link prediction tasks. Then, the graph structure is refined by adding and removing edges according to the edge probabilities estimated by the pre-trained model. Finally, the fine-tuning GNN is initialized by the pre-trained model and optimized toward downstream tasks. With the refined graph structure remaining static in the fine-tuning space, GSR avoids estimating and optimizing graph structure in the fine-tuning phase which enjoys great scalability and efficiency. Moreover, the fine-tuning GNN is boosted by both migrating knowledge and refining graphs. Extensive experiments are conducted to evaluate the effectiveness (best performance on six benchmark datasets), efficiency, and scalability (13.8x faster using 32.8% GPU memory compared to the best GSL baseline on Cora) of the proposed model.

图形神经网络（GNNS）在建模图形结构数据方面表明了它们的能力。但是，实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时，GNN的性能会显着下降，这阻碍了许多应用程序的GNN。因此，与有限标记的节点开发抗噪声GNN是重要的。但是，这是一个相当有限的工作。因此，我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明，嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题，我们提出了一种新颖的框架，该框架采用嘈杂的边缘作为监督，以学习去噪和密集的图形，这可以减轻或消除嘈杂的边缘，并促进GNN的消息传递，以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化，以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。

图形存在于许多现实世界中的应用中，例如财务欺诈检测，商业建议和社交网络分析。但是，鉴于图形注释或标记的高成本，我们面临严重的图形标签 - 刻度问题，即，图可能具有一些标记的节点。这样一个问题的一个例子是所谓的\ textit {少数弹性节点分类}。该问题的主要方法均依靠\ textit {情节元学习}。在这项工作中，我们通过提出一个基本问题来挑战现状，元学习是否是对几个弹性节点分类任务的必要条件。我们在标准的几杆节点分类设置下提出了一个新的简单框架，作为学习有效图形编码器的元学习的替代方法。该框架由有监督的图形对比学习以及新颖的数据增强，子图编码和图形上的多尺度对比度组成。在三个基准数据集（Corafull，Reddit，OGBN）上进行的广泛实验表明，新框架显着胜过基于最先进的元学习方法。

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。

基于图的异常检测已被广泛用于检测现实世界应用中的恶意活动。迄今为止，现有的解决此问题的尝试集中在二进制分类制度中的结构特征工程或学习上。在这项工作中，我们建议利用图形对比编码，并提出监督的GCCAD模型，以将异常节点与正常节点的距离与全球环境（例如所有节点的平均值）相比。为了使用稀缺标签处理场景，我们通过设计用于生成合成节点标签的图形损坏策略，进一步使GCCAD成为一个自制的框架。为了实现对比目标，我们设计了一个图形神经网络编码器，该编码器可以在消息传递过程中推断并进一步删除可疑链接，并了解输入图的全局上下文。我们在四个公共数据集上进行了广泛的实验，表明1）GCCAD显着且始终如一地超过各种高级基线，2）其自我监督版本没有微调可以通过其完全监督的版本来实现可比性的性能。

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

众所周知，图形神经网络（GNN）的成功高度依赖于丰富的人类通知数据，这在实践中努力获得，并且并非总是可用的。当只有少数标记的节点可用时，如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能，但其在图形结构数据上的应用可能会失败，因为（1）不利用较大的接收场来捕获远程节点相互作用，这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式； （2）有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构，这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战，我们提出了一个新的图数据增强框架，AGST（增强图自训练），该框架由两个新的（即结构和语义）增强模块构建。 GST骨干。在这项工作中，我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下，我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献，几乎没有标记的数据。

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

Data-efficient learning on graphs (GEL) is essential in real-world applications. Existing GEL methods focus on learning useful representations for nodes, edges, or entire graphs with ``small'' labeled data. But the problem of data-efficient learning for subgraph prediction has not been explored. The challenges of this problem lie in the following aspects: 1) It is crucial for subgraphs to learn positional features to acquire structural information in the base graph in which they exist. Although the existing subgraph neural network method is capable of learning disentangled position encodings, the overall computational complexity is very high. 2) Prevailing graph augmentation methods for GEL, including rule-based, sample-based, adaptive, and automated methods, are not suitable for augmenting subgraphs because a subgraph contains fewer nodes but richer information such as position, neighbor, and structure. Subgraph augmentation is more susceptible to undesirable perturbations. 3) Only a small number of nodes in the base graph are contained in subgraphs, which leads to a potential ``bias'' problem that the subgraph representation learning is dominated by these ``hot'' nodes. By contrast, the remaining nodes fail to be fully learned, which reduces the generalization ability of subgraph representation learning. In this paper, we aim to address the challenges above and propose a Position-Aware Data-Efficient Learning framework for subgraph neural networks called PADEL. Specifically, we propose a novel node position encoding method that is anchor-free, and design a new generative subgraph augmentation method based on a diffused variational subgraph autoencoder, and we propose exploratory and exploitable views for subgraph contrastive learning. Extensive experiment results on three real-world datasets show the superiority of our proposed method over state-of-the-art baselines.

Graph Contrastive Learning (GCL) has recently drawn much research interest for learning generalizable node representations in a self-supervised manner. In general, the contrastive learning process in GCL is performed on top of the representations learned by a graph neural network (GNN) backbone, which transforms and propagates the node contextual information based on its local neighborhoods. However, nodes sharing similar characteristics may not always be geographically close, which poses a great challenge for unsupervised GCL efforts due to their inherent limitations in capturing such global graph knowledge. In this work, we address their inherent limitations by proposing a simple yet effective framework -- Simple Neural Networks with Structural and Semantic Contrastive Learning} (S^3-CL). Notably, by virtue of the proposed structural and semantic contrastive learning algorithms, even a simple neural network can learn expressive node representations that preserve valuable global structural and semantic patterns. Our experiments demonstrate that the node representations learned by S^3-CL achieve superior performance on different downstream tasks compared with the state-of-the-art unsupervised GCL methods. Implementation and more experimental details are publicly available at \url{https://github.com/kaize0409/S-3-CL.}

在过去的几年中，图表学习（GRL）是分析图形结构数据的有力策略。最近，GRL方法通过采用用于图像的学习表示形式而开发的自我监督学习方法来显示出令人鼓舞的结果。尽管它们成功了，但现有的GRL方法倾向于忽略图像和图形之间的固有区别，即，假定图像是独立和相同分布的，而图表在数据实例之间显示了关系信息，即节点。为了完全受益于图形结构数据中固有的关系信息，我们提出了一种名为RGRL的新颖GRL方法，该方法从图形本身生成的关系信息中学习。 RGRL学习节点表示形式，使节点之间的关系是增强的不变性，即增强不变的关系，只要保留节点之间的关系，就可以改变节点表示。通过在全球和本地观点中考虑节点之间的关系，RGRL克服了对对比和非对抗性方法的局限性，并实现了两者中最好的。在各种下游任务上对十四个基准数据集进行了广泛的实验，证明了RGRL优于最先进的基线。 RGRL的源代码可在https://github.com/namkyeong/rgrl上获得。

Recently, contrastive learning (CL) has emerged as a successful method for unsupervised graph representation learning. Most graph CL methods first perform stochastic augmentation on the input graph to obtain two graph views and maximize the agreement of representations in the two views. Despite the prosperous development of graph CL methods, the design of graph augmentation schemes-a crucial component in CL-remains rarely explored. We argue that the data augmentation schemes should preserve intrinsic structures and attributes of graphs, which will force the model to learn representations that are insensitive to perturbation on unimportant nodes and edges. However, most existing methods adopt uniform data augmentation schemes, like uniformly dropping edges and uniformly shuffling features, leading to suboptimal performance. In this paper, we propose a novel graph contrastive representation learning method with adaptive augmentation that incorporates various priors for topological and semantic aspects of the graph. Specifically, on the topology level, we design augmentation schemes based on node centrality measures to highlight important connective structures. On the node attribute level, we corrupt node features by adding more noise to unimportant node features, to enforce the model to recognize underlying semantic information. We perform extensive experiments of node classification on a variety of real-world datasets. Experimental results demonstrate that our proposed method consistently outperforms existing state-of-the-art baselines and even surpasses some supervised counterparts, which validates the effectiveness of the proposed contrastive framework with adaptive augmentation. CCS CONCEPTS• Computing methodologies → Unsupervised learning; Neural networks; Learning latent representations.

Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.

图形神经网络（GNN）是通过学习通用节点表示形式来建模和处理图形结构数据的主要范例。传统的培训方式GNNS取决于许多标记的数据，这导致了成本和时间的高需求。在某个特殊场景中，它甚至不可用。可以通过图形结构数据本身生成标签的自我监督表示学习是解决此问题的潜在方法。并且要研究对异质图的自学学习问题的研究比处理同质图更具挑战性，对此，研究也更少。在本文中，我们通过基于Metapath（SESIM）的结构信息提出了一种用于异质图的自我监督学习方法。提出的模型可以通过预测每个Metapath中节点之间的跳跃数来构建借口任务，以提高主任务的表示能力。为了预测跳跃数量，Sesim使用数据本身来生成标签，避免了耗时的手动标签。此外，预测每个Metapath中的跳跃数量可以有效地利用图形结构信息，这是节点之间的重要属性。因此，Sesim加深对图形结构模型的理解。最后，我们共同培训主要任务和借口任务，并使用元学习来平衡借口任务对主要任务的贡献。经验结果验证了SESIM方法的性能，并证明该方法可以提高传统神经网络在链接预测任务和节点分类任务上的表示能力。

图形神经网络（GNN）已被广泛应用于各种领域，以通过图形结构数据学习。在各种任务（例如节点分类和图形分类）中，他们对传统启发式方法显示了显着改进。但是，由于GNN严重依赖于平滑的节点特征而不是图形结构，因此在链接预测中，它们通常比简单的启发式方法表现出差的性能，例如，结构信息（例如，重叠的社区，学位和最短路径）至关重要。为了解决这一限制，我们建议邻里重叠感知的图形神经网络（NEO-GNNS），这些神经网络（NEO-GNNS）从邻接矩阵中学习有用的结构特征，并估算了重叠的邻域以进行链接预测。我们的Neo-Gnns概括了基于社区重叠的启发式方法，并处理重叠的多跳社区。我们在开放图基准数据集（OGB）上进行的广泛实验表明，NEO-GNNS始终在链接预测中实现最新性能。我们的代码可在https://github.com/seongjunyun/neo_gnns上公开获取。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

Graph Neural Networks (GNNs) have been widely applied in the semi-supervised node classification task, where a key point lies in how to sufficiently leverage the limited but valuable label information. Most of the classical GNNs solely use the known labels for computing the classification loss at the output. In recent years, several methods have been designed to additionally utilize the labels at the input. One part of the methods augment the node features via concatenating or adding them with the one-hot encodings of labels, while other methods optimize the graph structure by assuming neighboring nodes tend to have the same label. To bring into full play the rich information of labels, in this paper, we present a label-enhanced learning framework for GNNs, which first models each label as a virtual center for intra-class nodes and then jointly learns the representations of both nodes and labels. Our approach could not only smooth the representations of nodes belonging to the same class, but also explicitly encode the label semantics into the learning process of GNNs. Moreover, a training node selection technique is provided to eliminate the potential label leakage issue and guarantee the model generalization ability. Finally, an adaptive self-training strategy is proposed to iteratively enlarge the training set with more reliable pseudo labels and distinguish the importance of each pseudo-labeled node during the model training process. Experimental results on both real-world and synthetic datasets demonstrate our approach can not only consistently outperform the state-of-the-arts, but also effectively smooth the representations of intra-class nodes.