在过去的几年中，图表学习（GRL）是分析图形结构数据的有力策略。最近，GRL方法通过采用用于图像的学习表示形式而开发的自我监督学习方法来显示出令人鼓舞的结果。尽管它们成功了，但现有的GRL方法倾向于忽略图像和图形之间的固有区别，即，假定图像是独立和相同分布的，而图表在数据实例之间显示了关系信息，即节点。为了完全受益于图形结构数据中固有的关系信息，我们提出了一种名为RGRL的新颖GRL方法，该方法从图形本身生成的关系信息中学习。 RGRL学习节点表示形式，使节点之间的关系是增强的不变性，即增强不变的关系，只要保留节点之间的关系，就可以改变节点表示。通过在全球和本地观点中考虑节点之间的关系，RGRL克服了对对比和非对抗性方法的局限性，并实现了两者中最好的。在各种下游任务上对十四个基准数据集进行了广泛的实验，证明了RGRL优于最先进的基线。 RGRL的源代码可在https://github.com/namkyeong/rgrl上获得。

灵感来自最近应用于图像上的自我监督方法的成功，图形结构数据的自我监督学习已经看到迅速增长，特别是基于增强的对比方法。但是，我们认为没有精心设计的增强技术，图形上的增强可能是任意行为的，因为图形的底层语义可以急剧地改变。因此，现有增强的方法的性能高度依赖于增强方案的选择，即与增强相关联的超级参数。在本文中，我们提出了一种名为AFGRL的图表的一种新的增强自我监督学习框架。具体地，我们通过发现与图形共享本地结构信息和全局语义的节点来生成图表的替代视图。各种数据集的各种节点级任务，即节点分类，群集和相似性搜索的广泛实验证明了AFGRL的优越性。 AFGRL的源代码可在https://github.com/namkyeong/afgrl中获得。

Inspired by the success of contrastive learning (CL) in computer vision and natural language processing, graph contrastive learning (GCL) has been developed to learn discriminative node representations on graph datasets. However, the development of GCL on Heterogeneous Information Networks (HINs) is still in the infant stage. For example, it is unclear how to augment the HINs without substantially altering the underlying semantics, and how to design the contrastive objective to fully capture the rich semantics. Moreover, early investigations demonstrate that CL suffers from sampling bias, whereas conventional debiasing techniques are empirically shown to be inadequate for GCL. How to mitigate the sampling bias for heterogeneous GCL is another important problem. To address the aforementioned challenges, we propose a novel Heterogeneous Graph Contrastive Multi-view Learning (HGCML) model. In particular, we use metapaths as the augmentation to generate multiple subgraphs as multi-views, and propose a contrastive objective to maximize the mutual information between any pairs of metapath-induced views. To alleviate the sampling bias, we further propose a positive sampling strategy to explicitly select positives for each node via jointly considering semantic and structural information preserved on each metapath view. Extensive experiments demonstrate HGCML consistently outperforms state-of-the-art baselines on five real-world benchmark datasets.

图神经网络（GNN）在学习图表表示方面取得了巨大成功，从而促进了各种与图形相关的任务。但是，大多数GNN方法都采用监督的学习设置，由于难以获得标记的数据，因此在现实世界中并不总是可行的。因此，图表自学学习一直在吸引越来越多的关注。图对比度学习（GCL）是自我监督学习的代表性框架。通常，GCL通过将语义上相似的节点（阳性样品）和不同的节点（阴性样品）与锚节点进行对比来学习节点表示。没有访问标签，通常通过数据增强产生阳性样品，而负样品是从整个图中均匀采样的，这导致了亚最佳目标。具体而言，数据增强自然限制了该过程中涉及的正样本的数量（通常只采用一个阳性样本）。另一方面，随机采样过程不可避免地选择假阴性样品（样品与锚共享相同的语义）。这些问题限制了GCL的学习能力。在这项工作中，我们提出了一个增强的目标，以解决上述问题。我们首先引入了一个不可能实现的理想目标，该目标包含所有正样本，没有假阴性样本。然后，基于对阳性和负样品进行采样的分布，将这个理想的目标转化为概率形式。然后，我们以节点相似性对这些分布进行建模，并得出增强的目标。各种数据集上的全面实验证明了在不同设置下提出的增强目标的有效性。

Recently, contrastive learning (CL) has emerged as a successful method for unsupervised graph representation learning. Most graph CL methods first perform stochastic augmentation on the input graph to obtain two graph views and maximize the agreement of representations in the two views. Despite the prosperous development of graph CL methods, the design of graph augmentation schemes-a crucial component in CL-remains rarely explored. We argue that the data augmentation schemes should preserve intrinsic structures and attributes of graphs, which will force the model to learn representations that are insensitive to perturbation on unimportant nodes and edges. However, most existing methods adopt uniform data augmentation schemes, like uniformly dropping edges and uniformly shuffling features, leading to suboptimal performance. In this paper, we propose a novel graph contrastive representation learning method with adaptive augmentation that incorporates various priors for topological and semantic aspects of the graph. Specifically, on the topology level, we design augmentation schemes based on node centrality measures to highlight important connective structures. On the node attribute level, we corrupt node features by adding more noise to unimportant node features, to enforce the model to recognize underlying semantic information. We perform extensive experiments of node classification on a variety of real-world datasets. Experimental results demonstrate that our proposed method consistently outperforms existing state-of-the-art baselines and even surpasses some supervised counterparts, which validates the effectiveness of the proposed contrastive framework with adaptive augmentation. CCS CONCEPTS• Computing methodologies → Unsupervised learning; Neural networks; Learning latent representations.

Inspired by the impressive success of contrastive learning (CL), a variety of graph augmentation strategies have been employed to learn node representations in a self-supervised manner. Existing methods construct the contrastive samples by adding perturbations to the graph structure or node attributes. Although impressive results are achieved, it is rather blind to the wealth of prior information assumed: with the increase of the perturbation degree applied on the original graph, 1) the similarity between the original graph and the generated augmented graph gradually decreases; 2) the discrimination between all nodes within each augmented view gradually increases. In this paper, we argue that both such prior information can be incorporated (differently) into the contrastive learning paradigm following our general ranking framework. In particular, we first interpret CL as a special case of learning to rank (L2R), which inspires us to leverage the ranking order among positive augmented views. Meanwhile, we introduce a self-ranking paradigm to ensure that the discriminative information among different nodes can be maintained and also be less altered to the perturbations of different degrees. Experiment results on various benchmark datasets verify the effectiveness of our algorithm compared with the supervised and unsupervised models.

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

自我监督的学习提供了一个有希望的途径，消除了在图形上的代表学习中的昂贵标签信息的需求。然而，为了实现最先进的性能，方法通常需要大量的负例，并依赖于复杂的增强。这可能是昂贵的，特别是对于大图。为了解决这些挑战，我们介绍了引导的图形潜伏（BGRL） - 通过预测输入的替代增强来学习图表表示学习方法。 BGRL仅使用简单的增强，并减轻了对否定例子对比的需求，因此通过设计可扩展。 BGRL胜过或匹配现有的几种建立的基准，同时降低了内存成本的2-10倍。此外，我们表明，BGR1可以缩放到半监督方案中的数亿个节点的极大的图表 - 实现最先进的性能并改善监督基线，其中表示仅通过标签信息而塑造。特别是，我们的解决方案以BGRL为中心，将kdd杯2021的开放图基准的大规模挑战组成了一个获奖条目，在比所有先前可用的基准更大的级别的图形订单上，从而展示了我们方法的可扩展性和有效性。

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

随着对比学习的兴起，无人监督的图形表示学习最近一直蓬勃发展，甚至超过了一些机器学习任务中的监督对应物。图表表示的大多数对比模型学习侧重于最大化本地和全局嵌入之间的互信息，或主要取决于节点级别的对比嵌入。然而，它们仍然不足以全面探索网络拓扑的本地和全球视图。虽然前者认为本地全球关系，但其粗略的全球信息导致本地和全球观点之间的思考。后者注重节点级别对齐，以便全局视图的作用出现不起眼。为避免落入这两个极端情况，我们通过对比群集分配来提出一种新颖的无监督图形表示模型，称为GCCA。通过组合聚类算法和对比学习，它有动力综合利用本地和全球信息。这不仅促进了对比效果，而且还提供了更高质量的图形信息。同时，GCCA进一步挖掘群集级信息，这使得它能够了解除了图形拓扑之外的节点之间的难以捉摸的关联。具体地，我们首先使用不同的图形增强策略生成两个增强的图形，然后使用聚类算法分别获取其群集分配和原型。所提出的GCCA进一步强制不同增强图中的相同节点来通过最小化交叉熵损失来互相识别它们的群集分配。为了展示其有效性，我们将在三个不同的下游任务中与最先进的模型进行比较。实验结果表明，GCCA在大多数任务中具有强大的竞争力。

图级表示在各种现实世界中至关重要，例如预测分子的特性。但是实际上，精确的图表注释通常非常昂贵且耗时。为了解决这个问题，图形对比学习构造实例歧视任务，将正面对（同一图的增强对）汇总在一起，并将负面对（不同图的增强对）推开，以进行无监督的表示。但是，由于为了查询，其负面因素是从所有图中均匀抽样的，因此现有方法遭受关键采样偏置问题的损失，即，否定物可能与查询具有相同的语义结构，从而导致性能降解。为了减轻这种采样偏见问题，在本文中，我们提出了一种典型的图形对比度学习（PGCL）方法。具体而言，PGCL通过将语义相似的图形群群归为同一组的群集数据的基础语义结构，并同时鼓励聚类的一致性，以实现同一图的不同增强。然后给出查询，它通过从与查询群集不同的群集中绘制图形进行负采样，从而确保查询及其阴性样本之间的语义差异。此外，对于查询，PGCL根据其原型（集群质心）和查询原型之间的距离进一步重新重新重新重新重新享受其负样本，从而使那些具有中等原型距离的负面因素具有相对较大的重量。事实证明，这种重新加权策略比统一抽样更有效。各种图基准的实验结果证明了我们的PGCL比最新方法的优势。代码可在https://github.com/ha-lins/pgcl上公开获取。

图表表示学习（GRL）对于图形结构数据分析至关重要。然而，大多数现有的图形神经网络（GNNS）严重依赖于标签信息，这通常是在现实世界中获得的昂贵。现有无监督的GRL方法遭受某些限制，例如对单调对比和可扩展性有限的沉重依赖。为了克服上述问题，鉴于最近的图表对比学习的进步，我们通过曲线图介绍了一种新颖的自我监控图形表示学习算法，即通过利用所提出的调整变焦方案来学习节点表示来学习节点表示。具体地，该机制使G-Zoom能够从多个尺度的图表中探索和提取自我监督信号：MICRO（即，节点级别），MESO（即，邻域级）和宏（即，子图级） 。首先，我们通过两个不同的图形增强生成输入图的两个增强视图。然后，我们逐渐地从节点，邻近逐渐为上述三个尺度建立三种不同的对比度，在那里我们最大限度地提高了横跨尺度的图形表示之间的协议。虽然我们可以从微距和宏观视角上从给定图中提取有价值的线索，但是邻域级对比度基于我们的调整后的缩放方案提供了可自定义选项的能力，以便手动选择位于微观和介于微观之间的最佳视点宏观透视更好地理解图数据。此外，为了使我们的模型可扩展到大图，我们采用了并行图形扩散方法来从图形尺寸下解耦模型训练。我们对现实世界数据集进行了广泛的实验，结果表明，我们所提出的模型始终始终优于最先进的方法。

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

尽管有关超图的机器学习吸引了很大的关注，但大多数作品都集中在（半）监督的学习上，这可能会导致繁重的标签成本和不良的概括。最近，对比学习已成为一种成功的无监督表示学习方法。尽管其他领域中对比度学习的发展繁荣，但对超图的对比学习仍然很少探索。在本文中，我们提出了Tricon（三个方向对比度学习），这是对超图的对比度学习的一般框架。它的主要思想是三个方向对比度，具体来说，它旨在在两个增强视图中最大化同一节点之间的协议（a），（b）在同一节点之间以及（c）之间，每个组之间的成员及其成员之间的协议（b） 。加上简单但令人惊讶的有效数据增强和负抽样方案，这三种形式的对比使Tricon能够在节点嵌入中捕获显微镜和介观结构信息。我们使用13种基线方法，5个数据集和两个任务进行了广泛的实验，这证明了Tricon的有效性，最明显的是，Tricon始终优于无监督的竞争对手，而且（半）受监督的竞争对手，大多数是由大量的节点分类的大量差额。

Heterogeneous graph contrastive learning has received wide attention recently. Some existing methods use meta-paths, which are sequences of object types that capture semantic relationships between objects, to construct contrastive views. However, most of them ignore the rich meta-path context information that describes how two objects are connected by meta-paths. On the other hand, they fail to distinguish hard negatives from false negatives, which could adversely affect the model performance. To address the problems, we propose MEOW, a heterogeneous graph contrastive learning model that considers both meta-path contexts and weighted negative samples. Specifically, MEOW constructs a coarse view and a fine-grained view for contrast. The former reflects which objects are connected by meta-paths, while the latter uses meta-path contexts and characterizes the details on how the objects are connected. We take node embeddings in the coarse view as anchors, and construct positive and negative samples from the fine-grained view. Further, to distinguish hard negatives from false negatives, we learn weights of negative samples based on node clustering. We also use prototypical contrastive learning to pull close embeddings of nodes in the same cluster. Finally, we conduct extensive experiments to show the superiority of MEOW against other state-of-the-art methods.

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

对比度学习是图表学习中的有效无监督方法，对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近，基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量，一些作品将此方法从图像扩展到图形。但是，与图像上的数据扩展不同，图上的数据扩展远不那么直观，而且很难提供高质量的对比样品，这为改进留出了很大的空间。在这项工作中，通过引入一个对抗性图视图以进行数据增强，我们提出了一种简单但有效的方法，对抗图对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术，并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点，从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明，面对对抗性攻击，Ariel更加强大。

Graph structure learning (GSL), which aims to learn the adjacency matrix for graph neural networks (GNNs), has shown great potential in boosting the performance of GNNs. Most existing GSL works apply a joint learning framework where the estimated adjacency matrix and GNN parameters are optimized for downstream tasks. However, as GSL is essentially a link prediction task, whose goal may largely differ from the goal of the downstream task. The inconsistency of these two goals limits the GSL methods to learn the potential optimal graph structure. Moreover, the joint learning framework suffers from scalability issues in terms of time and space during the process of estimation and optimization of the adjacency matrix. To mitigate these issues, we propose a graph structure refinement (GSR) framework with a pretrain-finetune pipeline. Specifically, The pre-training phase aims to comprehensively estimate the underlying graph structure by a multi-view contrastive learning framework with both intra- and inter-view link prediction tasks. Then, the graph structure is refined by adding and removing edges according to the edge probabilities estimated by the pre-trained model. Finally, the fine-tuning GNN is initialized by the pre-trained model and optimized toward downstream tasks. With the refined graph structure remaining static in the fine-tuning space, GSR avoids estimating and optimizing graph structure in the fine-tuning phase which enjoys great scalability and efficiency. Moreover, the fine-tuning GNN is boosted by both migrating knowledge and refining graphs. Extensive experiments are conducted to evaluate the effectiveness (best performance on six benchmark datasets), efficiency, and scalability (13.8x faster using 32.8% GPU memory compared to the best GSL baseline on Cora) of the proposed model.

对比度学习是图表学习中有效的无监督方法。最近，基于数据增强的对比度学习方法已从图像扩展到图形。但是，大多数先前的作品都直接根据为图像设计的模型进行了调整。与图像上的数据增强不同，图表上的数据扩展远不那么直观，而且很难提供高质量的对比样本，这是对比度学习模型的性能的关键。这为改进现有图形对比学习框架留出了很多空间。在这项工作中，通过引入对抗图视图和信息正常化程序，我们提出了一种简单但有效的方法，即对逆向对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。它始终优于各种现实世界数据集的节点分类任务中当前的图形对比度学习方法，并进一步提高了图对比度学习的鲁棒性。