对比度学习是图表学习中有效的无监督方法。最近，基于数据增强的对比度学习方法已从图像扩展到图形。但是，大多数先前的作品都直接根据为图像设计的模型进行了调整。与图像上的数据增强不同，图表上的数据扩展远不那么直观，而且很难提供高质量的对比样本，这是对比度学习模型的性能的关键。这为改进现有图形对比学习框架留出了很多空间。在这项工作中，通过引入对抗图视图和信息正常化程序，我们提出了一种简单但有效的方法，即对逆向对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。它始终优于各种现实世界数据集的节点分类任务中当前的图形对比度学习方法，并进一步提高了图对比度学习的鲁棒性。

对比度学习是图表学习中的有效无监督方法，对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近，基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量，一些作品将此方法从图像扩展到图形。但是，与图像上的数据扩展不同，图上的数据扩展远不那么直观，而且很难提供高质量的对比样品，这为改进留出了很大的空间。在这项工作中，通过引入一个对抗性图视图以进行数据增强，我们提出了一种简单但有效的方法，对抗图对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术，并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点，从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明，面对对抗性攻击，Ariel更加强大。

Recently, contrastive learning (CL) has emerged as a successful method for unsupervised graph representation learning. Most graph CL methods first perform stochastic augmentation on the input graph to obtain two graph views and maximize the agreement of representations in the two views. Despite the prosperous development of graph CL methods, the design of graph augmentation schemes-a crucial component in CL-remains rarely explored. We argue that the data augmentation schemes should preserve intrinsic structures and attributes of graphs, which will force the model to learn representations that are insensitive to perturbation on unimportant nodes and edges. However, most existing methods adopt uniform data augmentation schemes, like uniformly dropping edges and uniformly shuffling features, leading to suboptimal performance. In this paper, we propose a novel graph contrastive representation learning method with adaptive augmentation that incorporates various priors for topological and semantic aspects of the graph. Specifically, on the topology level, we design augmentation schemes based on node centrality measures to highlight important connective structures. On the node attribute level, we corrupt node features by adding more noise to unimportant node features, to enforce the model to recognize underlying semantic information. We perform extensive experiments of node classification on a variety of real-world datasets. Experimental results demonstrate that our proposed method consistently outperforms existing state-of-the-art baselines and even surpasses some supervised counterparts, which validates the effectiveness of the proposed contrastive framework with adaptive augmentation. CCS CONCEPTS• Computing methodologies → Unsupervised learning; Neural networks; Learning latent representations.

从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。

对比学习在图表学习领域表现出了巨大的希望。通过手动构建正/负样本，大多数图对比度学习方法依赖于基于矢量内部产品的相似性度量标准来区分图形表示样品。但是，手工制作的样品构建（例如，图表的节点或边缘的扰动）可能无法有效捕获图形的固有局部结构。同样，基于矢量内部产品的相似性度量标准无法完全利用图形的局部结构来表征图差。为此，在本文中，我们提出了一种基于自适应子图生成的新型对比度学习框架，以实现有效且强大的自我监督图表示学习，并且最佳传输距离被用作子绘图之间的相似性度量。它的目的是通过捕获图的固有结构来生成对比样品，并根据子图的特征和结构同时区分样品。具体而言，对于每个中心节点，通过自适应学习关系权重与相应邻域的节点，我们首先开发一个网络来生成插值子图。然后，我们分别构建来自相同和不同节点的子图的正和负对。最后，我们采用两种类型的最佳运输距离（即Wasserstein距离和Gromov-Wasserstein距离）来构建结构化的对比损失。基准数据集上的广泛节点分类实验验证了我们的图形对比学习方法的有效性。

图对比度学习（GCL）改善了图表的学习，从而导致SOTA在各种下游任务上。图扩大步骤是GCL的重要但几乎没有研究的步骤。在本文中，我们表明，通过图表增强获得的节点嵌入是高度偏差的，在某种程度上限制了从学习下游任务的学习区分特征的对比模型。隐藏功能（功能增强）。受到所谓矩阵草图的启发，我们提出了Costa，这是GCL的一种新颖的协变功能空间增强框架，该框架通过维护原始功能的``好草图''来生成增强功能。为了强调Costa的特征增强功能的优势，我们研究了一个保存记忆和计算的单视图设置（除了多视图ONE）。我们表明，与基于图的模型相比，带有Costa的功能增强功能可比较/更好。

Inspired by the impressive success of contrastive learning (CL), a variety of graph augmentation strategies have been employed to learn node representations in a self-supervised manner. Existing methods construct the contrastive samples by adding perturbations to the graph structure or node attributes. Although impressive results are achieved, it is rather blind to the wealth of prior information assumed: with the increase of the perturbation degree applied on the original graph, 1) the similarity between the original graph and the generated augmented graph gradually decreases; 2) the discrimination between all nodes within each augmented view gradually increases. In this paper, we argue that both such prior information can be incorporated (differently) into the contrastive learning paradigm following our general ranking framework. In particular, we first interpret CL as a special case of learning to rank (L2R), which inspires us to leverage the ranking order among positive augmented views. Meanwhile, we introduce a self-ranking paradigm to ensure that the discriminative information among different nodes can be maintained and also be less altered to the perturbations of different degrees. Experiment results on various benchmark datasets verify the effectiveness of our algorithm compared with the supervised and unsupervised models.

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。

最近，最大化的互信息是一种强大的无监测图表表示学习的方法。现有方法通常有效地从拓扑视图中捕获信息但忽略特征视图。为了规避这个问题，我们通过利用功能和拓扑视图利用互信息最大化提出了一种新的方法。具体地，我们首先利用多视图表示学习模块来更好地捕获跨图形上的特征和拓扑视图的本地和全局信息内容。为了模拟由特征和拓扑空间共享的信息，我们使用相互信息最大化和重建损耗最小化开发公共表示学习模块。要明确鼓励图形表示之间的多样性在相同的视图中，我们还引入了一个分歧正则化，以扩大同一视图之间的表示之间的距离。合成和实际数据集的实验证明了集成功能和拓扑视图的有效性。特别是，与先前的监督方法相比，我们所提出的方法可以在无监督的代表和线性评估协议下实现可比或甚至更好的性能。

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

Existing graph contrastive learning methods rely on augmentation techniques based on random perturbations (e.g., randomly adding or dropping edges and nodes). Nevertheless, altering certain edges or nodes can unexpectedly change the graph characteristics, and choosing the optimal perturbing ratio for each dataset requires onerous manual tuning. In this paper, we introduce Implicit Graph Contrastive Learning (iGCL), which utilizes augmentations in the latent space learned from a Variational Graph Auto-Encoder by reconstructing graph topological structure. Importantly, instead of explicitly sampling augmentations from latent distributions, we further propose an upper bound for the expected contrastive loss to improve the efficiency of our learning algorithm. Thus, graph semantics can be preserved within the augmentations in an intelligent way without arbitrary manual design or prior human knowledge. Experimental results on both graph-level and node-level tasks show that the proposed method achieves state-of-the-art performance compared to other benchmarks, where ablation studies in the end demonstrate the effectiveness of modules in iGCL.

尽管图表学习（GRL）取得了重大进展，但要以足够的方式提取和嵌入丰富的拓扑结构和特征信息仍然是一个挑战。大多数现有方法都集中在本地结构上，并且无法完全融合全球拓扑结构。为此，我们提出了一种新颖的结构保留图表学习（SPGRL）方法，以完全捕获图的结构信息。具体而言，为了减少原始图的不确定性和错误信息，我们通过k-nearest邻居方法构建了特征图作为互补视图。该特征图可用于对比节点级别以捕获本地关系。此外，我们通过最大化整个图形和特征嵌入的相互信息（MI）来保留全局拓扑结构信息，从理论上讲，该信息可以简化为交换功能的特征嵌入和原始图以重建本身。广泛的实验表明，我们的方法在半监督节点分类任务上具有相当出色的性能，并且在图形结构或节点特征上噪声扰动下的鲁棒性出色。

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

图表表示学习（GRL）对于图形结构数据分析至关重要。然而，大多数现有的图形神经网络（GNNS）严重依赖于标签信息，这通常是在现实世界中获得的昂贵。现有无监督的GRL方法遭受某些限制，例如对单调对比和可扩展性有限的沉重依赖。为了克服上述问题，鉴于最近的图表对比学习的进步，我们通过曲线图介绍了一种新颖的自我监控图形表示学习算法，即通过利用所提出的调整变焦方案来学习节点表示来学习节点表示。具体地，该机制使G-Zoom能够从多个尺度的图表中探索和提取自我监督信号：MICRO（即，节点级别），MESO（即，邻域级）和宏（即，子图级） 。首先，我们通过两个不同的图形增强生成输入图的两个增强视图。然后，我们逐渐地从节点，邻近逐渐为上述三个尺度建立三种不同的对比度，在那里我们最大限度地提高了横跨尺度的图形表示之间的协议。虽然我们可以从微距和宏观视角上从给定图中提取有价值的线索，但是邻域级对比度基于我们的调整后的缩放方案提供了可自定义选项的能力，以便手动选择位于微观和介于微观之间的最佳视点宏观透视更好地理解图数据。此外，为了使我们的模型可扩展到大图，我们采用了并行图形扩散方法来从图形尺寸下解耦模型训练。我们对现实世界数据集进行了广泛的实验，结果表明，我们所提出的模型始终始终优于最先进的方法。

图神经网络（GNN）在学习图表表示方面取得了巨大成功，从而促进了各种与图形相关的任务。但是，大多数GNN方法都采用监督的学习设置，由于难以获得标记的数据，因此在现实世界中并不总是可行的。因此，图表自学学习一直在吸引越来越多的关注。图对比度学习（GCL）是自我监督学习的代表性框架。通常，GCL通过将语义上相似的节点（阳性样品）和不同的节点（阴性样品）与锚节点进行对比来学习节点表示。没有访问标签，通常通过数据增强产生阳性样品，而负样品是从整个图中均匀采样的，这导致了亚最佳目标。具体而言，数据增强自然限制了该过程中涉及的正样本的数量（通常只采用一个阳性样本）。另一方面，随机采样过程不可避免地选择假阴性样品（样品与锚共享相同的语义）。这些问题限制了GCL的学习能力。在这项工作中，我们提出了一个增强的目标，以解决上述问题。我们首先引入了一个不可能实现的理想目标，该目标包含所有正样本，没有假阴性样本。然后，基于对阳性和负样品进行采样的分布，将这个理想的目标转化为概率形式。然后，我们以节点相似性对这些分布进行建模，并得出增强的目标。各种数据集上的全面实验证明了在不同设置下提出的增强目标的有效性。

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at: https://github.com/Shen-Lab/GraphCL.

图对比度学习（GCL）一直是图形自学学习的新兴解决方案。 GCL的核心原理是在正视图中降低样品之间的距离，但在负视图中增加样品之间的距离。在实现有希望的性能的同时，当前的GCL方法仍然受到两个局限性：（1）增强的不可控制的有效性，该图扰动可能会产生针对语义和图形数据的特征流程的无效视图； （2）不可靠的二进制对比理由，对于非欧几里得图数据而言，难以确定构造观点的积极性和负面性。为了应对上述局限性，我们提出了一个新的对比度学习范式，即图形软对比度学习（GSCL），该范例通过排名的社区无需任何增强和二进制对比符合性，在较细性的范围内进行对比度学习。 GSCL建立在图接近的基本假设上，即连接的邻居比遥远的节点更相似。具体而言，我们在配对和列表的封闭式排名中，以保留附近的相对排名关系。此外，随着邻里规模的指数增长，考虑了更多的啤酒花，我们提出了提高学习效率的邻里抽样策略。广泛的实验结果表明，我们提出的GSCL可以始终如一地在各种公共数据集上实现与GCL相当复杂的各种公共数据集的最新性能。

在过去的几年中，图表学习（GRL）是分析图形结构数据的有力策略。最近，GRL方法通过采用用于图像的学习表示形式而开发的自我监督学习方法来显示出令人鼓舞的结果。尽管它们成功了，但现有的GRL方法倾向于忽略图像和图形之间的固有区别，即，假定图像是独立和相同分布的，而图表在数据实例之间显示了关系信息，即节点。为了完全受益于图形结构数据中固有的关系信息，我们提出了一种名为RGRL的新颖GRL方法，该方法从图形本身生成的关系信息中学习。 RGRL学习节点表示形式，使节点之间的关系是增强的不变性，即增强不变的关系，只要保留节点之间的关系，就可以改变节点表示。通过在全球和本地观点中考虑节点之间的关系，RGRL克服了对对比和非对抗性方法的局限性，并实现了两者中最好的。在各种下游任务上对十四个基准数据集进行了广泛的实验，证明了RGRL优于最先进的基线。 RGRL的源代码可在https://github.com/namkyeong/rgrl上获得。

尽管有关超图的机器学习吸引了很大的关注，但大多数作品都集中在（半）监督的学习上，这可能会导致繁重的标签成本和不良的概括。最近，对比学习已成为一种成功的无监督表示学习方法。尽管其他领域中对比度学习的发展繁荣，但对超图的对比学习仍然很少探索。在本文中，我们提出了Tricon（三个方向对比度学习），这是对超图的对比度学习的一般框架。它的主要思想是三个方向对比度，具体来说，它旨在在两个增强视图中最大化同一节点之间的协议（a），（b）在同一节点之间以及（c）之间，每个组之间的成员及其成员之间的协议（b） 。加上简单但令人惊讶的有效数据增强和负抽样方案，这三种形式的对比使Tricon能够在节点嵌入中捕获显微镜和介观结构信息。我们使用13种基线方法，5个数据集和两个任务进行了广泛的实验，这证明了Tricon的有效性，最明显的是，Tricon始终优于无监督的竞争对手，而且（半）受监督的竞争对手，大多数是由大量的节点分类的大量差额。