We explore the downstream task performances for graph neural network (GNN) self-supervised learning (SSL) methods trained on subgraphs extracted from relational databases (RDBs). Intuitively, this joint use of SSL and GNNs should allow to leverage more of the available data, which could translate to better results. However, we found that naively porting contrastive SSL techniques can cause ``negative transfer'': linear evaluation on fixed representations from a pretrained model performs worse than on representations from the randomly-initialized model. Based on the conjecture that contrastive SSL conflicts with the message passing layers of the GNN, we propose InfoNode: a contrastive loss aiming to maximize the mutual information between a node's initial- and final-layer representation. The primary empirical results support our conjecture and the effectiveness of InfoNode.

图形神经网络是一种强大的深度学习工具，用于建模图形结构化数据，在众多图形学习任务上表现出了出色的性能。为了解决深图学习中的数据噪声和数据稀缺性问题，最近有关图形数据的研究已加剧。但是，常规数据增强方法几乎无法处理具有多模式性的非欧几里得空间中定义的图形结构化数据。在这项调查中，我们正式提出了图数据扩展的问题，并进一步审查了代表性技术及其在不同深度学习问题中的应用。具体而言，我们首先提出了图形数据扩展技术的分类法，然后通过根据增强信息方式对相关工作进行分类，从而提供结构化的审查。此外，我们总结了以数据为中心的深图学习中两个代表性问题中图数据扩展的应用：（1）可靠的图形学习，重点是增强输入图的实用性以及通过图数据增强的模型容量； （2）低资源图学习，其针对通过图数据扩大标记的训练数据量表的目标。对于每个问题，我们还提供层次结构问题分类法，并审查与图数据增强相关的现有文献。最后，我们指出了有希望的研究方向和未来研究的挑战。

自我监督的学习逐渐被出现为一种强大的图形表示学习技术。然而，在图表数据上进行可转换，概括和强大的表示学习仍然是对预训练图形神经网络的挑战。在本文中，我们提出了一种简单有效的自我监督的自我监督的预训练策略，命名为成对半图歧视（PHD），明确地预先在图形级别进行了图形神经网络。 PHD被设计为简单的二进制分类任务，以辨别两个半图是否来自同一源。实验表明，博士学位是一种有效的预训练策略，与最先进的策略相比，在13图分类任务上提供了可比或优越的性能，并在与节点级策略结合时实现了显着的改进。此外，所学习代表的可视化透露，博士策略确实赋予了模型来学习像分子支架等图形级知识。这些结果已将博士学位作为图形级别代表学习中的强大有效的自我监督的学习策略。

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

Graph structure learning (GSL), which aims to learn the adjacency matrix for graph neural networks (GNNs), has shown great potential in boosting the performance of GNNs. Most existing GSL works apply a joint learning framework where the estimated adjacency matrix and GNN parameters are optimized for downstream tasks. However, as GSL is essentially a link prediction task, whose goal may largely differ from the goal of the downstream task. The inconsistency of these two goals limits the GSL methods to learn the potential optimal graph structure. Moreover, the joint learning framework suffers from scalability issues in terms of time and space during the process of estimation and optimization of the adjacency matrix. To mitigate these issues, we propose a graph structure refinement (GSR) framework with a pretrain-finetune pipeline. Specifically, The pre-training phase aims to comprehensively estimate the underlying graph structure by a multi-view contrastive learning framework with both intra- and inter-view link prediction tasks. Then, the graph structure is refined by adding and removing edges according to the edge probabilities estimated by the pre-trained model. Finally, the fine-tuning GNN is initialized by the pre-trained model and optimized toward downstream tasks. With the refined graph structure remaining static in the fine-tuning space, GSR avoids estimating and optimizing graph structure in the fine-tuning phase which enjoys great scalability and efficiency. Moreover, the fine-tuning GNN is boosted by both migrating knowledge and refining graphs. Extensive experiments are conducted to evaluate the effectiveness (best performance on six benchmark datasets), efficiency, and scalability (13.8x faster using 32.8% GPU memory compared to the best GSL baseline on Cora) of the proposed model.

对比学习已被广​​泛应用于图形表示学习，其中观测发生器在产生有效的对比样本方面发挥着重要作用。大多数现有的对比学习方法采用预定义的视图生成方法，例如节点滴或边缘扰动，这通常不能适应输入数据或保持原始语义结构。为了解决这个问题，我们提出了一份名为自动化图形对比学习（AutoGCL）的小说框架。具体而言，AutoGCL采用一组由自动增强策略协调的一组学习图形视图生成器，其中每个图形视图生成器都会学习输入调节的图形的概率分布。虽然AutoGCL中的图形视图发生器在生成每个对比样本中保留原始图的最代表性结构，但自动增强学会在整个对比学习程序中介绍适当的增强差异的政策。此外，AutoGCL采用联合培训策略，以培训学习的视图发生器，图形编码器和分类器以端到端的方式，导致拓扑异质性，在产生对比样本时的语义相似性。关于半监督学习，无监督学习和转移学习的广泛实验展示了我们在图形对比学习中的最先进的自动支持者框架的优越性。此外，可视化结果进一步证实，与现有的视图生成方法相比，可学习的视图发生器可以提供更紧凑和语义有意义的对比样本。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

Many applications of machine learning require a model to make accurate predictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naïve strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.However, pre-training on graph datasets remains a hard challenge. Several key studies (

图神经网络的自我监督学习（SSL）正在成为利用未标记数据的有前途的方式。当前，大多数方法基于从图像域改编的对比度学习，该学习需要视图生成和足够数量的负样本。相比之下，现有的预测模型不需要负面抽样，但缺乏关于借口训练任务设计的理论指导。在这项工作中，我们提出了lagraph，这是基于潜在图预测的理论基础的预测SSL框架。 lagraph的学习目标被推导为自我监督的上限，以预测未观察到的潜在图。除了改进的性能外，Lagraph还为包括基于不变性目标的预测模型的最新成功提供了解释。我们提供了比较毛发与不同领域中相关方法的理论分析。我们的实验结果表明，劳拉在性能方面的优势和鲁棒性对于训练样本量减少了图形级别和节点级任务。

Molecular representation learning is crucial for the problem of molecular property prediction, where graph neural networks (GNNs) serve as an effective solution due to their structure modeling capabilities. Since labeled data is often scarce and expensive to obtain, it is a great challenge for GNNs to generalize in the extensive molecular space. Recently, the training paradigm of "pre-train, fine-tune" has been leveraged to improve the generalization capabilities of GNNs. It uses self-supervised information to pre-train the GNN, and then performs fine-tuning to optimize the downstream task with just a few labels. However, pre-training does not always yield statistically significant improvement, especially for self-supervised learning with random structural masking. In fact, the molecular structure is characterized by motif subgraphs, which are frequently occurring and influence molecular properties. To leverage the task-related motifs, we propose a novel paradigm of "pre-train, prompt, fine-tune" for molecular representation learning, named molecule continuous prompt tuning (MolCPT). MolCPT defines a motif prompting function that uses the pre-trained model to project the standalone input into an expressive prompt. The prompt effectively augments the molecular graph with meaningful motifs in the continuous representation space; this provides more structural patterns to aid the downstream classifier in identifying molecular properties. Extensive experiments on several benchmark datasets show that MolCPT efficiently generalizes pre-trained GNNs for molecular property prediction, with or without a few fine-tuning steps.

近年来，自我监督学习（SSL）已广泛探索。特别是，生成的SSL在自然语言处理和其他AI领域（例如BERT和GPT的广泛采用）中获得了新的成功。尽管如此，对比度学习 - 严重依赖结构数据的增强和复杂的培训策略，这是图SSL的主要方法，而迄今为止，生成SSL在图形上的进度（尤其是GAES）尚未达到潜在的潜力。正如其他领域所承诺的。在本文中，我们确定并检查对GAE的发展产生负面影响的问题，包括其重建目标，训练鲁棒性和错误指标。我们提出了一个蒙版的图形自动编码器Graphmae，该图可以减轻这些问题，以预处理生成性自我监督图。我们建议没有重建图形结构，而是提议通过掩盖策略和缩放余弦误差将重点放在特征重建上，从而使GraphMae的强大训练受益。我们在21个公共数据集上进行了大量实验，以实现三个不同的图形学习任务。结果表明，Graphmae-A简单的图形自动编码器具有仔细的设计-CAN始终在对比度和生成性最新基准相比，始终产生优于性的表现。这项研究提供了对图自动编码器的理解，并证明了在图上的生成自我监督预训练的潜力。

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at: https://github.com/Shen-Lab/GraphCL.

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

图表是一个宇宙数据结构，广泛用于组织现实世界中的数据。像交通网络，社交和学术网络这样的各种实际网络网络可以由图表代表。近年来，目睹了在网络中代表顶点的快速发展，进入低维矢量空间，称为网络表示学习。表示学习可以促进图形数据上的新算法的设计。在本调查中，我们对网络代表学习的当前文献进行了全面审查。现有算法可以分为三组：浅埋模型，异构网络嵌入模型，图形神经网络的模型。我们为每个类别审查最先进的算法，并讨论这些算法之间的基本差异。调查的一个优点是，我们系统地研究了不同类别的算法底层的理论基础，这提供了深入的见解，以更好地了解网络表示学习领域的发展。

在这项工作中，我们使用功能磁共振成像（fMRI）专注于具有挑战性的任务，神经疾病分类。在基于人群的疾病分析中，图卷积神经网络（GCN）取得了显着的成功。但是，这些成就与丰富的标记数据密不可分，对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类，我们建议在GCN上使用新颖的，理论驱动的自我监督学习（SSL）框架，即在FMRI分析门上用于时间自我监督学习的CCA。具体而言，要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此，我们研究了FMRI动态功能连接（FC）的几种新的图表增强策略，用于SSL培训。此外，我们利用规范相关分析（CCA）在不同的时间嵌入中，并呈现理论含义。因此，这产生了一个新颖的两步GCN学习程序，该过程包括在未标记的fMRI人群图上的（i）SSL组成，并且（ii）在小标记的fMRI数据集上进行了微调，以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试，这表明自闭症和痴呆症诊断方面表现出色。

本文研究了用于无监督场景的图形神经网络（GNN）的节点表示。具体地，我们推导了理论分析，并在不适当定义的监督信号时，在不同的图形数据集中提供关于GNN的非稳定性能的实证演示。 GNN的性能取决于节点特征平滑度和图形结构的局部性。为了平滑通过图形拓扑和节点功能测量的节点接近度的差异，我们提出了帆 - 一个小说\下划线{s} elf- \下划线{a} u段图对比度\下划线{i} ve \ nignline {l}收入框架，使用两个互补的自蒸馏正则化模块，\ emph {Ie}，内部和图间知识蒸馏。我们展示了帆在各种图形应用中的竞争性能。即使使用单个GNN层，Sail也在各种基准数据集中持续竞争或更好的性能，与最先进的基线相比。

图级表示在各种现实世界中至关重要，例如预测分子的特性。但是实际上，精确的图表注释通常非常昂贵且耗时。为了解决这个问题，图形对比学习构造实例歧视任务，将正面对（同一图的增强对）汇总在一起，并将负面对（不同图的增强对）推开，以进行无监督的表示。但是，由于为了查询，其负面因素是从所有图中均匀抽样的，因此现有方法遭受关键采样偏置问题的损失，即，否定物可能与查询具有相同的语义结构，从而导致性能降解。为了减轻这种采样偏见问题，在本文中，我们提出了一种典型的图形对比度学习（PGCL）方法。具体而言，PGCL通过将语义相似的图形群群归为同一组的群集数据的基础语义结构，并同时鼓励聚类的一致性，以实现同一图的不同增强。然后给出查询，它通过从与查询群集不同的群集中绘制图形进行负采样，从而确保查询及其阴性样本之间的语义差异。此外，对于查询，PGCL根据其原型（集群质心）和查询原型之间的距离进一步重新重新重新重新重新享受其负样本，从而使那些具有中等原型距离的负面因素具有相对较大的重量。事实证明，这种重新加权策略比统一抽样更有效。各种图基准的实验结果证明了我们的PGCL比最新方法的优势。代码可在https://github.com/ha-lins/pgcl上公开获取。

已经为图形生成模型提出了广泛的模型，需要采用有效的方法来评估其质量。到目前为止，大多数技术都使用基于子图计数的传统指标或随机初始化的图形神经网络（GNN）的表示。我们建议使用对比训练的GNN而不是随机GNN的表示形式，并表明这给出了更可靠的评估指标。但是，传统方法和基于GNN的方法都没有主导另一方：我们举例说明每种方法无法区分的示例。我们证明了图形子结构网络（GSN），以一种结合两种方法的方式，可以更好地区分图形数据集之间的距离。

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。