无监督的图形级别表示学习在各种任务中起着至关重要的作用，例如分子特性预测和社区分析，特别是当数据注释昂贵时。目前，大多数最佳性能的图形嵌入方法都基于InfoMax原理。如果样品未仔细选择样品，这些方法的性能高度取决于阴性样本的选择并损害性能。如果相似性匹配的所选图表组的质量低，则基于间的基于相似性的方法也受到影响。要解决此问题，我们仅关注利用当前输入图进行嵌入学习。我们通过真实世界的图形生成过程的观察，其中基于图形的所有元件共同形成的图形（例如，讨论螺纹的题目，分子的溶解度水平）是共同的一个或多个全局因素。我们假设提取这些常见因素可能是非常有益的。因此，这项工作提出了一个新的无监督图表表示学习的新原则：图表明智的共同潜在因子提取（GCFX）。我们进一步提出了一个深入的GCFX，DeepGCFX模型，基于逆转上述图形生成过程的想法，该过程可以明确地从输入图中提取共同的潜在因子并实现对当前状态的下游任务的改进结果-艺术。通过广泛的实验和分析，我们证明，在提取共同的潜在因素的同时有利于图形级任务来缓解由各个节点或本地社区的局部变体引起的分心，而是通过启用远程节点依赖性来利用节点级任务，特别是对于抗衡图。

This paper studies learning the representations of whole graphs in both unsupervised and semi-supervised scenarios. Graph-level representations are critical in a variety of real-world applications such as predicting the properties of molecules and community analysis in social networks. Traditional graph kernel based methods are simple, yet effective for obtaining fixed-length representations for graphs but they suffer from poor generalization due to hand-crafted designs. There are also some recent methods based on language models (e.g. graph2vec) but they tend to only consider certain substructures (e.g. subtrees) as graph representatives. Inspired by recent progress of unsupervised representation learning, in this paper we proposed a novel method called InfoGraph for learning graph-level representations. We maximize the mutual information between the graph-level representation and the representations of substructures of different scales (e.g., nodes, edges, triangles). By doing so, the graph-level representations encode aspects of the data that are shared across different scales of substructures. Furthermore, we further propose InfoGraph*, an extension of InfoGraph for semi-supervised scenarios. InfoGraph* maximizes the mutual information between unsupervised graph representations learned by InfoGraph and the representations learned by existing supervised methods. As a result, the supervised encoder learns from unlabeled data while preserving the latent semantic space favored by the current supervised task. Experimental results on the tasks of graph classification and molecular property prediction show that InfoGraph is superior to state-of-the-art baselines and InfoGraph* can achieve performance competitive with state-of-the-art semi-supervised models.

最近，在对图形结构数据上应用深度神经网络有很大的成功。然而，大多数工作侧重于节点或图形级监督学习，例如节点，链接或图形分类或节点级无监督学习（例如节点群集）。尽管其应用广泛，但图表级无监督的学习尚未受到很多关注。这可能主要归因于图形的高表示复杂性，可以由n表示！等效邻接矩阵，其中n是节点的数量。在这项工作中，我们通过提出用于图形结构数据的置换不变变化自动码器来解决此问题。我们所提出的模型间接学习以匹配输入和输出图的节点排序，而不施加特定节点排序或执行昂贵的图形匹配。我们展示了我们提出模型对各种图形重建和生成任务的有效性，并评估了下游图形水平分类和回归提取的表示的表现力。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

我们展示了拓扑转型等值表示学习，是图形数据节点表示的自我监督学习的一般范式，以实现图形卷积神经网络（GCNNS）的广泛适用性。通过在转换之前和之后的拓扑转换和节点表示之间的相互信息，从信息理论的角度来看，我们将提出的模型正式化。我们得出最大化这种相互信息可以放宽以最小化应用拓扑变换与节点表示之间的估计之间的跨熵。特别是，我们寻求从原始图表中采样节点对的子集，并在每对之间翻转边缘连接以改变图形拓扑。然后，我们通过从原始和变换图的特征表示重构拓扑转换来自动列出表示编码器以学习节点表示。在实验中，我们将所提出的模型应用于下游节点分类，图形分类和链路预测任务，结果表明，所提出的方法优于现有的无监督方法。

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

基于深度学习的分子建模的最新进步令人兴奋地加速硅药发现。可获得血清的生成模型，构建原子原子和键合或逐片键的分子。然而，许多药物发现项目需要固定的支架以存在于所生成的分子中，并纳入该约束仅探讨了该约束。在这里，我们提出了一种基于图形的模型，其自然地支持支架作为生成过程的初始种子，这是可能的，因为它不调节在发电历史上。我们的实验表明，Moler与最先进的方法进行了相当的方法，在无约会的分子优化任务上，并且在基于脚手架的任务上优于它们，而不是比现有方法从培训和样本更快的数量级。此外，我们展示了许多看似小设计选择对整体性能的影响。

We introduce a self-supervised approach for learning node and graph level representations by contrasting structural views of graphs. We show that unlike visual representation learning, increasing the number of views to more than two or contrasting multi-scale encodings do not improve performance, and the best performance is achieved by contrasting encodings from first-order neighbors and a graph diffusion. We achieve new state-ofthe-art results in self-supervised learning on 8 out of 8 node and graph classification benchmarks under the linear evaluation protocol. For example, on Cora (node) and Reddit-Binary (graph) classification benchmarks, we achieve 86.8% and 84.5% accuracy, which are 5.5% and 2.4% relative improvements over previous state-of-the-art. When compared to supervised baselines, our approach outperforms them in 4 out of 8 benchmarks.

关于图表的深度学习最近吸引了重要的兴趣。然而，大多数作品都侧重于（半）监督学习，导致缺点包括重标签依赖，普遍性差和弱势稳健性。为了解决这些问题，通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习（SSL）已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同，图表上的SSL具有独家背景，设计理念和分类。在图表的伞下自我监督学习，我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架，数学上正式地规范图表SSL的范例。根据借口任务的目标，我们将这些方法分为四类：基于生成的，基于辅助性的，基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用，并总结了绘图SSL的常用数据集，评估基准，性能比较和开源代码。最后，我们讨论了该研究领域的剩余挑战和潜在的未来方向。

在本文中，我们研究了在非全粒图上进行节点表示学习的自我监督学习的问题。现有的自我监督学习方法通​​常假定该图是同质的，其中链接的节点通常属于同一类或具有相似的特征。但是，这种同质性的假设在现实图表中并不总是正确的。我们通过为图神经网络开发脱钩的自我监督学习（DSSL）框架来解决这个问题。 DSSL模仿了节点的生成过程和语义结构的潜在变量建模的链接，该过程将不同邻域之间的不同基础语义解散到自我监督的节点学习过程中。我们的DSSL框架对编码器不可知，不需要预制的增强，因此对不同的图表灵活。为了通过潜在变量有效地优化框架，我们得出了自我监督目标的较低范围的证据，并开发了具有变异推理的可扩展培训算法。我们提供理论分析，以证明DSSL享有更好的下游性能。与竞争性的自我监督学习基线相比，对各种类图基准的广泛实验表明，我们提出的框架可以显着取得更好的性能。

Existing graph contrastive learning methods rely on augmentation techniques based on random perturbations (e.g., randomly adding or dropping edges and nodes). Nevertheless, altering certain edges or nodes can unexpectedly change the graph characteristics, and choosing the optimal perturbing ratio for each dataset requires onerous manual tuning. In this paper, we introduce Implicit Graph Contrastive Learning (iGCL), which utilizes augmentations in the latent space learned from a Variational Graph Auto-Encoder by reconstructing graph topological structure. Importantly, instead of explicitly sampling augmentations from latent distributions, we further propose an upper bound for the expected contrastive loss to improve the efficiency of our learning algorithm. Thus, graph semantics can be preserved within the augmentations in an intelligent way without arbitrary manual design or prior human knowledge. Experimental results on both graph-level and node-level tasks show that the proposed method achieves state-of-the-art performance compared to other benchmarks, where ablation studies in the end demonstrate the effectiveness of modules in iGCL.

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。

图级表示在各种现实世界中至关重要，例如预测分子的特性。但是实际上，精确的图表注释通常非常昂贵且耗时。为了解决这个问题，图形对比学习构造实例歧视任务，将正面对（同一图的增强对）汇总在一起，并将负面对（不同图的增强对）推开，以进行无监督的表示。但是，由于为了查询，其负面因素是从所有图中均匀抽样的，因此现有方法遭受关键采样偏置问题的损失，即，否定物可能与查询具有相同的语义结构，从而导致性能降解。为了减轻这种采样偏见问题，在本文中，我们提出了一种典型的图形对比度学习（PGCL）方法。具体而言，PGCL通过将语义相似的图形群群归为同一组的群集数据的基础语义结构，并同时鼓励聚类的一致性，以实现同一图的不同增强。然后给出查询，它通过从与查询群集不同的群集中绘制图形进行负采样，从而确保查询及其阴性样本之间的语义差异。此外，对于查询，PGCL根据其原型（集群质心）和查询原型之间的距离进一步重新重新重新重新重新享受其负样本，从而使那些具有中等原型距离的负面因素具有相对较大的重量。事实证明，这种重新加权策略比统一抽样更有效。各种图基准的实验结果证明了我们的PGCL比最新方法的优势。代码可在https://github.com/ha-lins/pgcl上公开获取。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

图表是一个宇宙数据结构，广泛用于组织现实世界中的数据。像交通网络，社交和学术网络这样的各种实际网络网络可以由图表代表。近年来，目睹了在网络中代表顶点的快速发展，进入低维矢量空间，称为网络表示学习。表示学习可以促进图形数据上的新算法的设计。在本调查中，我们对网络代表学习的当前文献进行了全面审查。现有算法可以分为三组：浅埋模型，异构网络嵌入模型，图形神经网络的模型。我们为每个类别审查最先进的算法，并讨论这些算法之间的基本差异。调查的一个优点是，我们系统地研究了不同类别的算法底层的理论基础，这提供了深入的见解，以更好地了解网络表示学习领域的发展。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

We present Deep Graph Infomax (DGI), a general approach for learning node representations within graph-structured data in an unsupervised manner. DGI relies on maximizing mutual information between patch representations and corresponding high-level summaries of graphs-both derived using established graph convolutional network architectures. The learnt patch representations summarize subgraphs centered around nodes of interest, and can thus be reused for downstream node-wise learning tasks. In contrast to most prior approaches to unsupervised learning with GCNs, DGI does not rely on random walk objectives, and is readily applicable to both transductive and inductive learning setups. We demonstrate competitive performance on a variety of node classification benchmarks, which at times even exceeds the performance of supervised learning.

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at: https://github.com/Shen-Lab/GraphCL.