这项工作考虑了在属性关系图（ARG）上表示表示的任务。 ARG中的节点和边缘都与属性/功能相关联，允许ARG编码在实际应用中广泛观察到的丰富结构信息。现有的图形神经网络提供了有限的能力，可以在局部结构环境中捕获复杂的相互作用，从而阻碍他们利用ARG的表达能力。我们提出了Motif卷积模块（MCM），这是一种新的基于基线的图表表示技术，以更好地利用本地结构信息。处理连续边缘和节点功能的能力是MCM比现有基于基础图案的模型的优势之一。 MCM以无监督的方式构建了一个主题词汇，并部署了一种新型的主题卷积操作，以提取单个节点的局部结构上下文，然后将其用于通过多层perceptron学习高级节点表示，并在图神经网络中传递消息。与其他图形学习方法进行分类的合成图相比，我们的方法在捕获结构环境方面要好得多。我们还通过将其应用于几个分子基准来证明我们方法的性能和解释性优势。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

Many applications of machine learning require a model to make accurate predictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naïve strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.However, pre-training on graph datasets remains a hard challenge. Several key studies (

分子表示学习有助于多个下游任务，例如分子性质预测和药物设计。为了适当地代表分子，图形对比学习是一个有前途的范式，因为它利用自我监督信号并没有人类注释要求。但是，先前的作品未能将基本域名知识纳入图表语义，因此忽略了具有共同属性的原子之间的相关性，但不通过键连接连接。为了解决这些问题，我们构建化学元素知识图（KG），总结元素之间的微观关联，并提出了一种用于分子代表学习的新颖知识增强的对比学习（KCL）框架。 KCL框架由三个模块组成。第一个模块，知识引导的图形增强，基于化学元素kg增强原始分子图。第二模块，知识意识的图形表示，利用用于原始分子图的公共曲线图编码器和通过神经网络（KMPNN）的知识感知消息来提取分子表示来编码增强分子图中的复杂信息。最终模块是一种对比目标，在那里我们在分子图的这两个视图之间最大化协议。广泛的实验表明，KCL获得了八个分子数据集上的最先进基线的优异性能。可视化实验适当地解释了在增强分子图中从原子和属性中了解的KCL。我们的代码和数据可用于补充材料。

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

Molecular representation learning is crucial for the problem of molecular property prediction, where graph neural networks (GNNs) serve as an effective solution due to their structure modeling capabilities. Since labeled data is often scarce and expensive to obtain, it is a great challenge for GNNs to generalize in the extensive molecular space. Recently, the training paradigm of "pre-train, fine-tune" has been leveraged to improve the generalization capabilities of GNNs. It uses self-supervised information to pre-train the GNN, and then performs fine-tuning to optimize the downstream task with just a few labels. However, pre-training does not always yield statistically significant improvement, especially for self-supervised learning with random structural masking. In fact, the molecular structure is characterized by motif subgraphs, which are frequently occurring and influence molecular properties. To leverage the task-related motifs, we propose a novel paradigm of "pre-train, prompt, fine-tune" for molecular representation learning, named molecule continuous prompt tuning (MolCPT). MolCPT defines a motif prompting function that uses the pre-trained model to project the standalone input into an expressive prompt. The prompt effectively augments the molecular graph with meaningful motifs in the continuous representation space; this provides more structural patterns to aid the downstream classifier in identifying molecular properties. Extensive experiments on several benchmark datasets show that MolCPT efficiently generalizes pre-trained GNNs for molecular property prediction, with or without a few fine-tuning steps.

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

建议图表神经网络（GNNS）在不考虑训练和测试图之间的不可知分布的情况下，诱导GNN的泛化能力退化在分布外（OOD）设置。这种退化的根本原因是大多数GNN是基于I.I.D假设开发的。在这种设置中，GNN倾向于利用在培训中存在的微妙统计相关性用于预测，即使它是杂散的相关性。然而，这种杂散的相关性可能在测试环境中改变，导致GNN的失败。因此，消除了杂散相关的影响对于稳定的GNN来说是至关重要的。为此，我们提出了一个普遍的因果代表框架，称为稳定凝球。主要思想是首先从图数据中提取高级表示，并诉诸因因果推理的显着能力，以帮助模型摆脱虚假相关性。特别是，我们利用图形池化层以提取基于子图的表示作为高级表示。此外，我们提出了一种因果变量区别，以纠正偏置训练分布。因此，GNN将更多地集中在稳定的相关性上。对合成和现实世界ood图数据集的广泛实验良好地验证了所提出的框架的有效性，灵活性和可解释性。

图对比度学习已被证明是图形神经网络（GNN）预训练的有效任务。但是，一个关键问题可能会严重阻碍现有作品中的代表权：当前方法创建的积极实例通常会错过图表的关键信息，甚至会错过非法实例（例如分子生成中的非化学意识图）。为了解决此问题，我们建议直接从训练集中的现有图中选择正图实例，该实例最终保持与目标图的合法性和相似性。我们的选择基于某些特定于域的成对相似性测量以及从层次图编码图中的相似性关系的采样。此外，我们开发了一种自适应节点级预训练方法，以动态掩盖节点在图中均匀分布。我们对来自各个域的$ 13 $图形分类和节点分类基准数据集进行了广泛的实验。结果表明，通过我们的策略预先培训的GNN模型可以胜过那些训练有素的从划痕模型以及通过现有方法获得的变体。

Graph神经网络（GNN）最近已成为使用图的机器学习的主要范式。对GNNS的研究主要集中于消息传递神经网络（MPNNS）的家族。与同构的Weisfeiler-Leman（WL）测试类似，这些模型遵循迭代的邻域聚合过程以更新顶点表示，并通过汇总顶点表示来更新顶点图表。尽管非常成功，但在过去的几年中，对MPNN进行了深入的研究。因此，需要新颖的体系结构，这将使该领域的研究能够脱离MPNN。在本文中，我们提出了一个新的图形神经网络模型，即所谓的$ \ pi $ -gnn，该模型学习了每个图的“软”排列（即双随机）矩阵，从而将所有图形投影到一个共同的矢量空间中。学到的矩阵在输入图的顶点上强加了“软”顺序，并基于此顺序，将邻接矩阵映射到向量中。这些向量可以被送入完全连接或卷积的层，以应对监督的学习任务。在大图的情况下，为了使模型在运行时间和记忆方面更有效，我们进一步放松了双随机矩阵，以使其排列随机矩阵。我们从经验上评估了图形分类和图形回归数据集的模型，并表明它与最新模型达到了性能竞争。

自我监督学习（SSL）是一种通过利用数据中固有的监督来学习数据表示的方法。这种学习方法是药物领域的焦点，由于耗时且昂贵的实验，缺乏带注释的数据。使用巨大未标记数据的SSL显示出在分子属性预测方面表现出色的性能，但存在一些问题。 （1）现有的SSL模型是大规模的；在计算资源不足的情况下实现SSL有限制。 （2）在大多数情况下，它们不利用3D结构信息进行分子表示学习。药物的活性与药物分子的结构密切相关。但是，大多数当前模型不使用3D信息或部分使用它。 （3）以前对分子进行对比学习的模型使用置换原子和键的增强。因此，具有不同特征的分子可以在相同的阳性样品中。我们提出了一个新颖的对比学习框架，用于分子属性预测的小规模3D图对比度学习（3DGCL），以解决上述问题。 3DGCL通过不改变药物语义的预训练过程来反映分子的结构来学习分子表示。仅使用1,128个样本用于预训练数据和100万个模型参数，我们在四个回归基准数据集中实现了最先进或可比性的性能。广泛的实验表明，基于化学知识的3D结构信息对于用于财产预测的分子表示学习至关重要。

学习表达性分子表示对于促进分子特性的准确预测至关重要。尽管图形神经网络（GNNS）在分子表示学习中取得了显着进步，但它们通常面临诸如邻居探索，不足，过度光滑和过度阵列之类的局限性。同样，由于参数数量大，GNN通常具有较高的计算复杂性。通常，当面对相对大尺寸的图形或使用更深的GNN模型体系结构时，这种限制会出现或增加。克服这些问题的一个想法是将分子图简化为小型，丰富且有益的信息，这更有效，更具挑战性的培训GNN。为此，我们提出了一个新颖的分子图粗化框架，名为FUNQG利用函数组，作为分子的有影响力的构件来确定其性质，基于称为商图的图理论概念。通过实验，我们表明所产生的信息图比分子图小得多，因此是训练GNN的良好候选者。我们将FUNQG应用于流行的分子属性预测基准，然后比较所获得的数据集上的GNN体系结构的性能与原始数据集上的几个最先进的基线。通过实验，除了其参数数量和低计算复杂性的急剧减少之外，该方法除了其急剧减少之外，在各种数据集上的表现显着优于先前的基准。因此，FUNQG可以用作解决分子表示学习问题的简单，成本效益且可靠的方法。

图形内核是历史上最广泛使用的图形分类任务的技术。然而，由于图的手工制作的组合特征，这些方法具有有限的性能。近年来，由于其性能卓越，图形神经网络（GNNS）已成为与下游图形相关任务的最先进的方法。大多数GNN基于消息传递神经网络（MPNN）框架。然而，最近的研究表明，MPNN不能超过Weisfeiler-Lehman（WL）算法在图形同构术中的力量。为了解决现有图形内核和GNN方法的限制，在本文中，我们提出了一种新的GNN框架，称为\ Texit {内核图形神经网络}（Kernnns），该框架将图形内核集成到GNN的消息传递过程中。通过卷积神经网络（CNNS）中的卷积滤波器的启发，KERGNNS采用可训练的隐藏图作为绘图过滤器，该绘图过滤器与子图组合以使用图形内核更新节点嵌入式。此外，我们表明MPNN可以被视为Kergnns的特殊情况。我们将Kergnns应用于多个与图形相关的任务，并使用交叉验证来与基准进行公平比较。我们表明，与现有的现有方法相比，我们的方法达到了竞争性能，证明了增加GNN的表现能力的可能性。我们还表明，KERGNNS中的训练有素的图形过滤器可以揭示数据集的本地图形结构，与传统GNN模型相比，显着提高了模型解释性。

Recently, graph neural networks (GNNs) have revolutionized the field of graph representation learning through effectively learned node embeddings, and achieved state-of-the-art results in tasks such as node classification and link prediction. However, current GNN methods are inherently flat and do not learn hierarchical representations of graphs-a limitation that is especially problematic for the task of graph classification, where the goal is to predict the label associated with an entire graph. Here we propose DIFFPOOL, a differentiable graph pooling module that can generate hierarchical representations of graphs and can be combined with various graph neural network architectures in an end-to-end fashion. DIFFPOOL learns a differentiable soft cluster assignment for nodes at each layer of a deep GNN, mapping nodes to a set of clusters, which then form the coarsened input for the next GNN layer. Our experimental results show that combining existing GNN methods with DIFFPOOL yields an average improvement of 5-10% accuracy on graph classification benchmarks, compared to all existing pooling approaches, achieving a new state-of-the-art on four out of five benchmark data sets.

需要产生具有所需特性的有效分子的分子产生是基本但具有挑战性的任务。近年来，目睹了原子级自动回归模型的快速发展，这通常构造在添加原子级节点和边缘的顺序动作之后的图表。然而，这些原子级模型忽略了高频子结构，其不仅捕获分子中原子组合的规律而且通常与所需的化学性质相关，因此可以是用于产生高质量分子的次优。在本文中，我们提出了一种方法来自动发现这种常见的子结构，从给定的分子图中呼叫图形件。我们还提出了一种基于图形件产生分子图的图片变形AutoEncoder（GP-VAE）。实验表明，我们的GP-VAE模型不仅可以实现更好的性能，而不是用于分发 - 学习，属性优化和约束性能优化任务，但也是计算效率的最先进的基线。

通过定向消息传递通过方向消息通过的图形神经网络最近在多个分子特性预测任务上设置了最先进的技术。然而，它们依赖于通常不可用的原子位置信息，并获得它通常非常昂贵甚至不可能。在本文中，我们提出了合成坐标，使得能够使用高级GNN而不需要真正的分子配置。我们提出了两个距离作为合成坐标：使用个性化PageRank的对称变体指定分子配置的粗糙范围和基于图的距离的距离界限。为了利用距离和角度信息，我们提出了一种将正常图形神经网络转换为定向MPNN的方法。我们表明，通过这种转变，我们可以将正常图形神经网络的误差减少55％在锌基准。我们还通过在SMP和DimeNet ++模型中纳入合成坐标，在锌和自由QM9上设定了最新技术。我们的实现可在线获取。

基于深度学习的分子建模的最新进步令人兴奋地加速硅药发现。可获得血清的生成模型，构建原子原子和键合或逐片键的分子。然而，许多药物发现项目需要固定的支架以存在于所生成的分子中，并纳入该约束仅探讨了该约束。在这里，我们提出了一种基于图形的模型，其自然地支持支架作为生成过程的初始种子，这是可能的，因为它不调节在发电历史上。我们的实验表明，Moler与最先进的方法进行了相当的方法，在无约会的分子优化任务上，并且在基于脚手架的任务上优于它们，而不是比现有方法从培训和样本更快的数量级。此外，我们展示了许多看似小设计选择对整体性能的影响。

我们研究了图神经网络（GNN）的解释性，作为阐明其工作机制的一步。尽管大多数当前方法都集中在解释图节点，边缘或功能上，但我们认为，作为GNNS的固有功能机制，消息流对执行解释性更为自然。为此，我们在这里提出了一种新颖的方法，即FlowX，以通过识别重要的消息流来解释GNN。为了量化流量的重要性，我们建议遵循合作游戏理论中沙普利价值观的哲学。为了解决计算所有联盟边际贡献的复杂性，我们提出了一个近似方案，以计算类似沙普利的值，作为进一步再分配训练的初步评估。然后，我们提出一种学习算法来训练流量评分并提高解释性。关于合成和现实世界数据集的实验研究表明，我们提出的FlowX导致GNN的解释性提高。

偶极矩是一个物理量，指示分子的极性，并通过反映成分原子的电性能和分子的几何特性来确定。大多数用于表示传统图神经网络方法中图表表示的嵌入方式将分子视为拓扑图，从而为识别几何信息的目标造成了重大障碍。与现有的嵌入涉及均值的嵌入不同，该嵌入适当地处理分子的3D结构不同，我们的拟议嵌入直接表达了偶极矩局部贡献的物理意义。我们表明，即使对于具有扩展几何形状的分子并捕获更多的原子相互作用信息，开发的模型甚至可以合理地工作，从而显着改善了预测结果，准确性与AB-Initio计算相当。