分子表示学习有助于多个下游任务，例如分子性质预测和药物设计。为了适当地代表分子，图形对比学习是一个有前途的范式，因为它利用自我监督信号并没有人类注释要求。但是，先前的作品未能将基本域名知识纳入图表语义，因此忽略了具有共同属性的原子之间的相关性，但不通过键连接连接。为了解决这些问题，我们构建化学元素知识图（KG），总结元素之间的微观关联，并提出了一种用于分子代表学习的新颖知识增强的对比学习（KCL）框架。 KCL框架由三个模块组成。第一个模块，知识引导的图形增强，基于化学元素kg增强原始分子图。第二模块，知识意识的图形表示，利用用于原始分子图的公共曲线图编码器和通过神经网络（KMPNN）的知识感知消息来提取分子表示来编码增强分子图中的复杂信息。最终模块是一种对比目标，在那里我们在分子图的这两个视图之间最大化协议。广泛的实验表明，KCL获得了八个分子数据集上的最先进基线的优异性能。可视化实验适当地解释了在增强分子图中从原子和属性中了解的KCL。我们的代码和数据可用于补充材料。

自我监督学习（SSL）是一种通过利用数据中固有的监督来学习数据表示的方法。这种学习方法是药物领域的焦点，由于耗时且昂贵的实验，缺乏带注释的数据。使用巨大未标记数据的SSL显示出在分子属性预测方面表现出色的性能，但存在一些问题。 （1）现有的SSL模型是大规模的；在计算资源不足的情况下实现SSL有限制。 （2）在大多数情况下，它们不利用3D结构信息进行分子表示学习。药物的活性与药物分子的结构密切相关。但是，大多数当前模型不使用3D信息或部分使用它。 （3）以前对分子进行对比学习的模型使用置换原子和键的增强。因此，具有不同特征的分子可以在相同的阳性样品中。我们提出了一个新颖的对比学习框架，用于分子属性预测的小规模3D图对比度学习（3DGCL），以解决上述问题。 3DGCL通过不改变药物语义的预训练过程来反映分子的结构来学习分子表示。仅使用1,128个样本用于预训练数据和100万个模型参数，我们在四个回归基准数据集中实现了最先进或可比性的性能。广泛的实验表明，基于化学知识的3D结构信息对于用于财产预测的分子表示学习至关重要。

分子表示学习（MRL）是建立机器学习与化学科学之间联系的关键步骤。特别是，它将分子编码为保留分子结构和特征的数值向量，在其上可以执行下游任务（例如，属性预测）。最近，MRL取得了相当大的进步，尤其是在基于深的分子图学习方法中。在这项调查中，我们系统地回顾了这些基于图的分子表示技术。具体而言，我们首先介绍2D和3D图分子数据集的数据和功能。然后，我们总结了专门为MRL设计的方法，并将其分为四种策略。此外，我们讨论了MRL支持的一些典型化学应用。为了促进该快速发展领域的研究，我们还列出了论文中的基准和常用数据集。最后，我们分享我们对未来研究方向的想法。

Many applications of machine learning require a model to make accurate predictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naïve strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.However, pre-training on graph datasets remains a hard challenge. Several key studies (

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

阐明并准确预测分子的吸毒性和生物活性在药物设计和发现中起关键作用，并且仍然是一个开放的挑战。最近，图神经网络（GNN）在基于图的分子属性预测方面取得了显着进步。但是，当前基于图的深度学习方法忽略了分子的分层信息以及特征通道之间的关系。在这项研究中，我们提出了一个精心设计的分层信息图神经网络框架（称为hignn），用于通过利用分子图和化学合成的可见的无限元素片段来预测分子特性。此外，首先在Hignn体系结构中设计了一个插件功能的注意块，以适应消息传递阶段后自适应重新校准原子特征。广泛的实验表明，Hignn在许多具有挑战性的药物发现相关基准数据集上实现了最先进的预测性能。此外，我们设计了一种分子碎片的相似性机制，以全面研究Hignn模型在子图水平上的解释性，表明Hignn作为强大的深度学习工具可以帮助化学家和药剂师识别出设计更好分子的关键分子，以设计更好的分子，以设计出所需的更好分子。属性或功能。源代码可在https://github.com/idruglab/hignn上公开获得。

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at: https://github.com/Shen-Lab/GraphCL.

Although substantial efforts have been made using graph neural networks (GNNs) for AI-driven drug discovery (AIDD), effective molecular representation learning remains an open challenge, especially in the case of insufficient labeled molecules. Recent studies suggest that big GNN models pre-trained by self-supervised learning on unlabeled datasets enable better transfer performance in downstream molecular property prediction tasks. However, they often require large-scale datasets and considerable computational resources, which is time-consuming, computationally expensive, and environmentally unfriendly. To alleviate these limitations, we propose a novel pre-training model for molecular representation learning, Bi-branch Masked Graph Transformer Autoencoder (BatmanNet). BatmanNet features two tailored and complementary graph autoencoders to reconstruct the missing nodes and edges from a masked molecular graph. To our surprise, BatmanNet discovered that the highly masked proportion (60%) of the atoms and bonds achieved the best performance. We further propose an asymmetric graph-based encoder-decoder architecture for either nodes and edges, where a transformer-based encoder only takes the visible subset of nodes or edges, and a lightweight decoder reconstructs the original molecule from the latent representation and mask tokens. With this simple yet effective asymmetrical design, our BatmanNet can learn efficiently even from a much smaller-scale unlabeled molecular dataset to capture the underlying structural and semantic information, overcoming a major limitation of current deep neural networks for molecular representation learning. For instance, using only 250K unlabelled molecules as pre-training data, our BatmanNet with 2.575M parameters achieves a 0.5% improvement on the average AUC compared with the current state-of-the-art method with 100M parameters pre-trained on 11M molecules.

领先的图对比度学习（GCL）方法在两个时尚中执行图形增强：（1）随机损坏锚图，这可能会导致语义信息的丢失，或（2）使用域知识维护显着特征，这破坏了对概括的概括其他域。从不变性看GCL时，我们认为高性能的增强应保留有关实例歧视的锚图的显着语义。为此，我们将GCL与不变的理由发现联系起来，并提出了一个新的框架，即理由吸引图形对比度学习（RGCL）。具体而言，没有监督信号，RGCL使用基本原理生成器来揭示有关图形歧视的显着特征作为理由，然后为对比度学习创建理由吸引的视图。这种理由意识到的预训练方案赋予了骨干模型具有强大的表示能力，从而进一步促进了下游任务的微调。在MNIST-SUPERPIXEL和MUTAG数据集上，对发现的理由的视觉检查展示了基本原理生成器成功捕获了显着特征（即区分图中的语义节点）。在生化分子和社交网络基准数据集上，RGCL的最新性能证明了理由意识到对比度学习的有效性。我们的代码可在https://github.com/lsh0520/rgcl上找到。

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

自我监督的学习逐渐被出现为一种强大的图形表示学习技术。然而，在图表数据上进行可转换，概括和强大的表示学习仍然是对预训练图形神经网络的挑战。在本文中，我们提出了一种简单有效的自我监督的自我监督的预训练策略，命名为成对半图歧视（PHD），明确地预先在图形级别进行了图形神经网络。 PHD被设计为简单的二进制分类任务，以辨别两个半图是否来自同一源。实验表明，博士学位是一种有效的预训练策略，与最先进的策略相比，在13图分类任务上提供了可比或优越的性能，并在与节点级策略结合时实现了显着的改进。此外，所学习代表的可视化透露，博士策略确实赋予了模型来学习像分子支架等图形级知识。这些结果已将博士学位作为图形级别代表学习中的强大有效的自我监督的学习策略。

Molecular representation learning is crucial for the problem of molecular property prediction, where graph neural networks (GNNs) serve as an effective solution due to their structure modeling capabilities. Since labeled data is often scarce and expensive to obtain, it is a great challenge for GNNs to generalize in the extensive molecular space. Recently, the training paradigm of "pre-train, fine-tune" has been leveraged to improve the generalization capabilities of GNNs. It uses self-supervised information to pre-train the GNN, and then performs fine-tuning to optimize the downstream task with just a few labels. However, pre-training does not always yield statistically significant improvement, especially for self-supervised learning with random structural masking. In fact, the molecular structure is characterized by motif subgraphs, which are frequently occurring and influence molecular properties. To leverage the task-related motifs, we propose a novel paradigm of "pre-train, prompt, fine-tune" for molecular representation learning, named molecule continuous prompt tuning (MolCPT). MolCPT defines a motif prompting function that uses the pre-trained model to project the standalone input into an expressive prompt. The prompt effectively augments the molecular graph with meaningful motifs in the continuous representation space; this provides more structural patterns to aid the downstream classifier in identifying molecular properties. Extensive experiments on several benchmark datasets show that MolCPT efficiently generalizes pre-trained GNNs for molecular property prediction, with or without a few fine-tuning steps.

这项工作考虑了在属性关系图（ARG）上表示表示的任务。 ARG中的节点和边缘都与属性/功能相关联，允许ARG编码在实际应用中广泛观察到的丰富结构信息。现有的图形神经网络提供了有限的能力，可以在局部结构环境中捕获复杂的相互作用，从而阻碍他们利用ARG的表达能力。我们提出了Motif卷积模块（MCM），这是一种新的基于基线的图表表示技术，以更好地利用本地结构信息。处理连续边缘和节点功能的能力是MCM比现有基于基础图案的模型的优势之一。 MCM以无监督的方式构建了一个主题词汇，并部署了一种新型的主题卷积操作，以提取单个节点的局部结构上下文，然后将其用于通过多层perceptron学习高级节点表示，并在图神经网络中传递消息。与其他图形学习方法进行分类的合成图相比，我们的方法在捕获结构环境方面要好得多。我们还通过将其应用于几个分子基准来证明我们方法的性能和解释性优势。

图对比度学习已被证明是图形神经网络（GNN）预训练的有效任务。但是，一个关键问题可能会严重阻碍现有作品中的代表权：当前方法创建的积极实例通常会错过图表的关键信息，甚至会错过非法实例（例如分子生成中的非化学意识图）。为了解决此问题，我们建议直接从训练集中的现有图中选择正图实例，该实例最终保持与目标图的合法性和相似性。我们的选择基于某些特定于域的成对相似性测量以及从层次图编码图中的相似性关系的采样。此外，我们开发了一种自适应节点级预训练方法，以动态掩盖节点在图中均匀分布。我们对来自各个域的$ 13 $图形分类和节点分类基准数据集进行了广泛的实验。结果表明，通过我们的策略预先培训的GNN模型可以胜过那些训练有素的从划痕模型以及通过现有方法获得的变体。

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

最近的作品以自我监督的方式探索学习图表表示。在图形对比学习中，基准方法应用各种图形增强方法。但是，大多数增强方法都是不可学习的，这导致发出不束缚的增强图。这种增强可以缩短曲线图对比学学习方法的表现能力。因此，我们激励我们的方法通过可学习的图形增强器来生成增强图，称为元图形增强器（Mega）。然后，我们阐明了“良好”的图形增强必须在特征级别的实例级别和信息性上具有均匀性。为此，我们提出了一种新颖的方法来学习图形增强者，可以以统一和信息性产生增强。图表增强器的目的是促进我们的特征提取网络，以学习更辨别的特征表示，这激励我们提出元学范式。经验上，多个基准数据集的实验表明，Mega优于图形自我监督学习任务中的最先进的方法。进一步的实验研究证明了巨型术语的有效性。

学习表达性分子表示对于促进分子特性的准确预测至关重要。尽管图形神经网络（GNNS）在分子表示学习中取得了显着进步，但它们通常面临诸如邻居探索，不足，过度光滑和过度阵列之类的局限性。同样，由于参数数量大，GNN通常具有较高的计算复杂性。通常，当面对相对大尺寸的图形或使用更深的GNN模型体系结构时，这种限制会出现或增加。克服这些问题的一个想法是将分子图简化为小型，丰富且有益的信息，这更有效，更具挑战性的培训GNN。为此，我们提出了一个新颖的分子图粗化框架，名为FUNQG利用函数组，作为分子的有影响力的构件来确定其性质，基于称为商图的图理论概念。通过实验，我们表明所产生的信息图比分子图小得多，因此是训练GNN的良好候选者。我们将FUNQG应用于流行的分子属性预测基准，然后比较所获得的数据集上的GNN体系结构的性能与原始数据集上的几个最先进的基线。通过实验，除了其参数数量和低计算复杂性的急剧减少之外，该方法除了其急剧减少之外，在各种数据集上的表现显着优于先前的基准。因此，FUNQG可以用作解决分子表示学习问题的简单，成本效益且可靠的方法。

图形对比学习（GCL）已成为学习图形无监督表示的有效工具。关键思想是通过数据扩展最大化每个图的两个增强视图之间的一致性。现有的GCL模型主要集中在给定情况下的所有图表上应用\ textit {相同的增强策略}。但是，实际图通常不是单态，而是各种本质的抽象。即使在相同的情况下（例如，大分子和在线社区），不同的图形可能需要各种增强来执行有效的GCL。因此，盲目地增强所有图表而不考虑其个人特征可能会破坏GCL艺术的表现。 {a} u Mentigation（GPA），通过允许每个图选择自己的合适的增强操作来推进常规GCL。本质上，GPA根据其拓扑属性和节点属性通过可学习的增强选择器为每个图定制了量身定制的增强策略，该策略是插件模块，可以通过端到端的下游GCL型号有效地训练。来自不同类型和域的11个基准图的广泛实验证明了GPA与最先进的竞争对手的优势。此外，通过可视化不同类型的数据集中学习的增强分布，我们表明GPA可以有效地识别最合适的数据集每个图的增强基于其特征。

3D空间中的空间结构对于确定分子特性是重要的。最近的论文使用几何深度学习来代表分子和预测性质。然而，这些论文在捕获输入原子的远程依赖性时在计算上昂贵;并且尚未考虑外部距离的不均匀性，因此未能学习不同尺度的上下文依赖表示。为了处理这些问题，我们引入了3D变压器，变压器的变型，用于结合3D空间信息的分子表示。 3D变压器在完全连接的图形上运行，在原子之间的直接连接。为了应对外部距离的不均匀性，我们开发了一种多尺度的自我关注模块，利用局部细粒度模式随着越来越多的上下文尺度来利用局部细粒度模式。由于不同尺寸的分子依赖于不同种类的空间特征，我们设计了一种自适应位置编码模块，用于针对小型和大分子采用不同的位置编码方法。最后，为了获得原子嵌入的分子表示，我们提出了一种殷勤最远的点采样算法，该算法在注意分数的帮助下选择一部分原子，克服虚拟节点的障碍和先前的距离 - 优势下采样方法。我们通过三个重要的科学域验证3D变压器：量子化学，物质科学和蛋白质组学。我们的实验表现出对晶体性能预测任务和蛋白质 - 配体结合亲和预测任务的最先进模型的显着改善，并且在量子化学分子数据集中显示了更好或更有竞争的性能。这项工作提供了明确的证据表明，生物化学任务可以从3D分子表示中获得一致的益处，不同的任务需要不同的位置编码方法。

Models that accurately predict properties based on chemical structure are valuable tools in drug discovery. However, for many properties, public and private training sets are typically small, and it is difficult for the models to generalize well outside of the training data. Recently, large language models have addressed this problem by using self-supervised pretraining on large unlabeled datasets, followed by fine-tuning on smaller, labeled datasets. In this paper, we report MolE, a molecular foundation model that adapts the DeBERTa architecture to be used on molecular graphs together with a two-step pretraining strategy. The first step of pretraining is a self-supervised approach focused on learning chemical structures, and the second step is a massive multi-task approach to learn biological information. We show that fine-tuning pretrained MolE achieves state-of-the-art results on 9 of the 22 ADMET tasks included in the Therapeutic Data Commons.