我们提出了分子法律网络（MOOMIN）一种由阿斯利康肿瘤学家使用的多模式图神经网络，以预测用于癌症治疗的药物组合的协同作用。我们的模型基于药物蛋白质相互作用网络和元数据以多种尺度学习药物表示。对化合物和蛋白质的结构特性进行编码，以创建在双方相互作用图上运行的消息通话方案的顶点特征。传播消息形成多分辨率的药物表示，我们用来创建药物对描述符。通过调节癌细胞类型的药物组合表示形式，我们定义了一种协同评分功能，该功能可以感应地评分看不见的药物对。有关协同评分任务的实验结果表明，穆明的表现优于最先进的图形指纹，保持节点嵌入以及现有的深度学习方法。进一步的结果表明，我们的模型的预测性能对超参数变化是可靠的。我们证明该模型可以在癌细胞系组织中进行高质量的预测，样本外预测可以通过外部协同效应数据库进行验证，并且所提出的模型在学习方面有效。

药物 - 药物相互作用（DDIS）可能会阻碍药物的功能，在最坏的情况下，它们可能导致不良药物反应（ADR）。预测所有DDI是一个具有挑战性且关键的问题。大多数现有的计算模型都集成了来自不同来源的药物中心信息，并利用它们作为机器学习分类器中的功能来预测DDIS。但是，这些模型有很大的失败机会，尤其是对于所有信息都没有可用的新药。本文提出了一个新型的HyperGraph神经网络（HYGNN）模型，仅基于用于DDI预测问题的任何药物的微笑串。为了捕获药物的相似性，我们创建了从微笑字符串中提取的药物的化学子结构中创建的超图。然后，我们开发了由新型的基于注意力的超图边缘编码器组成的HYGNN，以使药物的表示形式和解码器，以预测药物对之间的相互作用。此外，我们进行了广泛的实验，以评估我们的模型并将其与几种最新方法进行比较。实验结果表明，我们提出的HYGNN模型有效地预测了DDI，并以最大的ROC-AUC和PR-AUC分别超过基准，分别为97.9％和98.1％。

生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符，从蛋白质相互作用，一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功，我们目睹了表现形式学习技术的快速扩展，进入了这些网络的建模，分析和学习。在这篇综述中，我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础，解释其当前的成功和限制，并告知未来进步。我们综合了一系列算法方法，即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中，并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性，单细胞的异心行为及其对健康的影响，协助患者的诊断和治疗以及制定安全有效的药物。

在本文中，我们研究了在药物对评分的背景下，将图形的分布式表示形式纳入模型的实用性和实用性。我们认为，现实世界的增长和更新毒品对分数数据集的周期，颠覆了与分布式表示相关的转导学习的局限性。此外，我们认为，由于原子类型有限和对化学强制执行的键合模式的限制，因此在药物集中引起的离散子结构模式的词汇并不大。基于这个借口，我们探讨了药物对评分任务中药物分子图的分布式表示的有效性，例如药物协同作用，多药和药物 - 药物相互作用预测。为了实现这一目标，我们提出了一种学习和将图形分布式表示形式纳入统一的药物对评分框架中的方法。随后，我们增加了许多最新和最先进的模型来利用我们的嵌入。我们从经验上表明，这些嵌入的合并改善了不同药物对评分任务的几乎每个模型的下游性能，即使是原始模型也不是为了设计的。我们将公开释放所有药物嵌入为DugcomBDB，Drugcomb，Drugbankddi和Twosides数据集。

In recent years, numerous machine learning models which attempt to solve polypharmacy side effect identification, drug-drug interaction prediction and combination therapy design tasks have been proposed. Here, we present a unified theoretical view of relational machine learning models which can address these tasks. We provide fundamental definitions, compare existing model architectures and discuss performance metrics, datasets and evaluation protocols. In addition, we emphasize possible high impact applications and important future research directions in this domain.

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

抗癌药物的发现是偶然的，我们试图介绍开放的分子图学习基准，称为Cantidrug4cancer，这是一个具有挑战性且逼真的基准数据集，可促进可扩展，健壮和可重复的图形机器学习用于抗癌药物发现的机器学习研究。候选物4CANCER数据集涵盖了多个最多的癌症靶标，涵盖了54869个与癌症相关的药物分子，其范围从临床前，临床和FDA批准的范围内。除了构建数据集外，我们还使用描述符和表达性图神经网络进行了有效的药物靶点相互作用（DTI）预测基准的基准实验。实验结果表明，候选物4Cancer在实际应用中对学习分子图和目标提出了重大挑战，这表明将来有机会开发用于治疗癌症的候选药物的研究。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

多药物（定义为使用多种药物）是一种标准治疗方法，尤其是对于严重和慢性疾病。但是，将多种药物一起使用可能会导致药物之间的相互作用。药物 - 药物相互作用（DDI）是一种与另一种药物结合时的影响发生变化时发生的活性。 DDI可能会阻塞，增加或减少药物的预期作用，或者在最坏情况下，会产生不利的副作用。虽然准时检测DDI至关重要，但由于持续时间短，并且在临床试验中识别它们是时间的，而且昂贵，并且要考虑许多可能的药物对进行测试。结果，需要计算方法来预测DDI。在本文中，我们提出了一种新型的异质图注意模型Han-DDI，以预测药物 - 药物相互作用。我们建立了具有不同生物实体的药物网络。然后，我们开发了一个异质的图形注意网络，以使用药物与其他实体的关系学习DDI。它由一个基于注意力的异质图节点编码器组成，用于获得药物节点表示和用于预测药物相互作用的解码器。此外，我们利用全面的实验来评估我们的模型并将其与最先进的模型进行比较。实验结果表明，我们提出的方法Han-DDI的表现可以显着，准确地预测DDI，即使对于新药也是如此。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

预测药物目标相互作用是药物发现的关键。最近基于深度学习的方法显示出令人鼓舞的表现，但仍有两个挑战：（i）如何明确建模并学习药物与目标之间的局部互动，以更好地预测和解释； （ii）如何从不同分布的新型药物目标对上概括预测性能。在这项工作中，我们提出了Dugban，这是一个深层双线性注意网络（BAN）框架，并适应了域的适应性，以明确学习药物与目标之间的配对局部相互作用，并适应了分布数据外的数据。 Dugban在药物分子图和靶蛋白序列上进行预测的作品，有条件结构域对抗性学习，以使跨不同分布的学习相互作用表示，以更好地对新型药物目标对进行更好的概括。在内域和跨域设置下，在三个基准数据集上进行的实验表明，对于五个最先进的基准，Dugban取得了最佳的总体表现。此外，可视化学习的双线性注意图图提供了可解释的见解，从预测结果中提供了可解释的见解。

Molecular machine learning has been maturing rapidly over the last few years.Improved methods and the presence of larger datasets have enabled machine learning algorithms to make increasingly accurate predictions about molecular properties. However, algorithmic progress has been limited due to the lack of a standard benchmark to compare the efficacy of proposed methods; most new algorithms are benchmarked on different datasets making it challenging to gauge the quality of proposed methods. This work introduces MoleculeNet, a large scale benchmark for molecular machine learning. MoleculeNet curates multiple public datasets, establishes metrics for evaluation, and offers high quality open-source implementations of multiple previously proposed molecular featurization and learning algorithms (released as part of the DeepChem

Many applications of machine learning require a model to make accurate predictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naïve strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.However, pre-training on graph datasets remains a hard challenge. Several key studies (

Graph神经网络（GNN）最近已成为使用图的机器学习的主要范式。对GNNS的研究主要集中于消息传递神经网络（MPNNS）的家族。与同构的Weisfeiler-Leman（WL）测试类似，这些模型遵循迭代的邻域聚合过程以更新顶点表示，并通过汇总顶点表示来更新顶点图表。尽管非常成功，但在过去的几年中，对MPNN进行了深入的研究。因此，需要新颖的体系结构，这将使该领域的研究能够脱离MPNN。在本文中，我们提出了一个新的图形神经网络模型，即所谓的$ \ pi $ -gnn，该模型学习了每个图的“软”排列（即双随机）矩阵，从而将所有图形投影到一个共同的矢量空间中。学到的矩阵在输入图的顶点上强加了“软”顺序，并基于此顺序，将邻接矩阵映射到向量中。这些向量可以被送入完全连接或卷积的层，以应对监督的学习任务。在大图的情况下，为了使模型在运行时间和记忆方面更有效，我们进一步放松了双随机矩阵，以使其排列随机矩阵。我们从经验上评估了图形分类和图形回归数据集的模型，并表明它与最新模型达到了性能竞争。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

刺激：鉴定药物靶标相互作用（DTIS）是药物重新定位的关键步骤。近年来，大量基因组学和药理学数据的积累已经形成了大众药物和目标相关的异构网络（HNS），这提供了开发基于HN的计算模型的新机遇，以准确地预测DTI。 HN意味着许多有关DTI的有用信息，还包含无关的数据，以及如何使最佳的异构网络仍然是一个挑战。结果：在本文中，我们提出了一种基于异构的图形自动元路径学习的DTI预测方法（Hampdti）。 Hampdti从HN自动学习药物和目标之间的重要元路径，并产生元路径图。对于每个元路径图，从药物分子图和靶蛋白序列中学习的特征用作节点属性，然后设计了有效地考虑节点类型信息（药物或目标）的节点类型特定图卷积网络（NSGCN）学习药物和目标的嵌入。最后，组合来自多个元路径图的嵌入式以预测新的DTI。基准数据集的实验表明，与最先进的DTI预测方法相比，我们提出的Hampdti实现了卓越的性能。更重要的是，Hampdti识别DTI预测的重要元路径，这可以解释药物如何与HNS中的目标连接。

蛋白质 - 配体相互作用（PLIS）是生化研究的基础，其鉴定对于估计合理治疗设计的生物物理和生化特性至关重要。目前，这些特性的实验表征是最准确的方法，然而，这是非常耗时和劳动密集型的。在这种情况下已经开发了许多计算方法，但大多数现有PLI预测大量取决于2D蛋白质序列数据。在这里，我们提出了一种新颖的并行图形神经网络（GNN），以集成PLI预测的知识表示和推理，以便通过专家知识引导的深度学习，并通过3D结构数据通知。我们开发了两个不同的GNN架构，GNNF是采用不同特种的基础实现，以增强域名认识，而GNNP是一种新颖的实现，可以预测未经分子间相互作用的先验知识。综合评价证明，GNN可以成功地捕获配体和蛋白质3D结构之间的二元相互作用，对于GNNF的测试精度和0.958，用于预测蛋白质 - 配体络合物的活性。这些模型进一步适用于回归任务以预测实验结合亲和力，PIC50对于药物效力和功效至关重要。我们在实验亲和力上达到0.66和0.65的Pearson相关系数，分别在PIC50和GNNP上进行0.50和0.51，优于基于2D序列的模型。我们的方法可以作为可解释和解释的人工智能（AI）工具，用于预测活动，效力和铅候选的生物物理性质。为此，我们通过筛选大型复合库并将我们的预测与实验测量数据进行比较来展示GNNP对SARS-COV-2蛋白靶标的实用性。

分子机器学习的最新进展，特别是深度神经网络，如图形神经网络（GNNS），用于预测结构活动关系（SAR）在计算机辅助药物发现中表达了巨大的潜力。然而，这种深神经网络的适用性受到大量培训数据的限制。为了应对目标任务的有限培训数据，最近已采用对SAR建模的转移学习，从而利用相关任务数据的信息。在这项工作中，与最流行的基于参数的转移学习相比，诸如预先估计的基于流行的传输学习，我们开发了新颖的深度传输学习方法TAC和TAC-FC来利用源域数据并将有用信息传送到目标域。 TAC学习生成可以从一个域概括到另一个域的有效分子特征，并提高目标域中的分类性能。另外，TAC-FC通过掺入新的组分来选择性地学习特征和化合物方识的可转移性来延伸TAC。我们使用来自Pubchem的生物测定筛选数据，并确定了120对生物测定，使得与其无活性化合物相比，每对的活性化合物彼此更类似。总的来说，TAC实现了平均Roc-AUC的最佳性能为0.801;与最佳基线FCN-DMPNA（DT）相比，它显着提高了83％的目标任务的83％的目标任务，平均任务明智的性能提高为7.102％。我们的实验清楚地表明TAC在大量目标任务中对所有基线实现了重大改进。此外，尽管与TAC相比，TAC-FC略微较差的ROC-AUC（0.798 VS 0.801），但与其他方法相比，TAC-FC仍然在PR-AUC和F1方面实现了更好的性能。

预测分子系统的结构和能量特性是分子模拟的基本任务之一，并且具有化学，生物学和医学的用例。在过去的十年中，机器学习算法的出现影响了各种任务的分子模拟，包括原子系统的财产预测。在本文中，我们提出了一种新的方法，用于将从简单分子系统获得的知识转移到更复杂的知识中，并具有明显的原子和自由度。特别是，我们专注于高自由能状态的分类。我们的方法依赖于（i）分子的新型超图表，编码所有相关信息来表征构象的势能，以及（ii）新的消息传递和汇总层来处理和对此类超图结构数据进行预测。尽管问题的复杂性，但我们的结果表明，从三丙氨酸转移到DECA-丙氨酸系统的转移学习中，AUC的AUC为0.92。此外，我们表明，相同的转移学习方法可以用无监督的方式分组，在具有相似的自由能值的簇中，deca-丙氨酸的各种二级结构。我们的研究代表了一个概念证明，即可以设计用于分子系统的可靠传输学习模型，为预测生物学相关系统的结构和能量性能的未开发途径铺平道路。