用于预测蛋白质之间的界面触点的计算方法对于药物发现，因此可以显着地推进替代方法的准确性，例如蛋白质 - 蛋白质对接，蛋白质功能分析工具和其他用于蛋白质生物信息学的计算方法。在这项工作中，我们介绍了几何变压器，一种用于旋转的新型几何不变性的曲线图变压器，用于旋转和平移 - 不变的蛋白质接口接触预测，包装在膨胀的端到端预测管道内。 Deepinteract预测伴侣特异性蛋白质界面触点（即，蛋白质残留物 - 残留物接触）给出了两种蛋白质的3D三级结构作为输入。在严格的基准测试中，深入的蛋白质复杂目标来自第13和第14次CASP-CAPRI实验以及对接基准5，实现14％和1.1％顶部L / 5精度（L：蛋白质单位的长度） ， 分别。在这样做的情况下，使用几何变压器作为其基于图形的骨干，除了与深度兼容的其他图形的神经网络骨架之外，还优于接口接触预测的现有方法，从而验证了几何变压器学习丰富关系的有效性用于3D蛋白质结构下游任务的-Geometric特征。

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

We consider the prediction of interfaces between proteins, a challenging problem with important applications in drug discovery and design, and examine the performance of existing and newly proposed spatial graph convolution operators for this task. By performing convolution over a local neighborhood of a node of interest, we are able to stack multiple layers of convolution and learn effective latent representations that integrate information across the graph that represent the three dimensional structure of a protein of interest. An architecture that combines the learned features across pairs of proteins is then used to classify pairs of amino acid residues as part of an interface or not. In our experiments, several graph convolution operators yielded accuracy that is better than the state-of-the-art SVM method in this task. † denotes equal contribution 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA.

The field of geometric deep learning has had a profound impact on the development of innovative and powerful graph neural network architectures. Disciplines such as computer vision and computational biology have benefited significantly from such methodological advances, which has led to breakthroughs in scientific domains such as protein structure prediction and design. In this work, we introduce GCPNet, a new geometry-complete, SE(3)-equivariant graph neural network designed for 3D graph representation learning. We demonstrate the state-of-the-art utility and expressiveness of our method on six independent datasets designed for three distinct geometric tasks: protein-ligand binding affinity prediction, protein structure ranking, and Newtonian many-body systems modeling. Our results suggest that GCPNet is a powerful, general method for capturing complex geometric and physical interactions within 3D graphs for downstream prediction tasks. The source code, data, and instructions to train new models or reproduce our results are freely available on GitHub.

蛋白质复合物形成是生物学中的核心问题，参与了大部分细胞的过程，以及对应用是必不可少的，例如，药物设计或蛋白质工程。我们解决刚性体蛋白 - 蛋白质对接，即计算地预测来自个体未结合结构的蛋白质 - 蛋白质复合物的3D结构，假设在结合期间蛋白质内没有构象变化。我们设计一种新的成对独立的SE（3）-Quivariant的图形匹配网络，以预测旋转和翻译，以将其中一个蛋白质放置在右对接位置相对于第二蛋白质。我们在数学上保证了基本原理：无论两个结构的初始位置和方向如何，预测复合物都是相同的。我们的模型，名为Equidock，近似于绑定口袋并通过最佳传输和可分辨率的Kabsch算法实现，实现了使用关键点匹配和对准的对接姿势。凭经验，尽管没有依赖于沉重的候选抽样，结构细化或模板，我们才能实现显着的运行时间改进，并且通常优于现有的对接软件。

抗体设计对于治疗用法和生物学研究很有价值。现有的基于深度学习的方法遇到了几个关键问题：1）互补性区域（CDRS）生成的不完整上下文； 2）无法捕获输入结构的整个3D几何； 3）以自回归方式对CDR序列的效率低下。在本文中，我们提出了多通道等效的注意网络（平均值），这是一个能够共同设计1D序列和CDR的3D结构的端到端模型。要具体，平均值将抗体设计作为条件图翻译问题，通过导入包括靶抗原和抗体的轻链在内的额外组件。然后，平均诉诸于E（3） - 等级信息以及提出的注意机制，以更好地捕获不同组件之间的几何相关性。最后，它通过多轮渐进式完整射击方案来输出1D序列和3D结构，该方案在以前的自动回归方法上具有更高的效率。我们的方法显着超过了序列和结构建模，抗原结合抗体设计和结合亲和力优化的最新模型。具体而言，抗原结合CDR设计的相对改善约为22％，亲和力优化为34％。

我们考虑对具有3D结构的蛋白质的代表性学习。我们基于蛋白质结构构建3D图并开发图形网络以学习其表示形式。根据我们希望捕获的细节级别，可以在不同级别计算蛋白质表示，\ emph {e.g。}，氨基酸，骨干或全原子水平。重要的是，不同级别之间存在层次关系。在这项工作中，我们建议开发一个新型的层次图网络（称为pronet）来捕获关系。我们的pronet非常灵活，可用于计算不同水平粒度的蛋白质表示。我们表明，鉴于完整的基本3D图网络，我们的PRONET表示在所有级别上也已完成。为了关闭循环，我们开发了一个完整有效的3D图网络，以用作基本模型，从而使我们的pronet完成。我们对多个下游任务进行实验。结果表明，PRONET优于大多数数据集上的最新方法。此外，结果表明，不同的下游任务可能需要不同级别的表示。我们的代码可作为DIG库的一部分（\ url {https://github.com/divelab/dig}）。

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

3D空间中的空间结构对于确定分子特性是重要的。最近的论文使用几何深度学习来代表分子和预测性质。然而，这些论文在捕获输入原子的远程依赖性时在计算上昂贵;并且尚未考虑外部距离的不均匀性，因此未能学习不同尺度的上下文依赖表示。为了处理这些问题，我们引入了3D变压器，变压器的变型，用于结合3D空间信息的分子表示。 3D变压器在完全连接的图形上运行，在原子之间的直接连接。为了应对外部距离的不均匀性，我们开发了一种多尺度的自我关注模块，利用局部细粒度模式随着越来越多的上下文尺度来利用局部细粒度模式。由于不同尺寸的分子依赖于不同种类的空间特征，我们设计了一种自适应位置编码模块，用于针对小型和大分子采用不同的位置编码方法。最后，为了获得原子嵌入的分子表示，我们提出了一种殷勤最远的点采样算法，该算法在注意分数的帮助下选择一部分原子，克服虚拟节点的障碍和先前的距离 - 优势下采样方法。我们通过三个重要的科学域验证3D变压器：量子化学，物质科学和蛋白质组学。我们的实验表现出对晶体性能预测任务和蛋白质 - 配体结合亲和预测任务的最先进模型的显着改善，并且在量子化学分子数据集中显示了更好或更有竞争的性能。这项工作提供了明确的证据表明，生物化学任务可以从3D分子表示中获得一致的益处，不同的任务需要不同的位置编码方法。

计算抗体设计旨在自动创建与抗原结合的抗体。结合亲和力受3D结合界面的控制，其中抗体残基（角膜膜）与抗原残基（表位）紧密相互作用。因此，预测3D副观察复合物（对接）是找到最佳寄生虫的关键。在本文中，我们提出了一个新模型，称为层状码头和设计的名为层次层次的改进网络（HERN）。在对接过程中，Hern采用层次消息传递网络来预测原子力，并利用它们以迭代性，模棱两可的方式来完善结合复合物。在生成期间，其自动回解码器逐渐扩展了寄生虫，并构建了绑定界面的几何表示，以指导下一个残基选择。我们的结果表明，HERN在伞形对接和设计基准测试方面的先验最先进。

生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符，从蛋白质相互作用，一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功，我们目睹了表现形式学习技术的快速扩展，进入了这些网络的建模，分析和学习。在这篇综述中，我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础，解释其当前的成功和限制，并告知未来进步。我们综合了一系列算法方法，即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中，并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性，单细胞的异心行为及其对健康的影响，协助患者的诊断和治疗以及制定安全有效的药物。

蛋白质通过折叠到特定的3D结构来执行生物学功能。为了准确地模拟蛋白质结构，应仔细考虑氨基酸（例如侧链扭转角度和氨基酸际方向）之间的总体几何拓扑和局部细粒关系。在这项工作中，我们提出了定向的体重神经网络，以更好地捕获不同氨基酸之间的几何关系。我们的新框架将单个重量从标量扩大到3D定向矢量，支持经典和SO（3）的丰富几何操作（3） - 表示特征，在其上，我们构建了一个可用于处理氨基酸的感知器单元信息。此外，我们还引入了一条蛋白质上的范式传递范式，以将定向权重的感知器插入现有的图形神经网络中，从而显示出在全球尺度上保持SO（3） - 均衡性方面的较高多功能性。实验表明，与经典的神经网络和（全球）模棱两可的网络相比，我们的网络在表示几何关系方面具有更好的表现力。它还在与蛋白质3D结构有关的各种计算生物学应用上实现最新性能。

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

Proteins are fundamental biological entities that play a key role in life activities. The amino acid sequences of proteins can be folded into stable 3D structures in the real physicochemical world, forming a special kind of sequence-structure data. With the development of Artificial Intelligence (AI) techniques, Protein Representation Learning (PRL) has recently emerged as a promising research topic for extracting informative knowledge from massive protein sequences or structures. To pave the way for AI researchers with little bioinformatics background, we present a timely and comprehensive review of PRL formulations and existing PRL methods from the perspective of model architectures, pretext tasks, and downstream applications. We first briefly introduce the motivations for protein representation learning and formulate it in a general and unified framework. Next, we divide existing PRL methods into three main categories: sequence-based, structure-based, and sequence-structure co-modeling. Finally, we discuss some technical challenges and potential directions for improving protein representation learning. The latest advances in PRL methods are summarized in a GitHub repository https://github.com/LirongWu/awesome-protein-representation-learning.

Machine learning (ML) is revolutionizing protein structural analysis, including an important subproblem of predicting protein residue contact maps, i.e., which amino-acid residues are in close spatial proximity given the amino-acid sequence of a protein. Despite recent progresses in ML-based protein contact prediction, predicting contacts with a wide range of distances (commonly classified into short-, medium- and long-range contacts) remains a challenge. Here, we propose a multiscale graph neural network (GNN) based approach taking a cue from multiscale physics simulations, in which a standard pipeline involving a recurrent neural network (RNN) is augmented with three GNNs to refine predictive capability for short-, medium- and long-range residue contacts, respectively. Test results on the ProteinNet dataset show improved accuracy for contacts of all ranges using the proposed multiscale RNN+GNN approach over the conventional approach, including the most challenging case of long-range contact prediction.

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.

蛋白质 - 配体相互作用（PLIS）是生化研究的基础，其鉴定对于估计合理治疗设计的生物物理和生化特性至关重要。目前，这些特性的实验表征是最准确的方法，然而，这是非常耗时和劳动密集型的。在这种情况下已经开发了许多计算方法，但大多数现有PLI预测大量取决于2D蛋白质序列数据。在这里，我们提出了一种新颖的并行图形神经网络（GNN），以集成PLI预测的知识表示和推理，以便通过专家知识引导的深度学习，并通过3D结构数据通知。我们开发了两个不同的GNN架构，GNNF是采用不同特种的基础实现，以增强域名认识，而GNNP是一种新颖的实现，可以预测未经分子间相互作用的先验知识。综合评价证明，GNN可以成功地捕获配体和蛋白质3D结构之间的二元相互作用，对于GNNF的测试精度和0.958，用于预测蛋白质 - 配体络合物的活性。这些模型进一步适用于回归任务以预测实验结合亲和力，PIC50对于药物效力和功效至关重要。我们在实验亲和力上达到0.66和0.65的Pearson相关系数，分别在PIC50和GNNP上进行0.50和0.51，优于基于2D序列的模型。我们的方法可以作为可解释和解释的人工智能（AI）工具，用于预测活动，效力和铅候选的生物物理性质。为此，我们通过筛选大型复合库并将我们的预测与实验测量数据进行比较来展示GNNP对SARS-COV-2蛋白靶标的实用性。