蛋白质通过折叠到特定的3D结构来执行生物学功能。为了准确地模拟蛋白质结构，应仔细考虑氨基酸（例如侧链扭转角度和氨基酸际方向）之间的总体几何拓扑和局部细粒关系。在这项工作中，我们提出了定向的体重神经网络，以更好地捕获不同氨基酸之间的几何关系。我们的新框架将单个重量从标量扩大到3D定向矢量，支持经典和SO（3）的丰富几何操作（3） - 表示特征，在其上，我们构建了一个可用于处理氨基酸的感知器单元信息。此外，我们还引入了一条蛋白质上的范式传递范式，以将定向权重的感知器插入现有的图形神经网络中，从而显示出在全球尺度上保持SO（3） - 均衡性方面的较高多功能性。实验表明，与经典的神经网络和（全球）模棱两可的网络相比，我们的网络在表示几何关系方面具有更好的表现力。它还在与蛋白质3D结构有关的各种计算生物学应用上实现最新性能。

The field of geometric deep learning has had a profound impact on the development of innovative and powerful graph neural network architectures. Disciplines such as computer vision and computational biology have benefited significantly from such methodological advances, which has led to breakthroughs in scientific domains such as protein structure prediction and design. In this work, we introduce GCPNet, a new geometry-complete, SE(3)-equivariant graph neural network designed for 3D graph representation learning. We demonstrate the state-of-the-art utility and expressiveness of our method on six independent datasets designed for three distinct geometric tasks: protein-ligand binding affinity prediction, protein structure ranking, and Newtonian many-body systems modeling. Our results suggest that GCPNet is a powerful, general method for capturing complex geometric and physical interactions within 3D graphs for downstream prediction tasks. The source code, data, and instructions to train new models or reproduce our results are freely available on GitHub.

我们考虑对具有3D结构的蛋白质的代表性学习。我们基于蛋白质结构构建3D图并开发图形网络以学习其表示形式。根据我们希望捕获的细节级别，可以在不同级别计算蛋白质表示，\ emph {e.g。}，氨基酸，骨干或全原子水平。重要的是，不同级别之间存在层次关系。在这项工作中，我们建议开发一个新型的层次图网络（称为pronet）来捕获关系。我们的pronet非常灵活，可用于计算不同水平粒度的蛋白质表示。我们表明，鉴于完整的基本3D图网络，我们的PRONET表示在所有级别上也已完成。为了关闭循环，我们开发了一个完整有效的3D图网络，以用作基本模型，从而使我们的pronet完成。我们对多个下游任务进行实验。结果表明，PRONET优于大多数数据集上的最新方法。此外，结果表明，不同的下游任务可能需要不同级别的表示。我们的代码可作为DIG库的一部分（\ url {https://github.com/divelab/dig}）。

用于预测蛋白质之间的界面触点的计算方法对于药物发现，因此可以显着地推进替代方法的准确性，例如蛋白质 - 蛋白质对接，蛋白质功能分析工具和其他用于蛋白质生物信息学的计算方法。在这项工作中，我们介绍了几何变压器，一种用于旋转的新型几何不变性的曲线图变压器，用于旋转和平移 - 不变的蛋白质接口接触预测，包装在膨胀的端到端预测管道内。 Deepinteract预测伴侣特异性蛋白质界面触点（即，蛋白质残留物 - 残留物接触）给出了两种蛋白质的3D三级结构作为输入。在严格的基准测试中，深入的蛋白质复杂目标来自第13和第14次CASP-CAPRI实验以及对接基准5，实现14％和1.1％顶部L / 5精度（L：蛋白质单位的长度） ， 分别。在这样做的情况下，使用几何变压器作为其基于图形的骨干，除了与深度兼容的其他图形的神经网络骨架之外，还优于接口接触预测的现有方法，从而验证了几何变压器学习丰富关系的有效性用于3D蛋白质结构下游任务的-Geometric特征。

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

Proteins are fundamental biological entities that play a key role in life activities. The amino acid sequences of proteins can be folded into stable 3D structures in the real physicochemical world, forming a special kind of sequence-structure data. With the development of Artificial Intelligence (AI) techniques, Protein Representation Learning (PRL) has recently emerged as a promising research topic for extracting informative knowledge from massive protein sequences or structures. To pave the way for AI researchers with little bioinformatics background, we present a timely and comprehensive review of PRL formulations and existing PRL methods from the perspective of model architectures, pretext tasks, and downstream applications. We first briefly introduce the motivations for protein representation learning and formulate it in a general and unified framework. Next, we divide existing PRL methods into three main categories: sequence-based, structure-based, and sequence-structure co-modeling. Finally, we discuss some technical challenges and potential directions for improving protein representation learning. The latest advances in PRL methods are summarized in a GitHub repository https://github.com/LirongWu/awesome-protein-representation-learning.

3D相关的电感偏见，例如翻译不变性和旋转率偏差，对于在3D原子图（例如分子）上运行的图形神经网络是必不可少的。受到变压器在各个领域的成功的启发，我们研究了如何将这些电感偏置纳入变压器。在本文中，我们提出了Equibrouner，这是一个图形神经网络，利用了变压器体系结构的强度，并结合了基于不可减至表示（IRREPS）的$ SE（3）/e（3）$ - 均值功能。 IRREPS在通道尺寸中的编码均值信息而不使图形结构复杂化。简单性使我们能够通过用eproimiant对应物替换原始操作来直接合并它们。此外，为了更好地适应3D图，我们提出了一种新颖的模棱两可的图形注意力，该图都考虑了内容和几何信息，例如IRRERPS特征中包含的相对位置。为了提高注意力的表现力，我们用多层感知器的注意力取代了点产品的注意力，并包括非线性消息传递。我们在两个量子性能预测数据集（QM9和OC20）上进行基准测试。对于QM9，在接受相同数据分区训练的模型中，Equibourer在12个回归任务中的11个中取得了最佳结果。对于OC20，在使用IS2RE数据和IS2RS数据的培训设置下，Equibourer对最先进的模型进行了改进。复制所有主要结果的代码将很快获得。

基于合并和处理对称信息的神经网络架构的几何深度学习（GDL）已经成为人工智能最近的范式。GDL在分子建模应用中具有特定的承诺，其中存在具有不同对称性和抽象水平的各种分子表示。本综述提供了分子GDL的结构化和协调概述，突出了其在药物发现，化学合成预测和量子化学中的应用。重点是学习的分子特征的相关性及其对成熟的分子描述符的互补性。本综述概述了当前的挑战和机会，并提出了用于分子科学GDL的未来的预测。

抗体设计对于治疗用法和生物学研究很有价值。现有的基于深度学习的方法遇到了几个关键问题：1）互补性区域（CDRS）生成的不完整上下文； 2）无法捕获输入结构的整个3D几何； 3）以自回归方式对CDR序列的效率低下。在本文中，我们提出了多通道等效的注意网络（平均值），这是一个能够共同设计1D序列和CDR的3D结构的端到端模型。要具体，平均值将抗体设计作为条件图翻译问题，通过导入包括靶抗原和抗体的轻链在内的额外组件。然后，平均诉诸于E（3） - 等级信息以及提出的注意机制，以更好地捕获不同组件之间的几何相关性。最后，它通过多轮渐进式完整射击方案来输出1D序列和3D结构，该方案在以前的自动回归方法上具有更高的效率。我们的方法显着超过了序列和结构建模，抗原结合抗体设计和结合亲和力优化的最新模型。具体而言，抗原结合CDR设计的相对改善约为22％，亲和力优化为34％。

蛋白质复合物形成是生物学中的核心问题，参与了大部分细胞的过程，以及对应用是必不可少的，例如，药物设计或蛋白质工程。我们解决刚性体蛋白 - 蛋白质对接，即计算地预测来自个体未结合结构的蛋白质 - 蛋白质复合物的3D结构，假设在结合期间蛋白质内没有构象变化。我们设计一种新的成对独立的SE（3）-Quivariant的图形匹配网络，以预测旋转和翻译，以将其中一个蛋白质放置在右对接位置相对于第二蛋白质。我们在数学上保证了基本原理：无论两个结构的初始位置和方向如何，预测复合物都是相同的。我们的模型，名为Equidock，近似于绑定口袋并通过最佳传输和可分辨率的Kabsch算法实现，实现了使用关键点匹配和对准的对接姿势。凭经验，尽管没有依赖于沉重的候选抽样，结构细化或模板，我们才能实现显着的运行时间改进，并且通常优于现有的对接软件。

在3D点云上的应用程序越来越需要效率和鲁棒性，在自动驾驶和机器人技术等场景中无处不在使用边缘设备，这通常需要实时和可靠的响应。该论文通过设计一个通用框架来应对挑战，以构建具有（3）均衡和网络二元化的3D学习体系结构。然而，模棱两可的网络和二元化的幼稚组合会导致优化的计算效率或几何歧义。我们建议在网络中同时找到标量和向量特征，以避免这两种情况。确切地说，标量特征的存在使网络的主要部分是可动的，而矢量特征则可以保留丰富的结构信息并确保SO（3）均衡。提出的方法可以应用于PointNet和DGCNN等一般骨干。同时，对ModelNet40，Shapenet和现实世界数据集ScanObjectnn进行的实验表明，该方法在效率，旋转稳健性和准确性之间取决于巨大的权衡。这些代码可在https://github.com/zhuoinoulu/svnet上找到。

分子模拟的粗粒度（CG）通过将选定的原子分组为伪珠并大幅加速模拟来简化粒子的表示。但是，这种CG程序会导致信息损失，从而使准确的背景映射，即从CG坐标恢复细粒度（FG）坐标，这是一个长期存在的挑战。受生成模型和e象网络的最新进展的启发，我们提出了一个新型模型，该模型严格嵌入了背态转换的重要概率性质和几何一致性要求。我们的模型将FG的不确定性编码为不变的潜在空间，并通过Equivariant卷积将其解码为FG几何形状。为了标准化该领域的评估，我们根据分子动力学轨迹提供了三个综合基准。实验表明，我们的方法始终恢复更现实的结构，并以显着的边距胜过现有的数据驱动方法。

Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1 /4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76 % on MD17 and by 31 % on QM9. Our implementation is available online. 1

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

计算抗体设计旨在自动创建与抗原结合的抗体。结合亲和力受3D结合界面的控制，其中抗体残基（角膜膜）与抗原残基（表位）紧密相互作用。因此，预测3D副观察复合物（对接）是找到最佳寄生虫的关键。在本文中，我们提出了一个新模型，称为层状码头和设计的名为层次层次的改进网络（HERN）。在对接过程中，Hern采用层次消息传递网络来预测原子力，并利用它们以迭代性，模棱两可的方式来完善结合复合物。在生成期间，其自动回解码器逐渐扩展了寄生虫，并构建了绑定界面的几何表示，以指导下一个残基选择。我们的结果表明，HERN在伞形对接和设计基准测试方面的先验最先进。

包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。

如何设计有效，有效地折叠成所需结构的蛋白质序列？近年来，基于结构的蛋白质设计吸引了越来越多的关注。但是，由于缺乏表达性特征和自回归序列解码器，很少有方法可以同时提高准确性和效率。为了解决这些问题，我们提出了Prodesign，其中包含一种新型的残基特征和Prognn层，以一种单发的方式生成蛋白质序列，并改善恢复。实验表明，Prodesign可以在CATH 4.2上实现51.66 \％的回收率，而推理速度的速度比自动进取的竞争对手快70倍。此外，Prodesign分别在TS50和TS500上获得58.72 \％和60.42 \％的恢复分数。我们进行全面的消融研究，以揭示不同类型的蛋白质特征和模型设计的作用，从而激发了进一步的简化和改进。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.

群体模棱两可（例如，SE（3）均衡性）是科学的关键物理对称性，从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此，已经为将这种对称性编码为深神经网络而做出了巨大的努力，该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此，如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中，我们提出了一个框架来构建可以有效地近似几何量的se（3）等效图神经网络。受差异几何形状和物理学的启发，我们向图形神经网络介绍了局部完整帧，因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础，以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的，因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法：牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明，我们的模型在两种类型的数据集中达到了最佳或竞争性能。