计算蛋白质设计，即推断与给定结构一致的新型和多样的蛋白质序列仍然是一个主要的未解决的挑战。最近，从单独的序列或序列和结构中学习的深度生成模型在此任务上表现出令人印象深刻的性能。然而，这些模型在建模结构约束方面出现有限，捕获足够的序列分集或两者。在这里，我们考虑三个最近提出的蛋白质设计的深度生成框架：（AR）基于序列的自回归生成模型，（GVP）基于精确的结构形式的图形神经网络，以及折叠模糊的模糊和无规模表示的折叠表示 - 折叠，同时强制执行结构到序列（反之亦然）一致性。我们基准这些模型对抗体序列计算设计的任务，要求设计具有高多样性的序列以进行功能含义。在设计序列的多样性方面，FOLD2SEQ框架突出了两个其他基线，同时保持典型的折叠。

基于注意的蛋白质序列训练的基于注意力的模型在分类和与人工智能驱动的蛋白质设计相关的分类和生成任务方面取得了令人难以置信的成功。但是，我们对非常大规模的模型和数据在有效的蛋白质模型开发中发挥作用。我们介绍了一套名为progen2的蛋白质语言模型的套件，该模型最高为6.4b参数，并在从基因组，宏基因组和免疫曲目数据库中绘制的不同序列数据集上进行了培训。 GEECEN2模型在捕获观察到的进化序列的分布，生成新型的可行序列并预测蛋白质适应性的情况下显示出最先进的性能，而无需额外的芬特。随着蛋白质序列的大型大小和原始数量继续变得更加广泛，我们的结果表明，越来越多的重点需要放在提供给蛋白质序列模型的数据分布上。我们在https://github.com/salesforce/progen上发布了PECEN2模型和代码。

计算抗体设计旨在自动创建与抗原结合的抗体。结合亲和力受3D结合界面的控制，其中抗体残基（角膜膜）与抗原残基（表位）紧密相互作用。因此，预测3D副观察复合物（对接）是找到最佳寄生虫的关键。在本文中，我们提出了一个新模型，称为层状码头和设计的名为层次层次的改进网络（HERN）。在对接过程中，Hern采用层次消息传递网络来预测原子力，并利用它们以迭代性，模棱两可的方式来完善结合复合物。在生成期间，其自动回解码器逐渐扩展了寄生虫，并构建了绑定界面的几何表示，以指导下一个残基选择。我们的结果表明，HERN在伞形对接和设计基准测试方面的先验最先进。

数据驱动的预测方法可以有效，准确地将蛋白质序列转化为生物活性结构，对于科学研究和治疗发展非常有价值。使用共同进化信息确定准确的折叠格局是现代蛋白质结构预测方法的成功基础。作为最新的状态，AlphaFold2显着提高了准确性，而无需进行明确的共同进化分析。然而，其性能仍然显示出对可用序列同源物的强烈依赖。我们研究了这种依赖性的原因，并提出了一种元生成模型Evogen，以弥补较差的MSA靶标的Alphafold2的表现不佳。 Evogen使我们能够通过降低搜索的MSA或生成虚拟MSA来操纵折叠景观，并帮助Alphafold2在低数据表方面准确地折叠，甚至通过单序预测来实现令人鼓舞的性能。能够用很少的MSA做出准确的预测，不仅可以更好地概括为孤儿序列的Alphafold2，而且使其在高通量应用程序中的使用民主化。此外，Evogen与AlphaFold2结合产生了一种概率结构生成方法，该方法可以探索蛋白质序列的替代构象，并且序列生成的任务意识可区分算法将使包括蛋白质设计在内的其他相关任务受益。

支架结构的构建支持所需的基序，赋予蛋白质功能，显示出对疫苗和酶设计的希望。但是，解决这个主题交易问题的一般解决方案仍然开放。当前的脚手架设计的机器学习技术要么仅限于不切实际的小脚手架（长达20个长度），要么难以生产多种不同的脚手架。我们建议通过E（3） - 等级图神经网络学习各种蛋白质主链结构的分布。我们开发SMCDIFF以有效地从给定主题的条件下从该分布中采样脚手架；我们的算法是从理论上确保从扩散模型中的有条件样品，以大规模计算限制。我们通过与Alphafold2预测的结构保持一致的方式来评估我们设计的骨干。我们表明我们的方法可以（1）最多80个残基的样品支架，以及（2）实现固定基序的结构多样的支架。

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

抗体设计对于治疗用法和生物学研究很有价值。现有的基于深度学习的方法遇到了几个关键问题：1）互补性区域（CDRS）生成的不完整上下文； 2）无法捕获输入结构的整个3D几何； 3）以自回归方式对CDR序列的效率低下。在本文中，我们提出了多通道等效的注意网络（平均值），这是一个能够共同设计1D序列和CDR的3D结构的端到端模型。要具体，平均值将抗体设计作为条件图翻译问题，通过导入包括靶抗原和抗体的轻链在内的额外组件。然后，平均诉诸于E（3） - 等级信息以及提出的注意机制，以更好地捕获不同组件之间的几何相关性。最后，它通过多轮渐进式完整射击方案来输出1D序列和3D结构，该方案在以前的自动回归方法上具有更高的效率。我们的方法显着超过了序列和结构建模，抗原结合抗体设计和结合亲和力优化的最新模型。具体而言，抗原结合CDR设计的相对改善约为22％，亲和力优化为34％。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

虽然最近在许多科学领域都变得无处不在，但对其评估的关注较少。对于分子生成模型，最先进的是孤立或与其输入有关的输出。但是，它们的生物学和功能特性（例如配体 - 靶标相互作用）尚未得到解决。在这项研究中，提出了一种新型的生物学启发的基准，用于评估分子生成模型。具体而言，设计了三个不同的参考数据集，并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标，将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果，但对药物目标亲和力结合和分子对接分数进行了更详细的比较，表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论，而多模式的方法是错误的结论。因此优选。该框架的关键优点是，它通过明确关注配体 - 靶标相互作用，将先前的物理化学域知识纳入基准测试过程，从而创建了一种高效的工具，不仅用于评估分子生成型输出，而且还用于丰富富含分子生成的输出。一般而言，药物发现过程。

如何设计有效，有效地折叠成所需结构的蛋白质序列？近年来，基于结构的蛋白质设计吸引了越来越多的关注。但是，由于缺乏表达性特征和自回归序列解码器，很少有方法可以同时提高准确性和效率。为了解决这些问题，我们提出了Prodesign，其中包含一种新型的残基特征和Prognn层，以一种单发的方式生成蛋白质序列，并改善恢复。实验表明，Prodesign可以在CATH 4.2上实现51.66 \％的回收率，而推理速度的速度比自动进取的竞争对手快70倍。此外，Prodesign分别在TS50和TS500上获得58.72 \％和60.42 \％的恢复分数。我们进行全面的消融研究，以揭示不同类型的蛋白质特征和模型设计的作用，从而激发了进一步的简化和改进。

Protein structure prediction aims to determine the three-dimensional shape of a protein from its amino acid sequence 1 . This problem is of fundamental importance to biology as the structure of a protein largely determines its function 2 but can be hard to determine experimentally. In recent years, considerable progress has been made by leveraging genetic information: analysing the co-variation of homologous sequences can allow one to infer which amino acid residues are in contact, which in turn can aid structure prediction 3 . In this work, we show that we can train a neural network to accurately predict the distances between pairs of residues in a protein which convey more about structure than contact predictions. With this information we construct a potential of mean force 4 that can accurately describe the shape of a protein. We find that the resulting potential can be optimised by a simple gradient descent algorithm, to realise structures without the need for complex sampling procedures.The resulting system, named AlphaFold, has been shown to achieve high accuracy, even for sequences with relatively few homologous sequences. In the most recent Critical Assessment of Protein Structure Prediction 5 (CASP13), a blind assessment of the state of the field of protein structure prediction, AlphaFold created high-accuracy structures (with TM-scores † of 0.7 or higher) for 24 out of 43 free modelling domains whereas the next best method, using sampling and contact information, achieved such accuracy for only 14 out of 43 domains.AlphaFold represents a significant advance in protein structure prediction. We expect the increased accuracy of structure predictions for proteins to enable insights in understanding the function and malfunction of these proteins, especially in cases where no homologous proteins have been experimentally determined 7 .Proteins are at the core of most biological processes. Since the function of a protein is dependent on its structure, understanding protein structure has been a grand challenge in biology for decades. While several experimental structure determination techniques have been developed

Deep learning has been widely used for protein engineering. However, it is limited by the lack of sufficient experimental data to train an accurate model for predicting the functional fitness of high-order mutants. Here, we develop SESNet, a supervised deep-learning model to predict the fitness for protein mutants by leveraging both sequence and structure information, and exploiting attention mechanism. Our model integrates local evolutionary context from homologous sequences, the global evolutionary context encoding rich semantic from the universal protein sequence space and the structure information accounting for the microenvironment around each residue in a protein. We show that SESNet outperforms state-of-the-art models for predicting the sequence-function relationship on 26 deep mutational scanning datasets. More importantly, we propose a data augmentation strategy by leveraging the data from unsupervised models to pre-train our model. After that, our model can achieve strikingly high accuracy in prediction of the fitness of protein mutants, especially for the higher order variants (> 4 mutation sites), when finetuned by using only a small number of experimental mutation data (<50). The strategy proposed is of great practical value as the required experimental effort, i.e., producing a few tens of experimental mutation data on a given protein, is generally affordable by an ordinary biochemical group and can be applied on almost any protein.

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

大型未标记语料库上的预训练的变压器语言模型已产生了最新的最先进的结果，从而导致了自然语言处理，有机分子设计和蛋白质序列的产生。但是，尚未应用这种模型来学习无机材料的组成模式。在这里，我们使用在ICSD，OQMD中存放的材料和材料项目数据库中扩展的公式培训了七种现代变压器模型（GPT，GPT-2，GPT-2，GPT-NEO，GPT-NEO，GPT-J，BLMM，BART和ROBERTA） 。六个不同的数据集，具有/输出非电荷 - 中性或平衡的电负性样品用于对性能进行基准测试，并发现现代变压器模型的产生偏见，以生成材料组成的生成设计。我们的广泛实验表明，基于因果语言模型的材料变形金刚可以产生高达97.54 \％的化学有效材料组合物，即充电中性，而91.40 \％的电负性平衡，与基线相比，它的富集高6倍以上伪随机抽样算法。这些模型还表现出了很高的新颖性，并且它们在新材料发现中的潜力已经证明了它们的能力恢复了留出的材料。我们还发现，可以通过使用精选的训练集（例如高带盖材料）训练模型来量身定制生成的样品的性能。我们的实验还表明，不同模型在生成样品的属性方面都有自己的喜好，并且其运行时间复杂性差异很大。我们已经应用了材料变压器模型来发现一套使用DFT计算验证的新材料。

Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.

动机：针对感兴趣的蛋白质的新颖化合物的发展是制药行业中最重要的任务之一。深层生成模型已应用于靶向分子设计，并显示出令人鼓舞的结果。最近，靶标特异性分子的产生被视为蛋白质语言与化学语言之间的翻译。但是，这种模型受相互作用蛋白质配对的可用性的限制。另一方面，可以使用大量未标记的蛋白质序列和化学化合物，并已用于训练学习有用表示的语言模型。在这项研究中，我们提出了利用预审核的生化语言模型以初始化（即温暖的开始）目标分子产生模型。我们研究了两种温暖的开始策略：（i）一种一阶段策略，其中初始化模型是针对靶向分子生成（ii）的两阶段策略进行培训的，该策略包含对分子生成的预处理，然后进行目标特定训练。我们还比较了两种生成化合物的解码策略：光束搜索和采样。结果：结果表明，温暖启动的模型的性能优于从头开始训练的基线模型。相对于基准广泛使用的指标，这两种拟议的温暖启动策略相互取得了相似的结果。然而，对许多新蛋白质生成的化合物进行对接评估表明，单阶段策略比两阶段策略更好地概括了。此外，我们观察到，在对接评估和基准指标中，梁搜索的表现优于采样，用于评估复合质量。可用性和实施​​：源代码可在https://github.com/boun-tabi/biochemical-lms-for-drug-design和材料中获得，并在Zenodo归档，网址为https://doi.org/10.5281/zenodo .6832145

RNA结构的确定和预测可以促进靶向RNA的药物开发和可用的共性元素设计。但是，由于RNA的固有结构灵活性，所有三种主流结构测定方法（X射线晶体学，NMR和Cryo-EM）在解决RNA结构时会遇到挑战，这导致已解决的RNA结构的稀缺性。计算预测方法作为实验技术的补充。但是，\ textit {de从头}的方法都不基于深度学习，因为可用的结构太少。取而代之的是，他们中的大多数采用了耗时的采样策略，而且它们的性能似乎达到了高原。在这项工作中，我们开发了第一种端到端的深度学习方法E2FOLD-3D，以准确执行\ textit {de de novo} RNA结构预测。提出了几个新的组件来克服数据稀缺性，例如完全不同的端到端管道，二级结构辅助自我鉴定和参数有效的骨干配方。此类设计在独立的，非重叠的RNA拼图测试数据集上进行了验证，并达到平均sub-4 \ aa {}根平方偏差，与最先进的方法相比，它表现出了优越的性能。有趣的是，它在预测RNA复杂结构时也可以取得令人鼓舞的结果，这是先前系统无法完成的壮举。当E2FOLD-3D与实验技术耦合时，RNA结构预测场可以大大提高。

在药物发现中，具有所需生物活性的新分子的合理设计是一项至关重要但具有挑战性的任务，尤其是在治疗新的靶家庭或研究靶标时。在这里，我们提出了PGMG，这是一种用于生物活化分子产生的药效团的深度学习方法。PGMG通过药理的指导提供了一种灵活的策略，以使用训练有素的变异自动编码器在各种情况下生成具有结构多样性的生物活性分子。我们表明，PGMG可以在给定药效团模型的情况下生成匹配的分子，同时保持高度的有效性，独特性和新颖性。在案例研究中，我们证明了PGMG在基于配体和基于结构的药物从头设计以及铅优化方案中生成生物活性分子的应用。总体而言，PGMG的灵活性和有效性使其成为加速药物发现过程的有用工具。