响应于病原体，自适应免疫系统产生结合和中和外部抗原的特异性抗体。了解个体的免疫力曲目的组成可以为该过程提供见解，并揭示潜在的治疗抗体。在这项工作中，我们探讨了抗体特定语言模型的应用，以帮助了解免疫曲目。我们介绍抗体，一种在558米天然抗体序列上培训的语言模型。我们发现在reptoIres中，我们的模型群抗体进入了类似亲和力成熟的轨迹。重要的是，我们表明培训的模型在多实例学习框架下预测高度冗余序列，识别过程中的密钥绑定残留物。通过进一步发展，这里呈现的方法将为单独的ReptoIre序列的抗原结合提供新的见解。

基于注意的蛋白质序列训练的基于注意力的模型在分类和与人工智能驱动的蛋白质设计相关的分类和生成任务方面取得了令人难以置信的成功。但是，我们对非常大规模的模型和数据在有效的蛋白质模型开发中发挥作用。我们介绍了一套名为progen2的蛋白质语言模型的套件，该模型最高为6.4b参数，并在从基因组，宏基因组和免疫曲目数据库中绘制的不同序列数据集上进行了培训。 GEECEN2模型在捕获观察到的进化序列的分布，生成新型的可行序列并预测蛋白质适应性的情况下显示出最先进的性能，而无需额外的芬特。随着蛋白质序列的大型大小和原始数量继续变得更加广泛，我们的结果表明，越来越多的重点需要放在提供给蛋白质序列模型的数据分布上。我们在https://github.com/salesforce/progen上发布了PECEN2模型和代码。

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

蛋白质 - 蛋白质相互作用（PPI）对于许多生物过程至关重要，其中两种或更多种蛋白质物理地结合在一起以实现其功能。建模PPI对许多生物医学应用有用，例如疫苗设计，抗体治疗和肽药物发现。预先训练蛋白质模型以学习有效的代表对于PPI至关重要。对于PPI的大多数预训练模型是基于序列的，这是基于序列的，该模型是基于氨基酸序列的自然语言处理中使用的语言模型。更先进的作品利用结构感知的预训练技术，利用已知蛋白质结构的联系地图。然而，既不是序列和联系地图都可以完全表征蛋白质的结构和功能，这与PPI问题密切相关。灵感来自这种洞察力，我们提出了一种具有三种方式的多模式蛋白质预训练模型：序列，结构和功能（S2F）。值得注意的是，而不是使用联系地图来学习氨基酸水平刚性结构，而是用重度原子的点云的拓扑复合物编码结构特征。它允许我们的模型不仅仅是基于底部的结构信息，还可以了解侧链。此外，我们的模型包括从文献或手动注释中提取的蛋白质的功能描述中的知识。我们的实验表明，S2F学习蛋白质嵌入物，在包括各种PPI，包括跨物种PPI，抗体 - 抗原亲和预测，抗体中和对SARS-COV-2的抗体中和预测的蛋白质嵌入，以及突变驱动的结合亲和力变化预测。

严重的急性呼吸综合征冠状病毒2（SARS-COV-2）导致持续的大流行感染了21900万人的10/19/21，死亡率为3.6％。自然选择可以产生有利的突变，具有改善的健身优势;然而，所识别的冠状病毒可能是冰山的尖端，并且可能会随着时间的推移出现潜在的致命变体（VOC）。理解可能导致功能或免疫逃逸的新出现VOC和预测突变的模式是迫切需要的。在这里，我们开发了Phylotransformer，一种基于变压器的辨别模型，其与多头自我关注机制接合以模拟可能导致病毒生殖优势的基因突变。为了识别每个输入序列的元件之间的复杂依赖性，Phylotransformer利用高级建模技术，包括从Performer的正交随机特征方法（Hibl +）以及来自双向编码器表示的屏蔽语言模型（MLM）的新颖快速关注变压器（伯特）。从全球倡议检索的1,765,297次遗传序列培训，从全球范围内检测到所有流感数据（GISAID）数据库。首先，我们使用广泛的基线模型比较了新型突变和新颖组合的预测准确性;我们发现，这种具有统计显着性的每个基线方法都优势了。其次，我们检查了受体结合基序（RBM）的每个核苷酸中的突变预测，我们发现我们的预测是精确和准确的。第三，我们预测了N-糖基化位点的修饰，以鉴定与在病毒进化期间可能有利的改变的糖基化相关的突变。我们预计Phylotransformer可以引导积极的疫苗设计，以有效靶向未来SARS-COV-2变体。

现在，我们目睹了深度学习方法在各种蛋白质（或数据集）中的重大进展。但是，缺乏评估不同方法的性能的标准基准，这阻碍了该领域的深度学习进步。在本文中，我们提出了一种称为PEER的基准，这是一种用于蛋白质序列理解的全面和多任务基准。 PEER提供了一组不同的蛋白质理解任务，包括蛋白质功能预测，蛋白质定位预测，蛋白质结构预测，蛋白质 - 蛋白质相互作用预测和蛋白质 - 配体相互作用预测。我们评估每个任务的不同类型的基于序列的方法，包括传统的特征工程方法，不同的序列编码方法以及大规模的预训练蛋白质语言模型。此外，我们还研究了这些方法在多任务学习设置下的性能。实验结果表明，大规模的预训练蛋白质语言模型可实现大多数单个任务的最佳性能，共同训练多个任务进一步提高了性能。该基准的数据集和源代码均可在https://github.com/deepgraphlearning/peer_benchmark上获得

动机：针对感兴趣的蛋白质的新颖化合物的发展是制药行业中最重要的任务之一。深层生成模型已应用于靶向分子设计，并显示出令人鼓舞的结果。最近，靶标特异性分子的产生被视为蛋白质语言与化学语言之间的翻译。但是，这种模型受相互作用蛋白质配对的可用性的限制。另一方面，可以使用大量未标记的蛋白质序列和化学化合物，并已用于训练学习有用表示的语言模型。在这项研究中，我们提出了利用预审核的生化语言模型以初始化（即温暖的开始）目标分子产生模型。我们研究了两种温暖的开始策略：（i）一种一阶段策略，其中初始化模型是针对靶向分子生成（ii）的两阶段策略进行培训的，该策略包含对分子生成的预处理，然后进行目标特定训练。我们还比较了两种生成化合物的解码策略：光束搜索和采样。结果：结果表明，温暖启动的模型的性能优于从头开始训练的基线模型。相对于基准广泛使用的指标，这两种拟议的温暖启动策略相互取得了相似的结果。然而，对许多新蛋白质生成的化合物进行对接评估表明，单阶段策略比两阶段策略更好地概括了。此外，我们观察到，在对接评估和基准指标中，梁搜索的表现优于采样，用于评估复合质量。可用性和实施​​：源代码可在https://github.com/boun-tabi/biochemical-lms-for-drug-design和材料中获得，并在Zenodo归档，网址为https://doi.org/10.5281/zenodo .6832145

Deep learning has been widely used for protein engineering. However, it is limited by the lack of sufficient experimental data to train an accurate model for predicting the functional fitness of high-order mutants. Here, we develop SESNet, a supervised deep-learning model to predict the fitness for protein mutants by leveraging both sequence and structure information, and exploiting attention mechanism. Our model integrates local evolutionary context from homologous sequences, the global evolutionary context encoding rich semantic from the universal protein sequence space and the structure information accounting for the microenvironment around each residue in a protein. We show that SESNet outperforms state-of-the-art models for predicting the sequence-function relationship on 26 deep mutational scanning datasets. More importantly, we propose a data augmentation strategy by leveraging the data from unsupervised models to pre-train our model. After that, our model can achieve strikingly high accuracy in prediction of the fitness of protein mutants, especially for the higher order variants (> 4 mutation sites), when finetuned by using only a small number of experimental mutation data (<50). The strategy proposed is of great practical value as the required experimental effort, i.e., producing a few tens of experimental mutation data on a given protein, is generally affordable by an ordinary biochemical group and can be applied on almost any protein.

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

最近，自我监督的神经语言模型最近已应用于生物序列数据，进步的结构，功能和突变效应预测。一些蛋白质语言模型，包括MSA变压器和Alphafold的Evoformer，将进化相关蛋白的多个序列比对作为输入。 MSA Transformer的行专注的简单组合导致了最新的无监督结构接触预测。我们证明，MSA变压器柱浓度的简单和通用组合与MSA中序列之间的锤距距离密切相关。因此，基于MSA的语言模型编码详细的系统发育关系。我们进一步表明，这些模型可以将编码功能和结构约束的共同进化信号与反映历史意义的系统发育相关性分开。为了评估这一点，我们从POTTS模型中生成了在天然MSA训练的POTTS模型的合成MSA。我们发现，当使用MSA变压器与推断的POTTS模型时，无监督的接触预测对系统发育噪声的弹性更大。

蛋白质 - 配体相互作用（PLIS）是生化研究的基础，其鉴定对于估计合理治疗设计的生物物理和生化特性至关重要。目前，这些特性的实验表征是最准确的方法，然而，这是非常耗时和劳动密集型的。在这种情况下已经开发了许多计算方法，但大多数现有PLI预测大量取决于2D蛋白质序列数据。在这里，我们提出了一种新颖的并行图形神经网络（GNN），以集成PLI预测的知识表示和推理，以便通过专家知识引导的深度学习，并通过3D结构数据通知。我们开发了两个不同的GNN架构，GNNF是采用不同特种的基础实现，以增强域名认识，而GNNP是一种新颖的实现，可以预测未经分子间相互作用的先验知识。综合评价证明，GNN可以成功地捕获配体和蛋白质3D结构之间的二元相互作用，对于GNNF的测试精度和0.958，用于预测蛋白质 - 配体络合物的活性。这些模型进一步适用于回归任务以预测实验结合亲和力，PIC50对于药物效力和功效至关重要。我们在实验亲和力上达到0.66和0.65的Pearson相关系数，分别在PIC50和GNNP上进行0.50和0.51，优于基于2D序列的模型。我们的方法可以作为可解释和解释的人工智能（AI）工具，用于预测活动，效力和铅候选的生物物理性质。为此，我们通过筛选大型复合库并将我们的预测与实验测量数据进行比较来展示GNNP对SARS-COV-2蛋白靶标的实用性。

In the field of antibody engineering, an essential task is to design a novel antibody whose paratopes bind to a specific antigen with correct epitopes. Understanding antibody structure and its paratope can facilitate a mechanistic understanding of its function. Therefore, antibody structure prediction from its sequence alone has always been a highly valuable problem for de novo antibody design. AlphaFold2, a breakthrough in the field of structural biology, provides a solution to predict protein structure based on protein sequences and computationally expensive coevolutionary multiple sequence alignments (MSAs). However, the computational efficiency and undesirable prediction accuracy of antibodies, especially on the complementarity-determining regions (CDRs) of antibodies limit their applications in the industrially high-throughput drug design. To learn an informative representation of antibodies, we employed a deep antibody language model (ALM) on curated sequences from the observed antibody space database via a transformer model. We also developed a novel model named xTrimoABFold to predict antibody structure from antibody sequence based on the pretrained ALM as well as efficient evoformers and structural modules. The model was trained end-to-end on the antibody structures in PDB by minimizing the ensemble loss of domain-specific focal loss on CDR and the frame-aligned point loss. xTrimoABFold outperforms AlphaFold2 and other protein language model based SOTAs, e.g., OmegaFold, HelixFold-Single, and IgFold with a large significant margin (30+\% improvement on RMSD) while performing 151 times faster than AlphaFold2. To the best of our knowledge, xTrimoABFold achieved state-of-the-art antibody structure prediction. Its improvement in both accuracy and efficiency makes it a valuable tool for de novo antibody design and could make further improvements in immuno-theory.

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

Motivation: Enhancers are important cis-regulatory elements that regulate a wide range of biological functions and enhance the transcription of target genes. Although many state-of-the-art computational methods have been proposed in order to efficiently identify enhancers, learning globally contextual features is still one of the challenges for computational methods. Regarding the similarities between biological sequences and natural language sentences, the novel BERT-based language techniques have been applied to extracting complex contextual features in various computational biology tasks such as protein function/structure prediction. To speed up the research on enhancer identification, it is urgent to construct a BERT-based enhancer language model. Results: In this paper, we propose a multi-scale enhancer identification method (iEnhancer-ELM) based on enhancer language models, which treat enhancer sequences as natural language sentences that are composed of k-mer nucleotides. iEnhancer-ELM can extract contextual information of multi-scale k-mers with positions from raw enhancer sequences. Benefiting from the complementary information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for improving enhancer identification. The benchmark comparisons show that our model outperforms state-of-the-art methods. By the interpretable attention mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating our model has a potential ability to reveal the biological mechanism of enhancer. Availability: The source code are available at https://github.com/chen-bioinfo/iEnhancer-ELM Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com; Supplementary information: Supplementary data are available at Bioinformatics online.

病毒感染导致全世界的显着发病率和死亡率。理解特定病毒和人类蛋白质之间的相互作用模式在揭示病毒感染和发病机制的潜在机制方面发挥着至关重要的作用。这可以进一步帮助预防和治疗病毒相关疾病。然而，由于病毒 - 人类相互作用的稀缺数据和大多数病毒的快速突变率，预测新病毒和人体细胞之间的蛋白质 - 蛋白质相互作用的任务是非常挑战性的。我们开发了一种多任务转移学习方法，利用人类互乱组约2400万蛋白序列和相互作用模式的信息来解决小型训练数据集的问题。除了使用手工制作的蛋白质特征，而不是通过深语模型方法从巨大的蛋白质序列来源学习的统计学上丰富的蛋白质表示。此外，我们采用了额外的目的，旨在最大限度地提高观察人蛋白质蛋白质相互作用的可能性。这一附加任务目标充当规律器，还允许纳入域知识来告知病毒 - 人蛋白质 - 蛋白质相互作用预测模型。我们的方法在13个基准数据集中实现了竞争力，以及SAR-COV-2病毒受体的案例研究。实验结果表明，我们所提出的模型有效地用于病毒 - 人和细菌 - 人蛋白质 - 蛋白质 - 蛋白质相互作用预测任务。我们分享我们的重复性和未来研究代码，以便在https://git.l3s.uni-hannover.de/dong/multitastastastastastastastastastask-transfer。

基于AI的蛋白质结构预测管道（例如AlphaFold2）已达到了几乎实验的准确性。这些高级管道主要依赖于多个序列比对（MSA）和模板作为输入来从同源序列中学习共进化信息。但是，从蛋白质数据库中搜索MSA和模板很耗时，通常需要数十分钟。因此，我们尝试通过仅使用蛋白质的主要序列来探索快速蛋白质结构预测的极限。提出了Helixfold单一的形式将大规模蛋白质语言模型与AlphaFold2的优质几何学习能力相结合。我们提出的方法，Helixfold单个，首先预先培训是一种大规模蛋白质语言模型（PLM），使用了数以千计的主要序列利用自我监督的学习范式，将用作MSA和模板的替代方法共同进化信息。然后，通过将预训练的PLM和AlphaFold2的必需组件组合在一起，我们获得了一个端到端可区分模型，以仅从主要序列预测原子的3D坐标。 Helixfold-Single在数据集CASP14和Cameo中得到了验证，通过基于MSA的方法，具有大型同源家庭的基于MSA的方法，从而实现了竞争精度。此外，与主流管道进行蛋白质结构预测相比，Helixfold单个的时间比主流管道的时间少得多，这表明其在需要许多预测的任务中的潜力。 HelixFold-Single的守则可在https://github.com/paddlepaddle/paddlehelix/tree/dev/dev/pprotein_folding/helixfold-single上获得，我们还在https://paddlehelix.baidu.com上提供稳定的Web服务。 /app/drug/protein-single/prevast。

从理论上讲，通过引入蛋白质3D结构信息，可以改善化合物蛋白结合亲和力（CPA）中计算模型的准确性。但是，由于缺乏有效编码信息蛋白质特征的有效方法，这些模型中的大多数仍然存在低精度。主要的挑战是如何结合多模式信息，例如蛋白质的残基序列，残基原子坐标和扭转角。为了解决这个问题，我们开发了快速的进化关注和彻底的图形神经网络（featnn），以促进蛋白质3D结构信息的应用以预测CPA。具体而言，我们建立了一种新型的端到端结构，以共同嵌入扭转矩阵，离散距离矩阵以及蛋白质和提取具有深图卷积层的复合特征的序列信息。此外，引入了一种新的成对映射注意机制，以全面了解蛋白质和化合物之间的潜在相互作用信息。在CPA预测中，R2系数升高约21.33％，在CPA预测中的各种最新基准都大大优于各种最新基线。因此，壮举为高度准确的CPA预测提供了出色的方法，并促进了候选药物的高通量虚拟筛查。

抗体设计对于治疗用法和生物学研究很有价值。现有的基于深度学习的方法遇到了几个关键问题：1）互补性区域（CDRS）生成的不完整上下文； 2）无法捕获输入结构的整个3D几何； 3）以自回归方式对CDR序列的效率低下。在本文中，我们提出了多通道等效的注意网络（平均值），这是一个能够共同设计1D序列和CDR的3D结构的端到端模型。要具体，平均值将抗体设计作为条件图翻译问题，通过导入包括靶抗原和抗体的轻链在内的额外组件。然后，平均诉诸于E（3） - 等级信息以及提出的注意机制，以更好地捕获不同组件之间的几何相关性。最后，它通过多轮渐进式完整射击方案来输出1D序列和3D结构，该方案在以前的自动回归方法上具有更高的效率。我们的方法显着超过了序列和结构建模，抗原结合抗体设计和结合亲和力优化的最新模型。具体而言，抗原结合CDR设计的相对改善约为22％，亲和力优化为34％。

作为药物开发的必要过程，找到可以选择性地与特定蛋白质结合的药物化合物是高度挑战性和昂贵的。代表药物目标相互作用（DTI）强度的药物目标亲和力（DTA）在过去十年中在DTI预测任务中发挥了重要作用。尽管已将深度学习应用于与DTA相关的研究，但现有的解决方案忽略了分子亚结构之间的基本相关性，在分子代表学习药物化合物分子/蛋白质靶标之间。此外，传统方法缺乏DTA预测过程的解释性。这导致缺少分子间相互作用的特征信息，从而影响预测性能。因此，本文提出了一种使用交互式学习和自动编码器机制的DTA预测方法。提出的模型增强了通过药物/蛋白质分子表示学习模块捕获单个分子序列的特征信息的相应能力，并通过交互式信息学习模块补充了分子序列对之间的信息相互作用。 DTA值预测模块融合了药物目标对相互作用信息，以输出DTA的预测值。此外，从理论上讲，本文提出的方法最大化了DTA预测模型联合分布的证据下限（ELBO），从而增强了实际值和预测值之间概率分布的一致性。实验结果证实了相互变压器 - 药物目标亲和力（MT-DTA）的性能比其他比较方法更好。

药物目标亲和力（DTA）预测是药物发现和药物研究的重要任务。 DTA的准确预测可以极大地受益于新药的设计。随着湿实验的昂贵且耗时，DTA预测的监督数据非常有限。这严重阻碍了基于深度学习的方法的应用，这些方法需要大量的监督数据。为了应对这一挑战并提高DTA预测准确性，我们在这项工作中提出了一个具有几种简单但有效的策略的框架：（1）多任务培训策略，该策略将DTA预测和蒙版语言建模（MLM）任务采用配对的药品目标数据集； （2）一种半监督的训练方法，通过利用大规模的未配对分子和蛋白质来赋予药物和靶向代表性学习，这与以前仅利用仅利用预训练的预训练和微调方法，这些方法仅利用前培训和微调方法训练; （3）一个交叉意见模块，以增强药物和靶代表性之间的相互作用。在三个现实世界基准数据集上进行了广泛的实验：BindingDB，Davis和Kiba。结果表明，我们的框架大大优于现有方法，并实现最先进的性能，例如，$ 0.712 $ rmse在bindingdb ic $ _ {50} $测量上，比以前的最佳工作要改善了$ 5 \％。此外，关于特定药物目标结合活动，药物特征可视化和现实世界应用的案例研究证明了我们工作的巨大潜力。代码和数据在https://github.com/qizhipei/smt-dta上发布