严重的急性呼吸综合征冠状病毒2（SARS-COV-2）导致持续的大流行感染了21900万人的10/19/21，死亡率为3.6％。自然选择可以产生有利的突变，具有改善的健身优势;然而，所识别的冠状病毒可能是冰山的尖端，并且可能会随着时间的推移出现潜在的致命变体（VOC）。理解可能导致功能或免疫逃逸的新出现VOC和预测突变的模式是迫切需要的。在这里，我们开发了Phylotransformer，一种基于变压器的辨别模型，其与多头自我关注机制接合以模拟可能导致病毒生殖优势的基因突变。为了识别每个输入序列的元件之间的复杂依赖性，Phylotransformer利用高级建模技术，包括从Performer的正交随机特征方法（Hibl +）以及来自双向编码器表示的屏蔽语言模型（MLM）的新颖快速关注变压器（伯特）。从全球倡议检索的1,765,297次遗传序列培训，从全球范围内检测到所有流感数据（GISAID）数据库。首先，我们使用广泛的基线模型比较了新型突变和新颖组合的预测准确性;我们发现，这种具有统计显着性的每个基线方法都优势了。其次，我们检查了受体结合基序（RBM）的每个核苷酸中的突变预测，我们发现我们的预测是精确和准确的。第三，我们预测了N-糖基化位点的修饰，以鉴定与在病毒进化期间可能有利的改变的糖基化相关的突变。我们预计Phylotransformer可以引导积极的疫苗设计，以有效靶向未来SARS-COV-2变体。

已经开发出各种机器学习模型，包括深神经网络模型，以预测错义（非同义）突变的有害性。尽管如此，使用更复杂的自适应机器学习方法对生物学问题的新审查可能会受益于当前最新水平的潜在改进。自然语言处理领域的最新进展显示了变压器模型 - 一种深神经网络类型，在与上下文依赖性建模序列信息方面特别有力。在这项研究中，我们介绍了Mutformer，这是一种基于变压器的模型，用于预测有害错义突变。 Mutformer使用人类基因组中的参考和突变蛋白序列作为主要特征。它结合了自我发项层和卷积层的结合，以学习蛋白质序列中氨基酸突变之间的远距离依赖性和短期依赖性。我们在参考蛋白序列和突变蛋白序列上预先训练融合剂，该蛋白质序列是由于人类种群中观察到的常见遗传变异而产生的。接下来，我们检查了不同的微调方法，以成功地将模型应用于错义突变的有害性预测。最后，我们在多个测试数据集上评估了杂货商的性能。我们发现，在各种现有工具中，杂种器表现出相似或改进的性能，包括使用常规机器学习方法的工具（例如，支持向量机，卷积神经网络，经常性神经网络）。我们得出的结论是，杂货商成功考虑了以前研究中未探索的序列特征，并且可能会补充现有的计算预测或经验产生的功能分数，以提高我们对疾病变异的理解。

SARS-COV-2是一种上呼吸系统的RNA病毒，截至2021年5月，在全球范围内引起超过300万人死亡，截至5月201日。迄今为止，SARS-COV-2突变对科学家造成重大挑战跟上疫苗开发和公共卫生措施的步伐。因此，鉴定来自患者的实验室样本分歧的有效方法非常有助于SARS-COV-2基因组学的文件。在这项研究中，我们提出了一种神经网络模型，可利用复发性和卷积单元直接参与尖峰蛋白的氨基酸序列并分类相应的片状。我们还将我们的模型的性能与来自蛋白质数据库预先培训的变压器（BERT）的双向编码器表示。我们的方法具有基于基于物种内分化的当前同源性提供了更加计算上的替代方案。

Deep learning has been widely used for protein engineering. However, it is limited by the lack of sufficient experimental data to train an accurate model for predicting the functional fitness of high-order mutants. Here, we develop SESNet, a supervised deep-learning model to predict the fitness for protein mutants by leveraging both sequence and structure information, and exploiting attention mechanism. Our model integrates local evolutionary context from homologous sequences, the global evolutionary context encoding rich semantic from the universal protein sequence space and the structure information accounting for the microenvironment around each residue in a protein. We show that SESNet outperforms state-of-the-art models for predicting the sequence-function relationship on 26 deep mutational scanning datasets. More importantly, we propose a data augmentation strategy by leveraging the data from unsupervised models to pre-train our model. After that, our model can achieve strikingly high accuracy in prediction of the fitness of protein mutants, especially for the higher order variants (> 4 mutation sites), when finetuned by using only a small number of experimental mutation data (<50). The strategy proposed is of great practical value as the required experimental effort, i.e., producing a few tens of experimental mutation data on a given protein, is generally affordable by an ordinary biochemical group and can be applied on almost any protein.

病毒感染导致全世界的显着发病率和死亡率。理解特定病毒和人类蛋白质之间的相互作用模式在揭示病毒感染和发病机制的潜在机制方面发挥着至关重要的作用。这可以进一步帮助预防和治疗病毒相关疾病。然而，由于病毒 - 人类相互作用的稀缺数据和大多数病毒的快速突变率，预测新病毒和人体细胞之间的蛋白质 - 蛋白质相互作用的任务是非常挑战性的。我们开发了一种多任务转移学习方法，利用人类互乱组约2400万蛋白序列和相互作用模式的信息来解决小型训练数据集的问题。除了使用手工制作的蛋白质特征，而不是通过深语模型方法从巨大的蛋白质序列来源学习的统计学上丰富的蛋白质表示。此外，我们采用了额外的目的，旨在最大限度地提高观察人蛋白质蛋白质相互作用的可能性。这一附加任务目标充当规律器，还允许纳入域知识来告知病毒 - 人蛋白质 - 蛋白质相互作用预测模型。我们的方法在13个基准数据集中实现了竞争力，以及SAR-COV-2病毒受体的案例研究。实验结果表明，我们所提出的模型有效地用于病毒 - 人和细菌 - 人蛋白质 - 蛋白质 - 蛋白质相互作用预测任务。我们分享我们的重复性和未来研究代码，以便在https://git.l3s.uni-hannover.de/dong/multitastastastastastastastastastask-transfer。

蛋白质 - 蛋白质相互作用（PPI）对于许多生物过程至关重要，其中两种或更多种蛋白质物理地结合在一起以实现其功能。建模PPI对许多生物医学应用有用，例如疫苗设计，抗体治疗和肽药物发现。预先训练蛋白质模型以学习有效的代表对于PPI至关重要。对于PPI的大多数预训练模型是基于序列的，这是基于序列的，该模型是基于氨基酸序列的自然语言处理中使用的语言模型。更先进的作品利用结构感知的预训练技术，利用已知蛋白质结构的联系地图。然而，既不是序列和联系地图都可以完全表征蛋白质的结构和功能，这与PPI问题密切相关。灵感来自这种洞察力，我们提出了一种具有三种方式的多模式蛋白质预训练模型：序列，结构和功能（S2F）。值得注意的是，而不是使用联系地图来学习氨基酸水平刚性结构，而是用重度原子的点云的拓扑复合物编码结构特征。它允许我们的模型不仅仅是基于底部的结构信息，还可以了解侧链。此外，我们的模型包括从文献或手动注释中提取的蛋白质的功能描述中的知识。我们的实验表明，S2F学习蛋白质嵌入物，在包括各种PPI，包括跨物种PPI，抗体 - 抗原亲和预测，抗体中和对SARS-COV-2的抗体中和预测的蛋白质嵌入，以及突变驱动的结合亲和力变化预测。

最近，自我监督的神经语言模型最近已应用于生物序列数据，进步的结构，功能和突变效应预测。一些蛋白质语言模型，包括MSA变压器和Alphafold的Evoformer，将进化相关蛋白的多个序列比对作为输入。 MSA Transformer的行专注的简单组合导致了最新的无监督结构接触预测。我们证明，MSA变压器柱浓度的简单和通用组合与MSA中序列之间的锤距距离密切相关。因此，基于MSA的语言模型编码详细的系统发育关系。我们进一步表明，这些模型可以将编码功能和结构约束的共同进化信号与反映历史意义的系统发育相关性分开。为了评估这一点，我们从POTTS模型中生成了在天然MSA训练的POTTS模型的合成MSA。我们发现，当使用MSA变压器与推断的POTTS模型时，无监督的接触预测对系统发育噪声的弹性更大。

药物目标亲和力（DTA）预测是药物发现和药物研究的重要任务。 DTA的准确预测可以极大地受益于新药的设计。随着湿实验的昂贵且耗时，DTA预测的监督数据非常有限。这严重阻碍了基于深度学习的方法的应用，这些方法需要大量的监督数据。为了应对这一挑战并提高DTA预测准确性，我们在这项工作中提出了一个具有几种简单但有效的策略的框架：（1）多任务培训策略，该策略将DTA预测和蒙版语言建模（MLM）任务采用配对的药品目标数据集； （2）一种半监督的训练方法，通过利用大规模的未配对分子和蛋白质来赋予药物和靶向代表性学习，这与以前仅利用仅利用预训练的预训练和微调方法，这些方法仅利用前培训和微调方法训练; （3）一个交叉意见模块，以增强药物和靶代表性之间的相互作用。在三个现实世界基准数据集上进行了广泛的实验：BindingDB，Davis和Kiba。结果表明，我们的框架大大优于现有方法，并实现最先进的性能，例如，$ 0.712 $ rmse在bindingdb ic $ _ {50} $测量上，比以前的最佳工作要改善了$ 5 \％。此外，关于特定药物目标结合活动，药物特征可视化和现实世界应用的案例研究证明了我们工作的巨大潜力。代码和数据在https://github.com/qizhipei/smt-dta上发布

Covid-19大流行，仍然是未知的，是一个重要的开放问题。有猜测蝙蝠是可能的起源。同样地，有许多密切相关的（电晕）病毒，例如SARS，发现通过练习圈传递。对潜在的载体和致命病毒发射器的不同主体的研究对于了解，减轻和预防当前和未来的流行性至关重要。在冠状病毒中，表面（S）蛋白或尖峰蛋白是确定宿主特异性的重要组成部分，因为它是病毒与宿主细胞膜之间的接触点。在本文中，我们将超过五千个冠状病毒的刺激蛋白序列分类，将它们分离成艾滋病，蝙蝠，骆驼，猪，人类和奶酪中明显宿主的集群，以命名几个。我们提出了一种基于众所周知的位置重量矩阵（PWM）的特征嵌入，我们呼叫PWM2VEC，并用于从这些冠状虫病毒的尖峰蛋白序列产生特征向量。虽然我们的嵌入受到PWMS在生物应用中的成功，例如确定蛋白质功能，或识别转录因子结合位点，但我们是在来自病毒序列的宿主分类的上下文中使用PWM的第一个（我们的知识）生成固定长度的特征矢量表示。现实世界数据的结果显示，与使用PWM2VEC，与基线模型相比，我们能够相当良好地执行。我们还使用信息增益来测量不同氨基酸的重要性，以显示对预测给定冠状病毒的宿主来说重要的氨基酸。

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

在基因组生物学研究中，调节基因组建模是许多监管下游任务的重要课题，例如推动者分类，交易因子结合位点预测。核心问题是模拟监管元素如何相互交互及其跨不同小区类型的可变性。然而，目前的深度学习方法通​​常专注于建模固定的细胞类型集的基因组序列，并且不考虑多个调节元件之间的相互作用，使它们仅在训练集中的小区类型上表现良好，并且缺乏所需的概括生物学应用。在这项工作中，我们提出了一种简单但有效的方法，用于以多模态和自我监督的方式预先培训基因组数据，我们称之为Genebert。具体而言，我们同时服用1D基因组数据和2D矩阵（转录因子X区）作为输入，其中提出了三项预训练任务，以提高模型的鲁棒性和概括性。我们在ATAC-SEQ数据集上预先培训我们的模型，具有1700万基因组序列。我们在不同细胞类型中评估我们的Genebert关于监管下游任务，包括启动子分类，交易因子结合位点预测，疾病风险估计和剪接部位预测。广泛的实验证明了大型监管基因组学数据的多模态和自我监督的预培训的有效性。

Motivation: Enhancers are important cis-regulatory elements that regulate a wide range of biological functions and enhance the transcription of target genes. Although many state-of-the-art computational methods have been proposed in order to efficiently identify enhancers, learning globally contextual features is still one of the challenges for computational methods. Regarding the similarities between biological sequences and natural language sentences, the novel BERT-based language techniques have been applied to extracting complex contextual features in various computational biology tasks such as protein function/structure prediction. To speed up the research on enhancer identification, it is urgent to construct a BERT-based enhancer language model. Results: In this paper, we propose a multi-scale enhancer identification method (iEnhancer-ELM) based on enhancer language models, which treat enhancer sequences as natural language sentences that are composed of k-mer nucleotides. iEnhancer-ELM can extract contextual information of multi-scale k-mers with positions from raw enhancer sequences. Benefiting from the complementary information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for improving enhancer identification. The benchmark comparisons show that our model outperforms state-of-the-art methods. By the interpretable attention mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating our model has a potential ability to reveal the biological mechanism of enhancer. Availability: The source code are available at https://github.com/chen-bioinfo/iEnhancer-ELM Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com; Supplementary information: Supplementary data are available at Bioinformatics online.

Neglected tropical diseases (NTDs) continue to affect the livelihood of individuals in countries in the Southeast Asia and Western Pacific region. These diseases have been long existing and have caused devastating health problems and economic decline to people in low- and middle-income (developing) countries. An estimated 1.7 billion of the world's population suffer one or more NTDs annually, this puts approximately one in five individuals at risk for NTDs. In addition to health and social impact, NTDs inflict significant financial burden to patients, close relatives, and are responsible for billions of dollars lost in revenue from reduced labor productivity in developing countries alone. There is an urgent need to better improve the control and eradication or elimination efforts towards NTDs. This can be achieved by utilizing machine learning tools to better the surveillance, prediction and detection program, and combat NTDs through the discovery of new therapeutics against these pathogens. This review surveys the current application of machine learning tools for NTDs and the challenges to elevate the state-of-the-art of NTDs surveillance, management, and treatment.

响应于病原体，自适应免疫系统产生结合和中和外部抗原的特异性抗体。了解个体的免疫力曲目的组成可以为该过程提供见解，并揭示潜在的治疗抗体。在这项工作中，我们探讨了抗体特定语言模型的应用，以帮助了解免疫曲目。我们介绍抗体，一种在558米天然抗体序列上培训的语言模型。我们发现在reptoIres中，我们的模型群抗体进入了类似亲和力成熟的轨迹。重要的是，我们表明培训的模型在多实例学习框架下预测高度冗余序列，识别过程中的密钥绑定残留物。通过进一步发展，这里呈现的方法将为单独的ReptoIre序列的抗原结合提供新的见解。

药物重新利用可以加速鉴定有效化合物用于针对SARS-COV-2的临床使用，并具有先前存在的临床安全数据和已建立的供应链的优势。 RNA病毒（例如SARS-COV-2）操纵细胞途径并诱导亚细胞结构的重组以支持其生命周期。可以使用生物成像技术来量化这些形态学的变化。在这项工作中，我们开发了DEEMD：使用深层神经网络模型在多个实例学习框架内的计算管道，以基于对公开可用RXRX19A数据集的形态分析来确定针对SARS-COV-2有效的推定治疗方法。该数据集由SARS-COV-2未感染的细胞和受感染细胞的荧光显微镜图像组成，有或没有药物治疗。 Deemd首先提取歧视性形态学特征，以产生来自未感染和感染细胞的细胞形态特征。然后在统计模型中使用这些形态学特征，以根据与未感染细胞的相似性估算受感染细胞的应用治疗疗效。 DEEMD能够通过弱监督定位受感染的细胞，而无需任何昂贵的像素级注释。 DEEMD确定已知的SARS-COV-2抑制剂，例如Remdesivir和Aloxistatin，支持我们方法的有效性。可以在其他新兴病毒和数据集上探索DEEMD，以便将来快速识别候选抗病毒药治疗}。我们的实施可在线网络https://www.github.com/sadegh-saberian/deemd

随着Covid-19的快速全球传播，越来越多的数据与该病毒有关正在变得可用，包括基因组序列数据。目前在GISAID等平台上公开可用的基因组序列总数是数百万，每天都在增加。此类\ EMPH {Big Data}的可用性为研究人员提供了详细研究该病毒的新机会。这对Covid-19变体的所有动态尤其重要，其出现并循环。这种丰富的数据源将为我们提供对这一和未来大流行威胁的最佳方式的最佳方法，具有减轻或消除此类威胁的最终目标。分析和处理数百万基因组序列是一个具有挑战性的任务。虽然证明了序列分类的传统方法是有效的，但它们不设计用于处理这些特定类型的基因组序列。此外，大多数现有方法也面临着可扩展性问题。以前的研究被定制成冠状病毒基因组数据，提出用于使用尖峰序列（对应于基因组的随后），而不是使用完整的基因组序列，以执行不同的机器学习（ML）任务，例如分类和聚类。但是，这些方法遭受可扩展性问题。在本文中，我们提出了一种称为Spike2VEC的方法，对于可以用于下游ML任务的每个尖峰序列，一种称为Spike2VEC，高效且可伸缩的特征向量表示。通过实验，我们表明Spike2VEC不仅可以在数百万秒峰序列上可扩展，而且在预测精度，F1分数等方面也优越基线模型。

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

流感病毒迅速变异，可能对公共卫生构成威胁，尤其是对弱势群体的人。在整个历史中，流感A病毒在不同物种之间引起了大流行病。重要的是要识别病毒的起源，以防止爆发的传播。最近，人们对使用机器学习算法来为病毒序列提供快速准确的预测一直引起人们的兴趣。在这项研究中，使用真实的测试数据集和各种评估指标用于评估不同分类学水平的机器学习算法。由于血凝素是免疫反应中的主要蛋白质，因此仅使用血凝素序列并由位置特异性评分基质和单词嵌入来表示。结果表明，5-grams-transformer神经网络是预测病毒序列起源的最有效算法，大约99.54％的AUCPR，98.01％的F1分数和96.60％的MCC，在较高的分类水平上，约94.74％AUCPR，87.41％，87.41％，87.41％ ％F1分数％和80.79％的MCC在较低的分类水平下。

人白细胞抗原（HLA）是人类免疫领域的重要分子家族，它通过向T细胞呈现肽来识别外国威胁并触发免疫反应。近年来，诱导特定免疫反应的肿瘤疫苗的合成已成为癌症治疗的最前沿。对肽和HLA之间的结合模式进行计算建模可以极大地加速肿瘤疫苗的发展。但是，大多数预测方法的性能非常有限，他们无法完全利用对现有生物学知识作为建模的基础的分析。在本文中，我们提出了HLA分子肽结合预测的TripHlapan，这是一种新型的PAN特异性预测模型。 Triphlapan通过整合三重编码矩阵，BIGRU +注意模型和转移学习策略来表现强大的预测能力。全面的评估证明了Triphlapan在不同测试环境中预测HLA-I和HLA-II肽结合的有效性。最新数据集进一步证明了HLA-I的预测能力。此外，我们表明Triphlapan在黑色素瘤患者的样本中具有强大的结合重构能力。总之，Triphlapan是预测HLA-I和HLA-II分子肽与肿瘤疫苗合成的强大工具。

大规模蛋白质语言模型（PLM）在蛋白质预测任务中的性能提高，范围从3D结构预测到各种功能预测。特别是，Alphafold（一种开创性的AI系统）可能会重塑结构生物学。但是，尚未探索超出结构预测的AlphaFold，Evoformer的PLM模块的效用。在本文中，我们研究了三个流行PLM的表示能力：ESM-1B（单序），MSA转换器（多个序列比对）和Evoformer（结构），并特别关注Evoformer。具体而言，我们旨在回答以下关键问题：（i）作为Alphafold的一部分，Evoformer是否会产生可预测蛋白质功能的表示形式？ （ii）如果是的，可以替换ESM-1B和MSA转换器？ （iii）这些PLM多少依赖于进化相关的蛋白质数据？在这方面，他们彼此补充吗？我们通过实证研究以及新的见解和结论来比较这些模型。最后，我们发布代码和数据集以获得可重复性。