在DNA序列中定位启动子区域对于生物信息学领域至关重要。这是文学中广泛研究的问题，但尚未完全解决。一些研究人员使用卷积网络提出了显着的结果，允许自动提取来自DNA链的特征。然而，尚未实现可能概括为若干生物的普遍架构，从而要求研究人员寻求新的架构和对每个新的生物体的近似数目。在这项工作中，我们提出了一种基于胶囊网络的多功能架构，可以精确地识别来自七种不同生物，真核和原核的原始DNA数据中的启动子序列。我们的模型是Capsprom，可以帮助在生物之间的学习转移并扩大其适用性。此外，CAPSPROM显示出具有竞争力的结果，克服了七个测试数据集中的五分之一的基线方法（F1分数）。模型和源代码在https://github.com/lauromoraes/capsnet-promoter提供。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

由影响它们折叠并因此决定其功能和特征的氨基酸链组成，蛋白质是一类大分子，它们在主要生物过程中起着核心作用，并且是人体组织的结构，功能和调节所必需的。了解蛋白质功能对于治疗和精确医学的发展至关重要，因此可以根据可测量特征对蛋白质进行分类及其功能至关重要。实际上，从其主要结构（称为其主要结构）中对蛋白质特性的自动推断仍然是生物信息学领域中的一个重要开放问题，尤其是考虑到测序技术的最新进展和广泛的已知但未分类的蛋白质具有未知属性。在这项工作中，我们演示和比较了几个深度学习框架的性能，包括新型双向LSTM和卷积模型，这些卷积模型在蛋白质数据库（PDB）的广泛可用的测序数据合作中，结构生物信息信息技术（RCSB），RCSB），RCSB（RCSB），RCSB（RCSB）的研究合作。除了对经典的机器学习方法进行基准测试，包括K-Nearest邻居和多项式回归分类器，对实验数据进行了培训。我们的结果表明，我们的深度学习模型为经典的机器学习方法提供了卓越的性能，卷积体系结构提供了最令人印象深刻的推理性能。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

鉴定新型药物靶标相互作用（DTI）是药物发现中的关键和速率限制步骤。虽然已经提出了深入学习模型来加速识别过程，但我们表明最先进的模型无法概括到新颖（即，从未见过的）结构上。我们首先揭示负责此缺点的机制，展示模型如何依赖于利用蛋白质 - 配体二分网络拓扑的捷径，而不是学习节点特征。然后，我们介绍AI-BIND，这是一个与无监督的预训练的基于网络的采样策略相结合的管道，使我们能够限制注释不平衡并改善新型蛋白质和配体的结合预测。我们通过预测具有结合亲和力的药物和天然化合物对SARS-COV-2病毒蛋白和相关的人蛋白质来说明Ai-reat的值。我们还通过自动扩展模拟和与最近的实验证据进行比较来验证这些预测。总体而言，AI-Bind提供了一种强大的高通量方法来识别药物目标组合，具有成为药物发现中强大工具的可能性。

流感病毒迅速变异，可能对公共卫生构成威胁，尤其是对弱势群体的人。在整个历史中，流感A病毒在不同物种之间引起了大流行病。重要的是要识别病毒的起源，以防止爆发的传播。最近，人们对使用机器学习算法来为病毒序列提供快速准确的预测一直引起人们的兴趣。在这项研究中，使用真实的测试数据集和各种评估指标用于评估不同分类学水平的机器学习算法。由于血凝素是免疫反应中的主要蛋白质，因此仅使用血凝素序列并由位置特异性评分基质和单词嵌入来表示。结果表明，5-grams-transformer神经网络是预测病毒序列起源的最有效算法，大约99.54％的AUCPR，98.01％的F1分数和96.60％的MCC，在较高的分类水平上，约94.74％AUCPR，87.41％，87.41％，87.41％ ％F1分数％和80.79％的MCC在较低的分类水平下。

精确预测蛋白质功能和性质的能力在生物技术行业中是必不可少的，例如，药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大标签空间和缺乏标记的训练数据。我们的方法利用无监督的序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下，大多数现有方法删除了罕见的蛋白质功能以减少标签空间。此外，一些现有方法需要额外的生物信息（例如，蛋白质的三维结构），其难以在生化实验中确定。我们所提出的方法显着优于仅使用蛋白质序列作为输入的公共可用基准的其他方法。这允许识别识别蛋白质功能的过程。

药物介导的电压门控钾通道（HERG）和电压门控钠通道（NAV1.5）可导致严重的心血管并发症。这种上升的担忧已经反映在药物开发竞技场中，因为许多经批准的药物的常常出现心脏毒性导致他们在某些情况下停止他们的使用，或者在某些情况下，他们从市场上撤回。在药物发现过程的开始时预测潜在的HERG和NAV1.5阻滞剂可以解决这个问题，因此可以降低开发安全药物的时间和昂贵的成本。一种快速且经济高效的方法是在杂草中使用硅预测方法，在药物开发的早期阶段杂草出潜在的Herg和Nav1.5阻滞剂。在这里，我们介绍了两种基于强大的基于2D描述符的基于描述符的QSAR预测模型，用于HERG和NAV1.5责任预测。机器学习模型训练，用于回归，预测药物的效力值，以及三种不同效力截止的多条分类（即1 {\ mu} m，10 {\ mu} m，和30 {\ mu}） M），其中托管 - Herg分类器是随机森林模型的管道，受到8380个独特的分子化合物的大型策级数据集。虽然Toxtree-Nav1.5分类器，凯列化SVM模型的管道，由来自Chembl和Pubchem公开的生物活动数据库的大型手动策划的1550个独特的化合物培训。拟议的HERG诱导者表现优于最先进的发布模型和其他现有工具的大多数指标。此外，我们正在介绍Q4 = 74.9％的第一个NAV1.5责任预测模型，Q2 = 86.7％的二进制分类= 71.2％在173个独特的化合物的外部测试组上进行评估。该项目中使用的策划数据集公开可向研究界提供。

由于在线学习和评估平台（例如Coursera，Udemy，Khan Academy等）的兴起，对论文（AES）和自动论文评分的自动评估（AES）已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是，其中许多技术都使用手工制作的功能，因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式，可以利用大量数据并确定对论文评估有用的功能。为此，我们提出了一种基于复发网络（RNN）和卷积神经网络（CNN）的新型体系结构。在拟议的体系结构中，多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征，并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元（BGRU），用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的，以实现AES的任务。实验结果表明，我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。

Motivation: Enhancers are important cis-regulatory elements that regulate a wide range of biological functions and enhance the transcription of target genes. Although many state-of-the-art computational methods have been proposed in order to efficiently identify enhancers, learning globally contextual features is still one of the challenges for computational methods. Regarding the similarities between biological sequences and natural language sentences, the novel BERT-based language techniques have been applied to extracting complex contextual features in various computational biology tasks such as protein function/structure prediction. To speed up the research on enhancer identification, it is urgent to construct a BERT-based enhancer language model. Results: In this paper, we propose a multi-scale enhancer identification method (iEnhancer-ELM) based on enhancer language models, which treat enhancer sequences as natural language sentences that are composed of k-mer nucleotides. iEnhancer-ELM can extract contextual information of multi-scale k-mers with positions from raw enhancer sequences. Benefiting from the complementary information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for improving enhancer identification. The benchmark comparisons show that our model outperforms state-of-the-art methods. By the interpretable attention mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating our model has a potential ability to reveal the biological mechanism of enhancer. Availability: The source code are available at https://github.com/chen-bioinfo/iEnhancer-ELM Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com; Supplementary information: Supplementary data are available at Bioinformatics online.

人白细胞抗原（HLA）是人类免疫领域的重要分子家族，它通过向T细胞呈现肽来识别外国威胁并触发免疫反应。近年来，诱导特定免疫反应的肿瘤疫苗的合成已成为癌症治疗的最前沿。对肽和HLA之间的结合模式进行计算建模可以极大地加速肿瘤疫苗的发展。但是，大多数预测方法的性能非常有限，他们无法完全利用对现有生物学知识作为建模的基础的分析。在本文中，我们提出了HLA分子肽结合预测的TripHlapan，这是一种新型的PAN特异性预测模型。 Triphlapan通过整合三重编码矩阵，BIGRU +注意模型和转移学习策略来表现强大的预测能力。全面的评估证明了Triphlapan在不同测试环境中预测HLA-I和HLA-II肽结合的有效性。最新数据集进一步证明了HLA-I的预测能力。此外，我们表明Triphlapan在黑色素瘤患者的样本中具有强大的结合重构能力。总之，Triphlapan是预测HLA-I和HLA-II分子肽与肿瘤疫苗合成的强大工具。

病毒感染导致全世界的显着发病率和死亡率。理解特定病毒和人类蛋白质之间的相互作用模式在揭示病毒感染和发病机制的潜在机制方面发挥着至关重要的作用。这可以进一步帮助预防和治疗病毒相关疾病。然而，由于病毒 - 人类相互作用的稀缺数据和大多数病毒的快速突变率，预测新病毒和人体细胞之间的蛋白质 - 蛋白质相互作用的任务是非常挑战性的。我们开发了一种多任务转移学习方法，利用人类互乱组约2400万蛋白序列和相互作用模式的信息来解决小型训练数据集的问题。除了使用手工制作的蛋白质特征，而不是通过深语模型方法从巨大的蛋白质序列来源学习的统计学上丰富的蛋白质表示。此外，我们采用了额外的目的，旨在最大限度地提高观察人蛋白质蛋白质相互作用的可能性。这一附加任务目标充当规律器，还允许纳入域知识来告知病毒 - 人蛋白质 - 蛋白质相互作用预测模型。我们的方法在13个基准数据集中实现了竞争力，以及SAR-COV-2病毒受体的案例研究。实验结果表明，我们所提出的模型有效地用于病毒 - 人和细菌 - 人蛋白质 - 蛋白质 - 蛋白质相互作用预测任务。我们分享我们的重复性和未来研究代码，以便在https://git.l3s.uni-hannover.de/dong/multitastastastastastastastastastask-transfer。

Applying deep learning concepts from image detection and graph theory has greatly advanced protein-ligand binding affinity prediction, a challenge with enormous ramifications for both drug discovery and protein engineering. We build upon these advances by designing a novel deep learning architecture consisting of a 3-dimensional convolutional neural network utilizing channel-wise attention and two graph convolutional networks utilizing attention-based aggregation of node features. HAC-Net (Hybrid Attention-Based Convolutional Neural Network) obtains state-of-the-art results on the PDBbind v.2016 core set, the most widely recognized benchmark in the field. We extensively assess the generalizability of our model using multiple train-test splits, each of which maximizes differences between either protein structures, protein sequences, or ligand extended-connectivity fingerprints. Furthermore, we perform 10-fold cross-validation with a similarity cutoff between SMILES strings of ligands in the training and test sets, and also evaluate the performance of HAC-Net on lower-quality data. We envision that this model can be extended to a broad range of supervised learning problems related to structure-based biomolecular property prediction. All of our software is available as open source at https://github.com/gregory-kyro/HAC-Net/.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

氨基酸的分类及其序列分析在生命科学中起着至关重要的作用，并且是一项艰巨的任务。本文使用并比较了最新的深度学习模型，例如卷积神经网络（CNN），长期记忆（LSTM）和门控复发单元（GRU），以解决使用氨基酸的大分子分类问题。与传统的机器学习技术相比，这些模型具有有效的框架来解决广泛的复杂学习问题。我们使用嵌入单词来表示氨基酸序列作为向量。CNN从氨基酸序列中提取特征，这些特征被视为向量，然后喂入上面提到的模型以训练健壮的分类器。我们的结果表明，嵌入与VGG-16相结合的Word2Vec的性能比LSTM和GRU更好。提出的方法的错误率为1.5％。

背景：感染细菌和古代的原核病毒是生物圈中最丰富和多样化的生物实体。要了解各种生态系统中的监管作用，并利用治疗中使用的噬菌体的潜力，需要了解有病毒宿主关系的知识。高通量测序及其对微生物组的应用已经为预测宿主特定病毒可能感染的预测提供了新的机会。但是，计算宿主预测存在两个主要挑战。首先，经验上已知的病毒 - 宿主关系非常有限。其次，虽然病毒与其原核寄存器之间的序列相似度被用作宿主预测的主要特征，但在许多情况下，对齐在丢失或含糊不清。因此，仍然需要提高宿主预测的准确性。结果：在这项工作中，我们提出了一个半监督的学习模型，名为Hostg，为新颖病毒进行主机预测。我们通过利用病毒病毒蛋白质相似性和病毒宿主DNA序列相似性构建知识图。然后采用图形卷积网络（GCN）来利用或没有已知主机在培训中进行病毒来提高学习能力。在GCN培训期间，我们最小化预期的校准错误（ECE），以确保预测的信心。我们在模拟和实际测序数据上测试了HostG，并将其性能与其他用于病毒主机分类（VHM-Net，Wish，PHP，Hophage，Rafah，VHulk和VPF-Class）设计的最先进的方法。结论：Hostg优于其他流行的方法，展示了使用基于GCN的半监督学习方法的功效。 Hostg的特殊优势是它能够从新的分类群中预测主机。

人们使用移动消息传递服务的增加导致了像网络钓鱼一样的社会工程攻击的传播，考虑到垃圾邮件文本是传播网络钓鱼攻击的主要因素之一，以窃取信用卡和密码等敏感数据。此外，关于Covid-19大流行的谣言和不正确的医疗信息在社交媒体上广泛分享，导致人们的恐惧和混乱。因此，过滤垃圾邮件内容对于降低风险和威胁至关重要。以前的研究依赖于机器学习和深入学习的垃圾邮件分类方法，但这些方法有两个限制。机器学习模型需要手动功能工程，而深度神经网络需要高计算成本。本文介绍了一种动态的深度集合模型，用于垃圾邮件检测，调整其复杂性并自动提取功能。所提出的模型利用卷积和汇集层进行特征提取以及基础分类器，如随机森林和极其随机的树木，用于将文本分类为垃圾邮件或合法的树。此外，该模型采用了Boosting和Bagging等集合学习程序。结果，该模型达到了高精度，召回，F1分数和精度为98.38％。

预测药物目标相互作用是药物发现的关键。最近基于深度学习的方法显示出令人鼓舞的表现，但仍有两个挑战：（i）如何明确建模并学习药物与目标之间的局部互动，以更好地预测和解释； （ii）如何从不同分布的新型药物目标对上概括预测性能。在这项工作中，我们提出了Dugban，这是一个深层双线性注意网络（BAN）框架，并适应了域的适应性，以明确学习药物与目标之间的配对局部相互作用，并适应了分布数据外的数据。 Dugban在药物分子图和靶蛋白序列上进行预测的作品，有条件结构域对抗性学习，以使跨不同分布的学习相互作用表示，以更好地对新型药物目标对进行更好的概括。在内域和跨域设置下，在三个基准数据集上进行的实验表明，对于五个最先进的基准，Dugban取得了最佳的总体表现。此外，可视化学习的双线性注意图图提供了可解释的见解，从预测结果中提供了可解释的见解。