在这项研究中，我们展示了我们的工作参与BioCreative VII挑战的药物支持。药物靶靶相互作用（DTI）对于药物发现和重新施加至关重要，其通常从实验制品中手动提取。有关PubMed的32M生物医学文章和手动提取来自这种巨大的知识库的DTI是具有挑战性的。为了解决这个问题，我们为赛道1提供了一种解决方案，旨在提取药物和蛋白质实体之间的10种类型的相互作用。我们应用了一个组合生物向罗伯塔，艺术语言模型的艺术状态的集合类模型，卷积神经网络（CNN）来提取这些关系。尽管Biocreative VII药物测试语料库中的阶级失衡，但我们的模型与挑战中其他提交的平均值相比实现了良好的性能，微F1分数为55.67％（生物重建VI Chemprot测试语料库）。结果表明，深入学习在提取各种类型的DTIS方面的潜力。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

在Bircocrive VII的Track-1中，要求参与者识别药物/化学品和蛋白质之间的相互作用。提供每个药物/化学和蛋白质的内部名称实体注释，必须自动预测14个不同的相互作用中的一种。对于此关系提取任务，我们尝试两种基于BERT的句子分类方法，以及使用T5模型的更新文本到文本方法。我们发现基于BERT的模型一般表现更好，我们的生物综太基模型实现了所有指标的最高分，实现了0.74 F1得分。虽然我们的小说T5文本到文本方法没有表现出基于BERT的大多数模型，但它表现出在类似数据上培训的那些，呈现出有希望的结果，实现0.65 F1得分。我们认为，与关系提取的文本文本方法有一些竞争优势，并且有很多研究进步的空间。

生物医学研究正在以这种指数速度增长，科学家，研究人员和从业者不再能够应对该领域发表的文献的数量。文献中提出的知识需要以这种方式系统化，可以轻松找到声明和假设，访问和验证。知识图可以为文献提供这样的语义知识表示框架。然而，为了构建知识图形，有必要以生物医学实体之间的关系形式提取知识并使两个实体和关系类型进行正常化。在本文中，我们展示并比较了少数基于规则和基于机器学习的（天真的贝叶斯，随机森林作为传统机器学习方法和T5基础的示例，作为现代深层学习的示例）可扩展关系从生物医学中提取的方法集成到知识图中的文献。我们研究了如何为不平衡和相当小的数据集进行弹性，显示T5模型，由于其在大型C4数据集以及不平衡数据上进行预培训，因此T5模型处理得好的小型数据集。最佳执行模型是T5模型在平衡数据上进行微调，报告F1分数为0.88。

该药物发现​​和开发过程是一个漫长而昂贵的过程，每次药物平均耗资超过10亿美元，需要10 - 15年的时间。为了减少在整个过程中的高水平流失量，在最近十年中，越来越多地将机器学习方法应用于药物发现和发育的各个阶段，尤其是在最早鉴定可药物疾病基因的阶段。在本文中，我们开发了一种新的张量分解模型，以预测用于治疗疾病的潜在药物靶标（基因或蛋白质）。我们创建了一个三维数据张量，该数据张量由1,048个基因靶标，860个疾病和230,0111111111111111111111111111111的证据属性和临床结果，并使用从开放式目标和药物数据库中提取的数据组成。我们用从药物发现的知识图中学到的基因目标表示丰富了数据，并应用了我们提出的方法来预测看不见的基因靶标和疾病对的临床结果。我们设计了三种评估策略来衡量预测性能，并将几个常用的机器学习分类器与贝叶斯矩阵和张量分解方法进行了基准测试。结果表明，合并知识图嵌入可显着提高预测准确性，并与密集的神经网络一起训练张量分解优于所有其他基线。总而言之，我们的框架结合了两种积极研究的机器学习方法，用于疾病目标识别，即张量分解和知识图表示学习，这可能是在数据驱动的药物发现中进一步探索的有希望的途径。

药物发现和发展是一个复杂和昂贵的过程。正在研究机器学习方法，以帮助提高药物发现管道多个阶段的有效性和速度。其中，使用知识图表（kg）的那些在许多任务中具有承诺，包括药物修复，药物毒性预测和靶基因疾病优先级。在药物发现kg中，包括基因，疾病和药物在内的关键因素被认为是实体，而它们之间的关系表示相互作用。但是，为了构建高质量的KG，需要合适的数据。在这篇综述中，我们详细介绍了适用于构建聚焦KGS的药物发现的公开使用来源。我们的目标是帮助引导机器学习和kg从业者对吸毒者发现领域应用新技术，但是谁可能不熟悉相关的数据来源。通过严格的标准选择数据集，根据包含内部包含的主要信息类型，并基于可以提取的信息来进行分类以构建kg。然后，我们对现有的公共药物发现KGS进行了比较分析，并评估了文献中所选择的激励案例研究。此外，我们还提出了众多和与域及其数据集相关的众多挑战和问题，同时突出了关键的未来研究方向。我们希望本综述将激励KGS在药物发现领域的关键和新兴问题中使用。

动机：蛋白质 - 蛋白质相互作用（PPI）对正常和患病细胞中蛋白质的功能至关重要，并且许多关键蛋白质功能通过相互作用介导。这些相互作用的性质是对网络建设来分析生物学的重要性数据。然而，在蛋白质相互作用数据库中仅捕获的小百分比PPI具有可用功能的注释，例如：只有4％的PPI在完整数据库中有功能注释。在这里，我们的目标是通过提取PubMed摘要中描述的关系来标记PPI的功能类型类型。方法：我们从完整的PPI数据库中创建一个弱监督数据集，其中包含具有带有注释功能的交互蛋白对和来自PubMed数据库的相关摘要。我们为生物医学自然语言处理任务，Biobert应用了最先进的深度学习技术，以构建模型 - 配音PPI-Biobert - 用于识别PPI的功能。为了大规模提取高质量的PPI功能，我们使用PPI-Biobert模型的集合来改善不确定性估计，并应用特定类型特定的阈值以抵消每个交互类型的训练样本数量的变化的影响。结果：我们扫描1800万PubMed摘要，自动鉴定3253个新的类型的PPI，包括磷酸化和乙酰化相互作用，基于人类审查的样品，整体精度为46％（乙酰化87％）。这项工作表明，PPI函数提取的生物医学摘要分析是一种可行的方法，可以基本上增加在在线数据库中捕获的功能的互动的互动次数。

专门的基于变形金刚的模型（例如生物Biobert和Biomegatron）适用于基于公共可用的生物医学语料库的生物医学领域。因此，它们有可能编码大规模的生物学知识。我们研究了这些模型中生物学知识的编码和表示，及其支持癌症精度医学推断的潜在实用性 - 即，对基因组改变的临床意义的解释。我们比较不同变压器基线的性能；我们使用探测来确定针对不同实体的编码的一致性；我们使用聚类方法来比较和对比基因，变异，药物和疾病的嵌入的内部特性。我们表明，这些模型确实确实编码了生物学知识，尽管其中一些模型在针对特定任务的微调中丢失了。最后，我们分析了模型在数据集中的偏见和失衡方面的行为。

当植物天然产物与药物共容纳时，就会发生药代动力学天然产物 - 药物相互作用（NPDIS）。了解NPDI的机制是防止不良事件的关键。我们构建了一个知识图框架NP-KG，作为迈向药代动力学NPDIS的计算发现的一步。 NP-KG是一个具有生物医学本体论，链接数据和科学文献的全文，由表型知识翻译框架和语义关系提取系统，SEMREP和集成网络和动态推理组成的构建的科学文献的全文。通过路径搜索和元路径发现对药代动力学绿茶和kratom-prug相互作用的案例研究评估NP-KG，以确定与地面真实数据相比的一致性和矛盾信息。完全集成的NP-KG由745,512个节点和7,249,576个边缘组成。 NP-KG的评估导致了一致（绿茶的38.98％，kratom的50％），矛盾（绿茶的15.25％，21.43％，Kratom的21.43％），同等和矛盾的（15.25％）（21.43％，21.43％，21.43％ kratom）信息。几种声称的NPDI的潜在药代动力学机制，包括绿茶 - 茶氧化烯，绿茶 - 纳多洛尔，Kratom-Midazolam，Kratom-Quetiapine和Kratom-Venlafaxine相互作用，与已出版的文献一致。 NP-KG是第一个将生物医学本体论与专注于天然产品的科学文献的全文相结合的公斤。我们证明了NP-KG在鉴定涉及酶，转运蛋白和药物的药代动力学相互作用的应用。我们设想NP-KG将有助于改善人机合作，以指导研究人员将来对药代动力学NPDIS进行研究。 NP-KG框架可在https://doi.org/10.5281/zenodo.6814507和https://github.com/sanyabt/np-kg上公开获得。

药物 - 药物相互作用（DDIS）可能会阻碍药物的功能，在最坏的情况下，它们可能导致不良药物反应（ADR）。预测所有DDI是一个具有挑战性且关键的问题。大多数现有的计算模型都集成了来自不同来源的药物中心信息，并利用它们作为机器学习分类器中的功能来预测DDIS。但是，这些模型有很大的失败机会，尤其是对于所有信息都没有可用的新药。本文提出了一个新型的HyperGraph神经网络（HYGNN）模型，仅基于用于DDI预测问题的任何药物的微笑串。为了捕获药物的相似性，我们创建了从微笑字符串中提取的药物的化学子结构中创建的超图。然后，我们开发了由新型的基于注意力的超图边缘编码器组成的HYGNN，以使药物的表示形式和解码器，以预测药物对之间的相互作用。此外，我们进行了广泛的实验，以评估我们的模型并将其与几种最新方法进行比较。实验结果表明，我们提出的HYGNN模型有效地预测了DDI，并以最大的ROC-AUC和PR-AUC分别超过基准，分别为97.9％和98.1％。

蛋白质 - 蛋白质相互作用（PPI）对正常细胞功能至关重要，并且与许多疾病途径有关。然而，只有4％的PPI用PTMS在诸如完整的生物知识数据库中的PTM，主要通过手动策策进行，这既不是时间也不是成本效益。我们使用完整的PPI数据库创建具有交互蛋白对，它们相应的PTM类型和来自PubMed数据库的相关摘要注释的远程监督数据集。我们训练Biobert Models的一组合 - 配音PPI-Biobert-X10，以提高置信度校准。我们利用集合平均置信度方法的使用，置信范围抵消了类别不平衡提取高信任预测的影响。在测试集上评估的PPI-BIOBERT-X10模型导致适用的F1-MICRO 41.3（P = 5 8.1，R = 32.1）。然而，通过结合高信心和低变化来识别高质量的预测，调整精度预测，我们保留了100％精度的19％的测试预测。我们评估了1800万PubMed摘要的PPI-Biobert-X10，提取了160万（546507个独特的PTM-PPI三联网）PTM-PPI预测，并过滤〜5700（4584个独一无二）的高信心预测。在5700中，对于小型随机采样的子集进行人体评估表明，尽管置信度校准，精度降至33.7％，并突出了即使在置信度校准的情况下超出了测试集中的最长途的挑战。我们仅包括与多个论文相关的预测的问题来规避问题，从而将精确提高到58.8％。在这项工作中，我们突出了深入学习的文本挖掘在实践中的利益和挑战，并且需要增加对置信校准的强调，以促进人类策划努力。

This report presents the evaluation approach developed for the DARPA Big Mechanism program, which aimed at developing computer systems that will read research papers, integrate the information into a computer model of cancer mechanisms, and frame new hypotheses. We employed an iterative, incremental approach to the evaluation of the three phases of the program. In Phase I, we evaluated the ability of system and human teams ability to read-with-a-model to capture mechanistic information from the biomedical literature, integrated with information from expert curated biological databases. In Phase II we evaluated the ability of systems to assemble fragments of information into a mechanistic model. The Phase III evaluation focused on the ability of systems to provide explanations of experimental observations based on models assembled (largely automatically) by the Big Mechanism process. The evaluation for each phase built on earlier evaluations and guided developers towards creating capabilities for the new phase. The report describes our approach, including innovations such as a reference set (a curated data set limited to major findings of each paper) to assess the accuracy of systems in extracting mechanistic findings in the absence of a gold standard, and a method to evaluate model-based explanations of experimental data. Results of the evaluation and supporting materials are included in the appendices.

鉴定新型药物靶标相互作用（DTI）是药物发现中的关键和速率限制步骤。虽然已经提出了深入学习模型来加速识别过程，但我们表明最先进的模型无法概括到新颖（即，从未见过的）结构上。我们首先揭示负责此缺点的机制，展示模型如何依赖于利用蛋白质 - 配体二分网络拓扑的捷径，而不是学习节点特征。然后，我们介绍AI-BIND，这是一个与无监督的预训练的基于网络的采样策略相结合的管道，使我们能够限制注释不平衡并改善新型蛋白质和配体的结合预测。我们通过预测具有结合亲和力的药物和天然化合物对SARS-COV-2病毒蛋白和相关的人蛋白质来说明Ai-reat的值。我们还通过自动扩展模拟和与最近的实验证据进行比较来验证这些预测。总体而言，AI-Bind提供了一种强大的高通量方法来识别药物目标组合，具有成为药物发现中强大工具的可能性。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

Motivation: Biomedical text mining is becoming increasingly important as the number of biomedical documents rapidly grows. With the progress in natural language processing (NLP), extracting valuable information from biomedical literature has gained popularity among researchers, and deep learning has boosted the development of effective biomedical text mining models. However, directly applying the advancements in NLP to biomedical text mining often yields unsatisfactory results due to a word distribution shift from general domain corpora to biomedical corpora. In this article, we investigate how the recently introduced pre-trained language model BERT can be adapted for biomedical corpora. Results: We introduce BioBERT (Bidirectional Encoder Representations from Transformers for Biomedical Text Mining), which is a domain-specific language representation model pre-trained on large-scale biomedical corpora. With almost the same architecture across tasks, BioBERT largely outperforms BERT and previous state-of-the-art models in a variety of biomedical text mining tasks when pre-trained on biomedical corpora. While BERT obtains performance comparable to that of previous state-of-the-art models, BioBERT significantly outperforms them on the following three representative biomedical text mining tasks: biomedical named entity recognition (0.62% F1 score improvement), biomedical relation extraction (2.80% F1 score improvement) and biomedical question answering (12.24% MRR improvement). Our analysis results show that pre-training BERT on biomedical corpora helps it to understand complex biomedical texts.

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。