专门的基于变形金刚的模型（例如生物Biobert和Biomegatron）适用于基于公共可用的生物医学语料库的生物医学领域。因此，它们有可能编码大规模的生物学知识。我们研究了这些模型中生物学知识的编码和表示，及其支持癌症精度医学推断的潜在实用性 - 即，对基因组改变的临床意义的解释。我们比较不同变压器基线的性能；我们使用探测来确定针对不同实体的编码的一致性；我们使用聚类方法来比较和对比基因，变异，药物和疾病的嵌入的内部特性。我们表明，这些模型确实确实编码了生物学知识，尽管其中一些模型在针对特定任务的微调中丢失了。最后，我们分析了模型在数据集中的偏见和失衡方面的行为。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

在本文中，我们提供了针对深度学习（DL）模型的结构化文献分析，该模型用于支持癌症生物学的推论，并特别强调了多词分析。这项工作着重于现有模型如何通过先验知识，生物学合理性和解释性，生物医学领域的基本特性来解决更好的对话。我们讨论了DL模型的最新进化拱门沿整合先前的生物关系和网络知识的方向，以支持更好的概括（例如途径或蛋白质 - 蛋白质相互作用网络）和解释性。这代表了向模型的基本功能转变，该模型可以整合机械和统计推断方面。我们讨论了在此类模型中整合域先验知识的代表性方法。该论文还为解释性和解释性的当代方法提供了关键的看法。该分析指向编码先验知识和改善解释性之间的融合方向。

生物医学研究正在以这种指数速度增长，科学家，研究人员和从业者不再能够应对该领域发表的文献的数量。文献中提出的知识需要以这种方式系统化，可以轻松找到声明和假设，访问和验证。知识图可以为文献提供这样的语义知识表示框架。然而，为了构建知识图形，有必要以生物医学实体之间的关系形式提取知识并使两个实体和关系类型进行正常化。在本文中，我们展示并比较了少数基于规则和基于机器学习的（天真的贝叶斯，随机森林作为传统机器学习方法和T5基础的示例，作为现代深层学习的示例）可扩展关系从生物医学中提取的方法集成到知识图中的文献。我们研究了如何为不平衡和相当小的数据集进行弹性，显示T5模型，由于其在大型C4数据集以及不平衡数据上进行预培训，因此T5模型处理得好的小型数据集。最佳执行模型是T5模型在平衡数据上进行微调，报告F1分数为0.88。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

药物发现和发展是一个复杂和昂贵的过程。正在研究机器学习方法，以帮助提高药物发现管道多个阶段的有效性和速度。其中，使用知识图表（kg）的那些在许多任务中具有承诺，包括药物修复，药物毒性预测和靶基因疾病优先级。在药物发现kg中，包括基因，疾病和药物在内的关键因素被认为是实体，而它们之间的关系表示相互作用。但是，为了构建高质量的KG，需要合适的数据。在这篇综述中，我们详细介绍了适用于构建聚焦KGS的药物发现的公开使用来源。我们的目标是帮助引导机器学习和kg从业者对吸毒者发现领域应用新技术，但是谁可能不熟悉相关的数据来源。通过严格的标准选择数据集，根据包含内部包含的主要信息类型，并基于可以提取的信息来进行分类以构建kg。然后，我们对现有的公共药物发现KGS进行了比较分析，并评估了文献中所选择的激励案例研究。此外，我们还提出了众多和与域及其数据集相关的众多挑战和问题，同时突出了关键的未来研究方向。我们希望本综述将激励KGS在药物发现领域的关键和新兴问题中使用。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

由于缺乏标记的数据和高注释成本，需要域专家，生物医学领域中的关系提取具有挑战性。远处的监督通常用于通过将知识图与原始文本配对，以解决带注释数据的稀缺性。这样的管道容易出现噪声，并且为涵盖大量生物医学概念的规模增加了挑战。我们研究了现有的远覆盖范围远处监督的生物医学关系提取基准，发现培训和测试关系之间的重叠范围从26％到86％。此外，我们注意到这些基准的数据构建过程中的几个不一致，并且在没有火车测试泄漏的情况下，重点是较窄的实体类型之间的相互作用。这项工作提出了更准确的基准MEDDISTANT19，用于远距离覆盖的远距离监督的生物医学关系提取，以解决这些缺点，并通过将MEDLINE摘要与广泛使用的Snomed Snomed临床术语进行对齐。缺乏针对领域特异性语言模型的彻底评估，我们还进行了实验，以验证一般领域关系提取结果与生物医学关系提取。

该药物发现​​和开发过程是一个漫长而昂贵的过程，每次药物平均耗资超过10亿美元，需要10 - 15年的时间。为了减少在整个过程中的高水平流失量，在最近十年中，越来越多地将机器学习方法应用于药物发现和发育的各个阶段，尤其是在最早鉴定可药物疾病基因的阶段。在本文中，我们开发了一种新的张量分解模型，以预测用于治疗疾病的潜在药物靶标（基因或蛋白质）。我们创建了一个三维数据张量，该数据张量由1,048个基因靶标，860个疾病和230,0111111111111111111111111111111的证据属性和临床结果，并使用从开放式目标和药物数据库中提取的数据组成。我们用从药物发现的知识图中学到的基因目标表示丰富了数据，并应用了我们提出的方法来预测看不见的基因靶标和疾病对的临床结果。我们设计了三种评估策略来衡量预测性能，并将几个常用的机器学习分类器与贝叶斯矩阵和张量分解方法进行了基准测试。结果表明，合并知识图嵌入可显着提高预测准确性，并与密集的神经网络一起训练张量分解优于所有其他基线。总而言之，我们的框架结合了两种积极研究的机器学习方法，用于疾病目标识别，即张量分解和知识图表示学习，这可能是在数据驱动的药物发现中进一步探索的有希望的途径。

为了评估任何医疗干预的有效性，研究人员必须进行时间 - 密集和高度手动的文献综述。NLP系统可以帮助自动或协助实现这一昂贵的过程。为了支持这一目标，我们发布MS ^ 2（医学研究的多文件摘要），一个超过470K文档的数据集和来自科学文献的20k摘要。此数据集促进了可以在多项研究中评估和聚合矛盾证据的系统的开发，并且是生物医学领域的第一个大型公开可用的多文件摘要数据集。我们试验基于BART的摘要系统，具有前景的早期结果。我们以自由文本和结构形式制定我们的摘要输入和目标，并修改最近提出的指标，以评估我们系统生成的摘要的质量。数据和模型可在https://github.com/allenai/ms2上获得

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

改善疾病的护理标准是关于更好的治疗方法，反过来依赖于寻找和开发新药。然而，药物发现是一个复杂且昂贵的过程。通过机器学习的方法采用了利用域固有的互连性质的药物发现知识图的创建。基于图形的数据建模，结合知识图形嵌入式提供了更直观的域表示，适用于推理任务，例如预测缺失链路。一个这样的例子将产生对给定疾病的可能相关基因的排名列表，通常被称为目标发现。因此，这是关键的，即这些预测不仅是相关的，而且是生物学上的有意义的。然而，知识图形可以直接偏向，由于集成的底层数据源，或者由于图形构造中的建模选择，其中的一个结果是某些实体可以在拓扑上超越。我们展示了知识图形嵌入模型可能受到这种结构不平衡的影响，导致无论上下文都要高度排名的密集连接实体。我们在不同的数据集，模型和预测任务中提供对此观察的支持。此外，我们展示了如何通过随机，生物学上无意义的信息扰乱图形拓扑结构以人为地改变基因的等级。这表明这种模型可能会受到实体频率而不是在关系中编码的生物学信息的影响，当实体频率不是基础数据的真实反射时，创建问题。我们的结果突出了数据建模选择的重要性，并强调了从业者在解释模型输出和知识图形组合期间时要注意这些问题。

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

对于医疗保健提供者提供适当的患者护理的准确和详细说明，包括患者时​​间表中的药物变化，至关重要。医疗保健提供者或患者本身可能会引发患者药物的改变。用药更改采用多种形式，包括处方药和相关剂量修饰。这些更改提供了有关患者整体健康以及导致当前护理的理由的信息。然后，未来的护理可以基于患者的最终状态。这项工作探讨了从自由文本临床注释中自动提取药物变化信息。上下文药物事件数据集（CMED）是临床注释的语料库，其注释可以通过多种变化相关的属性来表征药物变化，包括更改的类型（启动，停止，增加等），更改，时间性，时间性，时间性，时间性，时间性，时间。改变可能性和否定。使用CMED，我们确定了临床文本中的药物提及，并提出了三个新型的基于BERT的新型基于BERT的系统，以解决注释的药物变化特征。我们证明，我们建议的体系结构改善了对CMED的初始工作改善药物变更分类的性能。我们确定了0.959 F1的高性能的药物提及，我们提出的系统将药物变化及其属性分类为0.827 F1。