生物医学文献和数字临床记录的汹涌数量呈现不断涌入的需要，这些技术不仅可以识别而且还可以在语义上与非结构化数据中的实体相关联。在本文中，我们提出了一种文本挖掘框架，包括命名实体识别（ner）和关系提取（RE）模型，其在以前的三种主要方面扩展了先前的工作。首先，我们介绍了两个新的RE模型架构 - 基于Biobert的精确优化的架构，并在完全连接的神经网络（FCNN）上使用制成特征的速度优化。其次，我们在2012年I2B2临床时间关系挑战（F1为73.6，+ 1.2％，在前面的SOTA的临床时间关系挑战上获得新的最先进的F1分数，从而在公共基准数据集上获得新的最先进的F1分数，2010年I2B2临床关系挑战（69.1，+ 1.2％），2019年表型 - 基因关系数据集（F1为87.9，+ 8.5％），2012年不利药物事件药物反应数据集（F1为90.0，+ 6.3％）和2018年N2C2病理学关系数据集（F1为96.7，+ 0.6％）。第三，我们展示了这一框架的两个实际应用 - 用于建立生物医学知识图，并提高临床码映射实体的准确性。该系统采用Spark NLP库构建，该库提供生产级，本地可扩展，硬件优化，可训练和可调NLP框架。

不良药物反应/事件（ADR / ADE）对患者健康和医疗费用产生重大影响。尽早检测ADR并与监管机构，制药公司和医疗保健提供者分享他们可以防止发病率并挽救许多生命。虽然大多数ADR都没有通过正式渠道报告，但它们通常在各种非结构化对话中记录，例如患者的社交媒体帖子，客户支持调用记录人或医疗保健提供者和制药商销售代表之间的会议注意事项。在本文中，我们提出了一种自然语言处理（NLP）解决方案，可在这种非结构化的自由文本对话中检测ADR，这在三种方面提高了先前的工作。首先，新的命名实体识别（NER）模型为ADR，CADEC和SMM4H基准数据集（分别为91.75％，78.76％和83.41％F1分数）获得新的最新的准确性）。其次，介绍了两个新的关系提取（RE）模型 - 基于Biobert，而另一个利用完全连接的神经网络（FCNN）的制作功能 - 显示与现有最先进的模型相提并论，在用补充诊所注释的RE DataSet培训时擅长它们。三是新的文本分类模型，用于决定对话是否包括ADR，在CADEC数据集中获得新的最先进的准确性（86.69％F1分数）。完整的解决方案在Apache Spark的顶部构建的生产级文库中实施了完整的解决方案，使其本身可扩展，并能够处理商品集群上的数百万批次或流媒体记录。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

根据诸如医疗条件，程序和药物使用之类的资格标准，识别患者队列对于临床试验的招募至关重要。这种标准通常是在自由文本中最自然地描述的，使用临床医生和研究人员熟悉的语言。为了大规模识别潜在参与者，必须首先将这些标准转换为临床数据库的查询，这可能是劳动密集型且容易出错的。自然语言处理（NLP）方法提供了一种可能自动转换为数据库查询的潜在手段。但是，必须首先使用Corpora对其进行培训和评估，该语料库详细列出临床试验标准。在本文中，我们介绍了叶片临床试验（LCT）语料库，该语料库是一种使用高度颗粒状结构化标签，捕获一系列生物医学现象的人类向超过1000个临床试验资格标准描述。我们提供了我们的模式，注释过程，语料库质量和统计数据的详细信息。此外，我们提出了该语料库的基线信息提取结果，作为未来工作的基准。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

Objective: Social Determinants of Health (SDOH) influence personal health outcomes and health systems interactions. Health systems capture SDOH information through structured data and unstructured clinical notes; however, clinical notes often contain a more comprehensive representation of several key SDOH. The objective of this work is to assess the SDOH information gain achievable by extracting structured semantic representations of SDOH from the clinical narrative and combining these extracted representations with available structured data. Materials and Methods: We developed a natural language processing (NLP) information extraction model for SDOH that utilizes a deep learning entity and relation extraction architecture. In an electronic health record (EHR) case study, we applied the SDOH extractor to a large existing clinical data set with over 200,000 patients and 400,000 notes and compared the extracted information with available structured data. Results: The SDOH extractor achieved 0.86 F1 on a withheld test set. In the EHR case study, we found 19\% of current tobacco users, 10\% of drug users, and 32\% of homeless patients only include documentation of these risk factors in the clinical narrative. Conclusions: Patients who are at-risk for negative health outcomes due to SDOH may be better served if health systems are able to identify SDOH risk factors and associated social needs. Structured semantic representations of text-encoded SDOH information can augment existing structured, and this more comprehensive SDOH representation can assist health systems in identifying and addressing social needs.

The internet has had a dramatic effect on the healthcare industry, allowing documents to be saved, shared, and managed digitally. This has made it easier to locate and share important data, improving patient care and providing more opportunities for medical studies. As there is so much data accessible to doctors and patients alike, summarizing it has become increasingly necessary - this has been supported through the introduction of deep learning and transformer-based networks, which have boosted the sector significantly in recent years. This paper gives a comprehensive survey of the current techniques and trends in medical summarization

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

放射学报告含有在其解释图像中被放射科学家记录的多样化和丰富的临床异常。放射发现的综合语义表示将使广泛的次要使用应用来支持诊断，分类，结果预测和临床研究。在本文中，我们提出了一种新的放射学报告语料库，注释了临床调查结果。我们的注释模式捕获了可观察到的病理发现的详细说明（“病变”）和其他类型的临床问题（“医学问题”）。该模式使用了基于事件的表示来捕获细粒细节，包括断言，解剖学，特征，大小，计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描（CT）报告。我们利用两个最先进的深度学习架构提取了触发器和论证实体，包括伯特。然后，我们使用基于BERT的关系提取模型预测触发器和参数实体（称为参数角色）之间的连接。我们使用预先从我们的机构的300万放射学报告预先培训的BERT模型实现了最佳提取性能：90.9％-93.4％f1用于查找触发器的触发器72.0％-85.6％f1，用于参数角色。为了评估型号的概括性，我们使用了从模拟胸部X射线（MIMIC-CXR）数据库中随机采样的外部验证。该验证集的提取性能为95.6％，用于发现触发器和参数角色的79.1％-89.7％，表明模型与具有不同的成像模型的跨机构数据一致。我们从模拟CXR数据库中的所有放射学报告中提取了查找事件，并为研究界提供了提取。

我们为日本医疗信息提取提供了一个开放式自然语言处理工具包。我们首先提出了一种新的关系注释架构，用于调查日本医疗报告中医学实体的医疗和时间关系。我们通过单独注释两种不同类型的报告来尝试实用的注释方案。我们设计了一个带有三个组件的管道系统，用于识别医疗实体，分类实体模式和提取关系。经验结果表明，准确的分析性能，提出了令人满意的注释质量，针对报告类型的有效注释策略，以及最新的上下文嵌入模型的优越性。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

由于临床实践所需的放射学报告和研究是在自由文本叙述中编写和存储的，因此很难提取相对信息进行进一步分析。在这种情况下，自然语言处理（NLP）技术可以促进自动信息提取和自由文本格式转换为结构化数据。近年来，基于深度学习（DL）的模型已适用于NLP实验，并具有令人鼓舞的结果。尽管基于人工神经网络（ANN）和卷积神经网络（CNN）的DL模型具有显着潜力，但这些模型仍面临临床实践中实施的一些局限性。变形金刚是另一种新的DL体系结构，已越来越多地用于改善流程。因此，在这项研究中，我们提出了一种基于变压器的细粒命名实体识别（NER）架构，以进行临床信息提取。我们以自由文本格式收集了88次腹部超声检查报告，并根据我们开发的信息架构进行了注释。文本到文本传输变压器模型（T5）和covive是T5模型的预训练域特异性适应性，用于微调来提取实体和关系，并将输入转换为结构化的格式。我们在这项研究中基于变压器的模型优于先前应用的方法，例如基于Rouge-1，Rouge-2，Rouge-L和BLEU分别为0.816、0.668、0.528和0.743的ANN和CNN模型，同时提供了一个分数可解释的结构化报告。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

确定与医学实体相对应的医学文本中的跨度是许多医疗保健NLP任务的核心步骤之一，例如ICD编码，医学发现提取，医学注释上下文化等等。现有的实体提取方法依赖于医疗实体的固定词汇和有限的词汇，并且难以提取以不相交跨度为代表的实体。在本文中，我们提出了一种新的基于变压器的架构，称为OSLAT，OPEL SET LABEL COATION TRUSSSIONER，它解决了先前方法的许多局限性。我们的方法使用标签 - 注意机制来隐式学习与感兴趣的实体相关的跨度。这些实体可以作为自由文本提供，包括在OSLAT培训期间看不到的实体，即使它们是不相交的，该模型也可以提取跨度。为了测试我们方法的普遍性，我们在两个不同的数据集上训练两个单独的模型，这些数据集具有非常低的实体重叠：（1）来自HNLP的公共排放笔记数据集，以及（2）更具挑战性的专有患者文本数据集“原因”相遇”（RFE）。我们发现，应用于数据集上的OSLAT模型在应用于RFE数据集以及HNLP数据集的一部分时，在数据集上训练了基于规则和模糊字符串匹配基线，其中实体由分离跨度表示。我们的代码可以在https://github.com/curai/curai-research/tree/main/oslat上找到。

了解全文学术文章的关键见解至关重要，因为它使我们能够确定有趣的趋势，洞悉研究和发展，并构建知识图。但是，只有在考虑全文时才可用一些有趣的关键见解。尽管研究人员在简短文档中的信息提取方面取得了重大进展，但从全文学术文献中提取科学实体仍然是一个具有挑战性的问题。这项工作提出了一种称为ENEREX的自动端对端研究实体提取器，用于提取技术集，客观任务，全文学术学术研究文章等技术方面。此外，我们提取了三个新颖的方面，例如源代码，计算资源，编程语言/库中的链接。我们演示了Enerex如何从计算机科学领域的大规模数据集中提取关键见解和趋势。我们进一步测试了多个数据集上的管道，发现ENEREX在最新模型的状态下进行了改进。我们强调了现有数据集的能力如何受到限制，以及enerex如何适应现有知识图。我们还向未来研究的指针进行了详细的讨论。我们的代码和数据可在https://github.com/discoveryanalyticscenter/enerex上公开获取。

由于对高效有效的大数据分析解决方案的需求，医疗保健行业中数据分析的合并已取得了重大进展。知识图（KGS）已在该领域证明了效用，并且植根于许多医疗保健应用程序，以提供更好的数据表示和知识推断。但是，由于缺乏代表性的kg施工分类法，该指定领域中的几种现有方法不足和劣等。本文是第一个提供综合分类法和鸟类对医疗kg建筑的眼光的看法。此外，还对与各种医疗保健背景相关的学术工作中最新的技术进行了彻底的检查。这些技术是根据用于知识提取的方法，知识库和来源的类型以及合并评估协议的方法进行了严格评估的。最后，报道和讨论了文献中的一些研究发现和现有问题，为这个充满活力的地区开放了未来研究的视野。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。