近年来，人们对使用电子病历（EMR）进行次要目的特别感兴趣，以增强医疗保健提供的质量和安全性。 EMR倾向于包含大量有价值的临床笔记。学习嵌入是一种将笔记转换为使其可比性的格式的方法。基于变压器的表示模型最近取得了巨大的飞跃。这些模型在大型在线数据集上进行了预训练，以有效地了解自然语言文本。学习嵌入的质量受临床注释如何用作表示模型的输入的影响。临床注释有几个部分具有不同水平的信息价值。医疗保健提供者通常使用不同的表达方式来实现同一概念也很常见。现有方法直接使用临床注释或初始预处理作为表示模型的输入。但是，要学习良好的嵌入，我们确定了最重要的临床笔记部分。然后，我们将提取的概念从选定部分映射到统一医学语言系统（UMLS）中的标准名称。我们使用与唯一概念相对应的标准短语作为临床模型的输入。我们进行了实验，以测量在公共可用的医疗信息集市（MIMIC-III）数据集的子集中，在医院死亡率预测的任务中，学到的嵌入向量的实用性。根据实验，与其他输入格式相比，基于临床变压器的表示模型通过提取的独特概念的标准名称产生的输入产生了更好的结果。表现最好的模型分别是Biobert，PubMedbert和Umlsbert。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

The internet has had a dramatic effect on the healthcare industry, allowing documents to be saved, shared, and managed digitally. This has made it easier to locate and share important data, improving patient care and providing more opportunities for medical studies. As there is so much data accessible to doctors and patients alike, summarizing it has become increasingly necessary - this has been supported through the introduction of deep learning and transformer-based networks, which have boosted the sector significantly in recent years. This paper gives a comprehensive survey of the current techniques and trends in medical summarization

电子医疗记录（EMRS）包含对医学研究人员具有巨大潜在价值的临床叙述文本。但是，将该信息与个人身份信息（PII）混合，这会给患者和临床医生机密的风险带来风险。本文介绍了端到端的去除识别框架，以自动从医院排放摘要中删除PII。我们的语料库包括600名医院出院摘要，该摘要是从澳大利亚悉尼的两家主要推荐医院的EMRS中提取的。我们的端到端去识别框架由三个组件组成：1）注释：使用五个预定类别的600家医院放电摘要标记PII：人，地址，出生日期，识别号码，电话号码; 2）建模：培训六个命名实体识别（NER）深度学习基础 - 平衡和不平衡数据集;并评估组合所有六种基础型号的合奏，这三种基础模型，具有最佳的F1分数和三种基础型号，分别使用令牌级多数投票和堆叠方法分别具有最佳的召回分数; 3）去鉴定：从医院排放摘要中移除PII。我们的研究结果表明，使用堆叠支持向量机（SVM）方法在三种基础上使用最佳F1分数的堆栈模型实现了优异的结果，在我们的语料库的测试组上的F1得分为99.16％。我们还评估了2014年I2B2去识别数据集上的建模组件的稳健性。我们在所有六种基础型号上使用令牌级多数投票方法的集合模型，在严格的实体匹配中实现了96.24％的最高F1得分，并且在二进制令牌级匹配中的最高F1得分为98.64％，而二进制符合两个州-Of-最现实的方法。该框架提供了一种强大的解决方案，可以安全地去识别临床叙述文本。

由于结构化数据通常不足，因此在开发用于临床信息检索和决策支持系统模型时，需要从电子健康记录中的自由文本中提取标签。临床文本中最重要的上下文特性之一是否定，这表明没有发现。我们旨在通过比较荷兰临床注释中的三种否定检测方法来改善标签的大规模提取。我们使用Erasmus医疗中心荷兰临床语料库比较了基于ContextD的基于规则的方法，即使用MEDCAT和（Fineted）基于Roberta的模型的BilstM模型。我们发现，Bilstm和Roberta模型都在F1得分，精度和召回方面始终优于基于规则的模型。此外，我们将每个模型的分类错误系统地分类，这些错误可用于进一步改善特定应用程序的模型性能。在性能方面，将三个模型结合起来并不有益。我们得出的结论是，尤其是基于Bilstm和Roberta的模型在检测临床否定方面非常准确，但是最终，根据手头的用例，这三种方法最终都可以可行。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

非结构化的文本数据是卫生系统的核心：医生之间的联络信，操作报告，根据ICD-10标准编码的程序等。这些文件中包含的详细信息使得更好地了解患者，更好地管理他或她，以更好地研究病理，以准确地偿还相关的医学行为\ ldots，这似乎（至少在部分）被人工智能技术触及了。但是，出于明显的隐私保护原因，这些AIS的设计师只要包含识别数据，就没有合法权利访问这些文件。取消识别这些文档，即检测和删除它们中存在的所有识别信息，是在两个互补世界之间共享此数据的法律必要步骤。在过去的十年中，已经提出了一些建议，主要是用英语来识别文件。虽然检测分数通常很高，但替代方法通常不是很健壮。在法语中，很少有基于任意检测和/或替代规则的方法。在本文中，我们提出了一种专门针对法语医学文件的新的综合识别方法。识别要素（基于深度学习）的检测方法及其替代（基于差异隐私）的方法都是基于最有效的现有方法。结果是一种方法，可以有效保护患者的隐私，这是这些医疗文件的核心。整个方法已经在法国公立医院的法语医学数据集上进行了评估，结果非常令人鼓舞。

Electronic Health Records (EHRs) hold detailed longitudinal information about each patient's health status and general clinical history, a large portion of which is stored within the unstructured text. Temporal modelling of this medical history, which considers the sequence of events, can be used to forecast and simulate future events, estimate risk, suggest alternative diagnoses or forecast complications. While most prediction approaches use mainly structured data or a subset of single-domain forecasts and outcomes, we processed the entire free-text portion of EHRs for longitudinal modelling. We present Foresight, a novel GPT3-based pipeline that uses NER+L tools (i.e. MedCAT) to convert document text into structured, coded concepts, followed by providing probabilistic forecasts for future medical events such as disorders, medications, symptoms and interventions. Since large portions of EHR data are in text form, such an approach benefits from a granular and detailed view of a patient while introducing modest additional noise. On tests in two large UK hospitals (King's College Hospital, South London and Maudsley) and the US MIMIC-III dataset precision@10 of 0.80, 0.81 and 0.91 was achieved for forecasting the next biomedical concept. Foresight was also validated on 34 synthetic patient timelines by 5 clinicians and achieved relevancy of 97% for the top forecasted candidate disorder. Foresight can be easily trained and deployed locally as it only requires free-text data (as a minimum). As a generative model, it can simulate follow-on disorders, medications and interventions for as many steps as required. Foresight is a general-purpose model for biomedical concept modelling that can be used for real-world risk estimation, virtual trials and clinical research to study the progression of diseases, simulate interventions and counterfactuals, and for educational purposes.

传统中药（TCM）是一种自然，安全且有效的疗法，已在全球范围内传播和应用。独特的TCM诊断和治疗系统需要对隐藏在自由文本编写的临床记录中的患者症状进行全面分析。先前的研究表明，该系统可以在人工智能（AI）技术（例如自然语言处理（NLP））的帮助下进行通知和智能。但是，现有数据集没有足够的质量或数量来支持TCM中数据驱动的AI技术的进一步开发。因此，在本文中，我们专注于TCM诊断和治疗系统的核心任务 - 综合征分化（SD） - 我们介绍了第一个用于SD的公共大型数据集，称为TCM-SD。我们的数据集包含54,152个现实世界临床记录，涵盖148个综合征。此外，我们在TCM领域收集了一个大规模的未标记文本语料库，并提出了一种特定领域的预训练的语言模型，称为Zy-Bert。我们使用深层神经网络进行了实验，以建立强大的性能基线，揭示了SD中的各种挑战，并证明了特定领域的预训练性语言模型的潜力。我们的研究和分析揭示了将计算机科学和语言学知识纳入探索TCM理论的经验有效性的机会。

医疗领域通常会受到信息超负荷的约束。医疗保健的数字化，在线医疗存储库的不断更新以及生物医学数据集的可用性增加使得有效分析数据变得具有挑战性。这为严重依赖医疗数据的医疗专业人员创造了其他工作，以完成研究并咨询患者。本文旨在展示不同的文本突出显示技术如何捕获相关的医疗环境。这将通过促进更快的决定，从而改善在线医疗服务的整体质量，从而减少医生对患者的认知负担和反应时间。实施和评估了三个不同的单词级文本突出显示方法。第一个方法使用TF-IDF分数直接突出文本的重要部分。第二种方法是TF-IDF分数的组合以及将局部可解释的模型 - 静态解释应用于分类模型。第三种方法直接使用神经网络来预测是否应突出显示单词。我们的实验结果表明，神经网络方法成功地突出了医学上的术语，并且随着输入段的大小的增加，其性能得到了提高。

我们的目标是使用自由文本和结构数据的组合构建分类模型。为此，我们通过文本句子，DataWords表示结构化数据，使类似的数据项映射到同一个句子中。这允许通过仅使用文本建模算法来建立文本和结构化数据的混合。有几个例子说明了通过首先运行的提取工具（命名实体识别）来提高文本分类性能，然后将输出转换为DataWords，并将DataWords添加到原始文本 - 在模型构建和分类之前。这种方法还允许我们在自由文本和结构化数据方面为推断产生解释。

背景：电子健康记录（EHRS）包含丰富的患者健康历史信息，这通常包括结构化和非结构化数据。已经有许多研究专注于从结构化数据中蒸馏有价值的信息，例如疾病代码，实验室测试结果和治疗方法。但是，依托结构化数据可能不足反映患者的综合信息，此类数据可能偶尔含有错误的记录。目的：随着机器学习（ML）和深度学习（DL）技术的最近进步，越来越多的研究通过纳入非结构化的自由文本数据，寻求获得更准确的结果。本文评论了使用多模式数据的研究，即结构化和非结构化数据的组合，从EHRS作为传统ML或DL模型的输入来解决目标任务。材料和方法：我们在电气和电子工程师（IEEE）数字图书馆（IEEE）数字图书馆，PubMed和Compution Machion（ACM）数字文章中搜索了与基于ML的多模式EHR研究相关的制品。结果与讨论：最后94项包括研究，我们专注于如何使用常规ML和DL技术合并和互动的数据来自不同方式的数据，以及如何在与EHR相关的任务中应用这些算法。此外，我们研究了这些融合方法的优点和局限，并表明了基于ML的多模式EHR研究的未来方向。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

医疗成果的预测模型对提高临床决策具有很强的希望。这些型号培训培训，诸如临床笔记的富患者数据，将许多患者信号汇总到结果预测中。然而，基于AI的临床模型通常是从​​初始循证药物（EBM）的突出范式的孤立的临床模型，其中医学决策是基于来自现有文献的明确证据。在这项工作中，我们介绍了帮助桥接ebm和基于AI的临床模型之间的这种差距的技术，并表明这些方法可以提高预测准确性。我们提出了一种新颖的系统，可根据重症监护（ICU）患者信息自动检索患者特异性文献，汇总相关文件并将其融合在内的内部录音，以形成结果预测。与强大的最近基线相比，我们的模型能够在三个具有挑战性的任务上提高预测准确性;对于住院医生的死亡率，我们能够通过超过25％的大幅度提高10％的精度。

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

大量的电子健康记录（EHR）在改善医疗保健方面产生了巨大的潜力。临床代码（结构化数据）和临床叙述（非结构化数据）是EHR中的两个重要文本模式。临床代码传达医院期间的诊断和治疗信息，临床注释带有患者遭遇的临床提供者的叙述。它们不孤立地存在，并且可以在大多数现实生活中的临床情况下相互补充。但是，大多数现有的面向EHR的研究要么集中于特定模式，要么以直接方式整合来自不同模态的数据，这忽略了它们之间的内在相互作用。为了解决这些问题，我们提出了一个名为MEDM-PLM的医学多模式预训练的语言模型，以了解对结构化和非结构化数据的增强EHR表示。在MEDM-PLM中，首先采用了两个基于变压器的神经网络组件来从每种模式中学习代表性特征。然后引入跨模块模块以建模其相互作用。我们在模拟III数据集上预先训练MEDM-PLM，并验证了该模型对三个下游临床任务的有效性，即药物建议，30天的再入院预测和ICD编码。与最先进的方法相比，广泛的实验证明了MEDM-PLM的功率。进一步的分析和可视化表明了我们的模型的鲁棒性，这有可能为临床决策提供更全面的解释。