放射学报告含有在其解释图像中被放射科学家记录的多样化和丰富的临床异常。放射发现的综合语义表示将使广泛的次要使用应用来支持诊断，分类，结果预测和临床研究。在本文中，我们提出了一种新的放射学报告语料库，注释了临床调查结果。我们的注释模式捕获了可观察到的病理发现的详细说明（“病变”）和其他类型的临床问题（“医学问题”）。该模式使用了基于事件的表示来捕获细粒细节，包括断言，解剖学，特征，大小，计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描（CT）报告。我们利用两个最先进的深度学习架构提取了触发器和论证实体，包括伯特。然后，我们使用基于BERT的关系提取模型预测触发器和参数实体（称为参数角色）之间的连接。我们使用预先从我们的机构的300万放射学报告预先培训的BERT模型实现了最佳提取性能：90.9％-93.4％f1用于查找触发器的触发器72.0％-85.6％f1，用于参数角色。为了评估型号的概括性，我们使用了从模拟胸部X射线（MIMIC-CXR）数据库中随机采样的外部验证。该验证集的提取性能为95.6％，用于发现触发器和参数角色的79.1％-89.7％，表明模型与具有不同的成像模型的跨机构数据一致。我们从模拟CXR数据库中的所有放射学报告中提取了查找事件，并为研究界提供了提取。

Objective: Social Determinants of Health (SDOH) influence personal health outcomes and health systems interactions. Health systems capture SDOH information through structured data and unstructured clinical notes; however, clinical notes often contain a more comprehensive representation of several key SDOH. The objective of this work is to assess the SDOH information gain achievable by extracting structured semantic representations of SDOH from the clinical narrative and combining these extracted representations with available structured data. Materials and Methods: We developed a natural language processing (NLP) information extraction model for SDOH that utilizes a deep learning entity and relation extraction architecture. In an electronic health record (EHR) case study, we applied the SDOH extractor to a large existing clinical data set with over 200,000 patients and 400,000 notes and compared the extracted information with available structured data. Results: The SDOH extractor achieved 0.86 F1 on a withheld test set. In the EHR case study, we found 19\% of current tobacco users, 10\% of drug users, and 32\% of homeless patients only include documentation of these risk factors in the clinical narrative. Conclusions: Patients who are at-risk for negative health outcomes due to SDOH may be better served if health systems are able to identify SDOH risk factors and associated social needs. Structured semantic representations of text-encoded SDOH information can augment existing structured, and this more comprehensive SDOH representation can assist health systems in identifying and addressing social needs.

对于医疗保健提供者提供适当的患者护理的准确和详细说明，包括患者时​​间表中的药物变化，至关重要。医疗保健提供者或患者本身可能会引发患者药物的改变。用药更改采用多种形式，包括处方药和相关剂量修饰。这些更改提供了有关患者整体健康以及导致当前护理的理由的信息。然后，未来的护理可以基于患者的最终状态。这项工作探讨了从自由文本临床注释中自动提取药物变化信息。上下文药物事件数据集（CMED）是临床注释的语料库，其注释可以通过多种变化相关的属性来表征药物变化，包括更改的类型（启动，停止，增加等），更改，时间性，时间性，时间性，时间性，时间性，时间。改变可能性和否定。使用CMED，我们确定了临床文本中的药物提及，并提出了三个新型的基于BERT的新型基于BERT的系统，以解决注释的药物变化特征。我们证明，我们建议的体系结构改善了对CMED的初始工作改善药物变更分类的性能。我们确定了0.959 F1的高性能的药物提及，我们提出的系统将药物变化及其属性分类为0.827 F1。

由于临床实践所需的放射学报告和研究是在自由文本叙述中编写和存储的，因此很难提取相对信息进行进一步分析。在这种情况下，自然语言处理（NLP）技术可以促进自动信息提取和自由文本格式转换为结构化数据。近年来，基于深度学习（DL）的模型已适用于NLP实验，并具有令人鼓舞的结果。尽管基于人工神经网络（ANN）和卷积神经网络（CNN）的DL模型具有显着潜力，但这些模型仍面临临床实践中实施的一些局限性。变形金刚是另一种新的DL体系结构，已越来越多地用于改善流程。因此，在这项研究中，我们提出了一种基于变压器的细粒命名实体识别（NER）架构，以进行临床信息提取。我们以自由文本格式收集了88次腹部超声检查报告，并根据我们开发的信息架构进行了注释。文本到文本传输变压器模型（T5）和covive是T5模型的预训练域特异性适应性，用于微调来提取实体和关系，并将输入转换为结构化的格式。我们在这项研究中基于变压器的模型优于先前应用的方法，例如基于Rouge-1，Rouge-2，Rouge-L和BLEU分别为0.816、0.668、0.528和0.743的ANN和CNN模型，同时提供了一个分数可解释的结构化报告。

根据诸如医疗条件，程序和药物使用之类的资格标准，识别患者队列对于临床试验的招募至关重要。这种标准通常是在自由文本中最自然地描述的，使用临床医生和研究人员熟悉的语言。为了大规模识别潜在参与者，必须首先将这些标准转换为临床数据库的查询，这可能是劳动密集型且容易出错的。自然语言处理（NLP）方法提供了一种可能自动转换为数据库查询的潜在手段。但是，必须首先使用Corpora对其进行培训和评估，该语料库详细列出临床试验标准。在本文中，我们介绍了叶片临床试验（LCT）语料库，该语料库是一种使用高度颗粒状结构化标签，捕获一系列生物医学现象的人类向超过1000个临床试验资格标准描述。我们提供了我们的模式，注释过程，语料库质量和统计数据的详细信息。此外，我们提出了该语料库的基线信息提取结果，作为未来工作的基准。

症状信息主要记录在自由文本临床笔记中，并且无法直接用于下游应用。为了应对这一挑战，需要采用可以处理不同机构和专业的临床语言变化的信息提取方法。在本文中，我们使用预处理和微调数据介绍了症状提取的领域概括，这些数据在机构和/或专业和患者人群方面与目标领域不同。我们使用基于变压器的联合实体和关系提取方法提取症状事件。为了减少对域特异性特征的依赖，我们提出了一种域的概括方法，该方法可以动态掩盖源域中的频繁症状单词。此外，我们将变压器语言模型（LM）预先限定在与任务相关的无标记文本上，以更好地表示。我们的实验表明，当源域与目标域更遥远时，掩盖和自适应预处理方法可以显着提高性能。

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

由于结构化数据通常不足，因此在开发用于临床信息检索和决策支持系统模型时，需要从电子健康记录中的自由文本中提取标签。临床文本中最重要的上下文特性之一是否定，这表明没有发现。我们旨在通过比较荷兰临床注释中的三种否定检测方法来改善标签的大规模提取。我们使用Erasmus医疗中心荷兰临床语料库比较了基于ContextD的基于规则的方法，即使用MEDCAT和（Fineted）基于Roberta的模型的BilstM模型。我们发现，Bilstm和Roberta模型都在F1得分，精度和召回方面始终优于基于规则的模型。此外，我们将每个模型的分类错误系统地分类，这些错误可用于进一步改善特定应用程序的模型性能。在性能方面，将三个模型结合起来并不有益。我们得出的结论是，尤其是基于Bilstm和Roberta的模型在检测临床否定方面非常准确，但是最终，根据手头的用例，这三种方法最终都可以可行。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

我们为日本医疗信息提取提供了一个开放式自然语言处理工具包。我们首先提出了一种新的关系注释架构，用于调查日本医疗报告中医学实体的医疗和时间关系。我们通过单独注释两种不同类型的报告来尝试实用的注释方案。我们设计了一个带有三个组件的管道系统，用于识别医疗实体，分类实体模式和提取关系。经验结果表明，准确的分析性能，提出了令人满意的注释质量，针对报告类型的有效注释策略，以及最新的上下文嵌入模型的优越性。

Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.

随着信息技术的快速发展，在线平台已经产生了巨大的文本资源。作为一种特定形式的信息提取（即），事件提取（EE）由于其自动从人类语言提取事件的能力而增加了普及。但是，事件提取有限的文献调查。现有审查工作要么花费很多努力，用于描述各种方法的细节或专注于特定领域。本研究提供了全面概述了最先进的事件提取方法及其从文本的应用程序，包括闭域和开放式事件提取。这项调查的特点是它提供了适度复杂性的概要，避免涉及特定方法的太多细节。本研究侧重于讨论代表作品的常见角色，应用领域，优势和缺点，忽略各个方法的特殊性。最后，我们总结了常见问题，当前解决方案和未来的研究方向。我们希望这项工作能够帮助研究人员和从业者获得最近的事件提取的快速概述。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

自然语言理解的关系提取使得创新和鼓励新颖的商业概念成为可能，并促进新的数字化决策过程。目前的方法允许提取与固定数量的实体的关系作为属性。提取与任意数量的属性的关系需要复杂的系统和昂贵的关系触发注释来帮助这些系统。我们将多属性关系提取（MARE）引入具有两种方法的假设问题，促进从业务用例到数据注释的显式映射。避免精细的注释约束简化了关系提取方法的应用。评估将我们的模型与当前最先进的事件提取和二进制关系提取方法进行了比较。与普通多属性关系的提取相比，我们的方法表现出改进。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

Objective. The impact of social determinants of health (SDoH) on patients' healthcare quality and the disparity is well-known. Many SDoH items are not coded in structured forms in electronic health records. These items are often captured in free-text clinical notes, but there are limited methods for automatically extracting them. We explore a multi-stage pipeline involving named entity recognition (NER), relation classification (RC), and text classification methods to extract SDoH information from clinical notes automatically. Materials and Methods. The study uses the N2C2 Shared Task data, which was collected from two sources of clinical notes: MIMIC-III and University of Washington Harborview Medical Centers. It contains 4480 social history sections with full annotation for twelve SDoHs. In order to handle the issue of overlapping entities, we developed a novel marker-based NER model. We used it in a multi-stage pipeline to extract SDoH information from clinical notes. Results. Our marker-based system outperformed the state-of-the-art span-based models at handling overlapping entities based on the overall Micro-F1 score performance. It also achieved state-of-the-art performance compared to the shared task methods. Conclusion. The major finding of this study is that the multi-stage pipeline effectively extracts SDoH information from clinical notes. This approach can potentially improve the understanding and tracking of SDoHs in clinical settings. However, error propagation may be an issue, and further research is needed to improve the extraction of entities with complex semantic meanings and low-resource entities using external knowledge.

临床领域中的事件提取是一个探索较少的研究领域。除了大量的特定领域的行话外，缺乏培训数据，包括较长的实体，具有模糊的边界，使该任务尤其具有挑战性。在本文中，我们介绍了DICE，这是一种用于临床事件提取的强大而数据效率的生成模型。骰子框架事件提取作为有条件的生成问题，并利用域专家提供的描述来提高低资源设置下的性能。此外，DICE学会了与辅助提及的识别任务一起定位和约束生物医学提及，该任务与事件提取任务共同培训，以利用任务间的依赖性，并进一步纳入确定的提及作为其各自任务的触发和论证候选者。我们还介绍了MacCrobat-EE，这是第一个带有事件参数注释的临床事件提取数据集。我们的实验证明了在临床领域的低数据设置下骰子的鲁棒性，以及将柔性关节训练并提及标记纳入生成方法的好处。