我们为日本医疗信息提取提供了一个开放式自然语言处理工具包。我们首先提出了一种新的关系注释架构，用于调查日本医疗报告中医学实体的医疗和时间关系。我们通过单独注释两种不同类型的报告来尝试实用的注释方案。我们设计了一个带有三个组件的管道系统，用于识别医疗实体，分类实体模式和提取关系。经验结果表明，准确的分析性能，提出了令人满意的注释质量，针对报告类型的有效注释策略，以及最新的上下文嵌入模型的优越性。

放射学报告含有在其解释图像中被放射科学家记录的多样化和丰富的临床异常。放射发现的综合语义表示将使广泛的次要使用应用来支持诊断，分类，结果预测和临床研究。在本文中，我们提出了一种新的放射学报告语料库，注释了临床调查结果。我们的注释模式捕获了可观察到的病理发现的详细说明（“病变”）和其他类型的临床问题（“医学问题”）。该模式使用了基于事件的表示来捕获细粒细节，包括断言，解剖学，特征，大小，计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描（CT）报告。我们利用两个最先进的深度学习架构提取了触发器和论证实体，包括伯特。然后，我们使用基于BERT的关系提取模型预测触发器和参数实体（称为参数角色）之间的连接。我们使用预先从我们的机构的300万放射学报告预先培训的BERT模型实现了最佳提取性能：90.9％-93.4％f1用于查找触发器的触发器72.0％-85.6％f1，用于参数角色。为了评估型号的概括性，我们使用了从模拟胸部X射线（MIMIC-CXR）数据库中随机采样的外部验证。该验证集的提取性能为95.6％，用于发现触发器和参数角色的79.1％-89.7％，表明模型与具有不同的成像模型的跨机构数据一致。我们从模拟CXR数据库中的所有放射学报告中提取了查找事件，并为研究界提供了提取。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

根据诸如医疗条件，程序和药物使用之类的资格标准，识别患者队列对于临床试验的招募至关重要。这种标准通常是在自由文本中最自然地描述的，使用临床医生和研究人员熟悉的语言。为了大规模识别潜在参与者，必须首先将这些标准转换为临床数据库的查询，这可能是劳动密集型且容易出错的。自然语言处理（NLP）方法提供了一种可能自动转换为数据库查询的潜在手段。但是，必须首先使用Corpora对其进行培训和评估，该语料库详细列出临床试验标准。在本文中，我们介绍了叶片临床试验（LCT）语料库，该语料库是一种使用高度颗粒状结构化标签，捕获一系列生物医学现象的人类向超过1000个临床试验资格标准描述。我们提供了我们的模式，注释过程，语料库质量和统计数据的详细信息。此外，我们提出了该语料库的基线信息提取结果，作为未来工作的基准。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

指定的实体识别（NER）或从临床文本中提取概念是识别文本中的实体并将其插入诸如问题，治疗，测试，临床部门，事件（例如录取和出院）等类别的任务。 NER构成了处理和利用电子健康记录（EHR）的非结构化数据的关键组成部分。尽管识别概念的跨度和类别本身是一项具有挑战性的任务，但这些实体也可能具有诸如否定属性，即否定其含义暗示着指定实体的消费者。几乎没有研究致力于将实体及其合格属性一起确定。这项研究希望通过将NER任务建模为有监督的多标签标记问题，为检测实体及其相应属性做出贡献。在本文中，我们提出了3种架构来实现此多标签实体标签：Bilstm N-CRF，Bilstm-Crf-Smax-TF和Bilstm N-CRF-TF。我们在2010 I2B2/VA和I2B2 2012共享任务数据集上评估了这些方法。我们的不同模型分别在I2B2 2010/VA和I2B2 2012上获得最佳NER F1分数为0. 894和0.808。在I2B2 2010/VA和I2B2 2012数据集上，获得的最高跨度微积的F1极性得分分别为0.832和0.836，获得的最高宏观平均F1极性得分分别为0.924和0.888。对I2B2 2012数据集进行的模态研究显示，基于SPAN的微平均F1和宏观平均F1的高分分别为0.818和0.501。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

我们提出了KPI-Bert，该系统采用新颖的实体识别方法（NER）和关系提取（RE）来提取和链接关键绩效指标（KPIS），例如来自现实世界中德国财务文件的公司的“收入”或“利息费用”。具体而言，我们引入了一种端到端可训练的体系结构，该体系结构基于来自变形金刚（BERT）的双向编码器表示，该架构将复发性神经网络（RNN）与条件标签屏蔽结合到依次标记实体之前，然后再对其关系进行分类。我们的模型还引入了一种可学习的基于RNN的合并机制，并通过明确过滤不可能的关系来结合域专家知识。我们在德国财务报告的新实用数据集上实现了更高的预测性能，表现优于几个强大的基础线，包括基于最新的跨度实体标签方法。

生物医学文献和数字临床记录的汹涌数量呈现不断涌入的需要，这些技术不仅可以识别而且还可以在语义上与非结构化数据中的实体相关联。在本文中，我们提出了一种文本挖掘框架，包括命名实体识别（ner）和关系提取（RE）模型，其在以前的三种主要方面扩展了先前的工作。首先，我们介绍了两个新的RE模型架构 - 基于Biobert的精确优化的架构，并在完全连接的神经网络（FCNN）上使用制成特征的速度优化。其次，我们在2012年I2B2临床时间关系挑战（F1为73.6，+ 1.2％，在前面的SOTA的临床时间关系挑战上获得新的最先进的F1分数，从而在公共基准数据集上获得新的最先进的F1分数，2010年I2B2临床关系挑战（69.1，+ 1.2％），2019年表型 - 基因关系数据集（F1为87.9，+ 8.5％），2012年不利药物事件药物反应数据集（F1为90.0，+ 6.3％）和2018年N2C2病理学关系数据集（F1为96.7，+ 0.6％）。第三，我们展示了这一框架的两个实际应用 - 用于建立生物医学知识图，并提高临床码映射实体的准确性。该系统采用Spark NLP库构建，该库提供生产级，本地可扩展，硬件优化，可训练和可调NLP框架。

To effectively train accurate Relation Extraction models, sufficient and properly labeled data is required. Adequately labeled data is difficult to obtain and annotating such data is a tricky undertaking. Previous works have shown that either accuracy has to be sacrificed or the task is extremely time-consuming, if done accurately. We are proposing an approach in order to produce high-quality datasets for the task of Relation Extraction quickly. Neural models, trained to do Relation Extraction on the created datasets, achieve very good results and generalize well to other datasets. In our study, we were able to annotate 10,022 sentences for 19 relations in a reasonable amount of time, and trained a commonly used baseline model for each relation.

由于临床实践所需的放射学报告和研究是在自由文本叙述中编写和存储的，因此很难提取相对信息进行进一步分析。在这种情况下，自然语言处理（NLP）技术可以促进自动信息提取和自由文本格式转换为结构化数据。近年来，基于深度学习（DL）的模型已适用于NLP实验，并具有令人鼓舞的结果。尽管基于人工神经网络（ANN）和卷积神经网络（CNN）的DL模型具有显着潜力，但这些模型仍面临临床实践中实施的一些局限性。变形金刚是另一种新的DL体系结构，已越来越多地用于改善流程。因此，在这项研究中，我们提出了一种基于变压器的细粒命名实体识别（NER）架构，以进行临床信息提取。我们以自由文本格式收集了88次腹部超声检查报告，并根据我们开发的信息架构进行了注释。文本到文本传输变压器模型（T5）和covive是T5模型的预训练域特异性适应性，用于微调来提取实体和关系，并将输入转换为结构化的格式。我们在这项研究中基于变压器的模型优于先前应用的方法，例如基于Rouge-1，Rouge-2，Rouge-L和BLEU分别为0.816、0.668、0.528和0.743的ANN和CNN模型，同时提供了一个分数可解释的结构化报告。

Raredis Corpus含有超过5,000个罕见疾病，近6,000个临床表现都是注释。此外，跨候注释协议评估表明，相对高的协议（F1措施等于实体的完全匹配标准，与关系的81.3％等于83.5％）。基于这些结果，该毒品具有高质量，假设该领域的重要步骤由于稀缺具有稀有疾病的可用语料库。这可以将门打开到进一步的NLP应用，这将促进这些罕见疾病的诊断和治疗，因此将大大提高这些患者的生活质量。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

开发会话剂与患者相互作用并提供主要的临床建议，由于其巨大的应用潜力引起了人们的关注，尤其是在COVID-19-19大流行时期。但是，端到端神经对话系统的培训受到数量不足的医学对话语料库的限制。在这项工作中，我们首次尝试建立和发布与12种常见的胃肠道疾病相关的大规模高质量医学对话数据集，名为MEDDG，并从在线健康咨询社区收集了超过17K的对话。在MEDDG的每次对话中，都会注释五种不同类别的实体，包括疾病，症状，属性，测试和药物。为了推动对建立专家敏感的医学对话系统的未来研究，我们提出了基于MEDDG数据集的两种医疗对话任务。一个是下一个实体预测，另一个是医生的反应生成。为了明确理解这两项医学对话任务，我们实施了几个最先进的基准，并设计了两个对话模型，并进一步考虑了预测的实体。实验结果表明，训练前语言模型和其他基线在我们数据集中的性能差的两项任务上都挣扎，并且可以在辅助实体信息的帮助下增强响应质量。从人类评估来看，简单的检索模型的表现优于几个最新的生成模型，这表明仍然有一个很大的改进空间可以改善产生有意义的反应。

不良药物反应/事件（ADR / ADE）对患者健康和医疗费用产生重大影响。尽早检测ADR并与监管机构，制药公司和医疗保健提供者分享他们可以防止发病率并挽救许多生命。虽然大多数ADR都没有通过正式渠道报告，但它们通常在各种非结构化对话中记录，例如患者的社交媒体帖子，客户支持调用记录人或医疗保健提供者和制药商销售代表之间的会议注意事项。在本文中，我们提出了一种自然语言处理（NLP）解决方案，可在这种非结构化的自由文本对话中检测ADR，这在三种方面提高了先前的工作。首先，新的命名实体识别（NER）模型为ADR，CADEC和SMM4H基准数据集（分别为91.75％，78.76％和83.41％F1分数）获得新的最新的准确性）。其次，介绍了两个新的关系提取（RE）模型 - 基于Biobert，而另一个利用完全连接的神经网络（FCNN）的制作功能 - 显示与现有最先进的模型相提并论，在用补充诊所注释的RE DataSet培训时擅长它们。三是新的文本分类模型，用于决定对话是否包括ADR，在CADEC数据集中获得新的最先进的准确性（86.69％F1分数）。完整的解决方案在Apache Spark的顶部构建的生产级文库中实施了完整的解决方案，使其本身可扩展，并能够处理商品集群上的数百万批次或流媒体记录。

Biomedical named entity recognition (BioNER) seeks to automatically recognize biomedical entities in natural language text, serving as a necessary foundation for downstream text mining tasks and applications such as information extraction and question answering. Manually labeling training data for the BioNER task is costly, however, due to the significant domain expertise required for accurate annotation. The resulting data scarcity causes current BioNER approaches to be prone to overfitting, to suffer from limited generalizability, and to address a single entity type at a time (e.g., gene or disease). We therefore propose a novel all-in-one (AIO) scheme that uses external data from existing annotated resources to improve generalization. We further present AIONER, a general-purpose BioNER tool based on cutting-edge deep learning and our AIO schema. We evaluate AIONER on 14 BioNER benchmark tasks and show that AIONER is effective, robust, and compares favorably to other state-of-the-art approaches such as multi-task learning. We further demonstrate the practical utility of AIONER in three independent tasks to recognize entity types not previously seen in training data, as well as the advantages of AIONER over existing methods for processing biomedical text at a large scale (e.g., the entire PubMed data).

We present, Naamapadam, the largest publicly available Named Entity Recognition (NER) dataset for the 11 major Indian languages from two language families. In each language, it contains more than 400k sentences annotated with a total of at least 100k entities from three standard entity categories (Person, Location and Organization) for 9 out of the 11 languages. The training dataset has been automatically created from the Samanantar parallel corpus by projecting automatically tagged entities from an English sentence to the corresponding Indian language sentence. We also create manually annotated testsets for 8 languages containing approximately 1000 sentences per language. We demonstrate the utility of the obtained dataset on existing testsets and the Naamapadam-test data for 8 Indic languages. We also release IndicNER, a multilingual mBERT model fine-tuned on the Naamapadam training set. IndicNER achieves the best F1 on the Naamapadam-test set compared to an mBERT model fine-tuned on existing datasets. IndicNER achieves an F1 score of more than 80 for 7 out of 11 Indic languages. The dataset and models are available under open-source licenses at https://ai4bharat.iitm.ac.in/naamapadam.

In recent years, interest has arisen in using machine learning to improve the efficiency of automatic medical consultation and enhance patient experience. In this article, we propose two frameworks to support automatic medical consultation, namely doctor-patient dialogue understanding and task-oriented interaction. We create a new large medical dialogue dataset with multi-level finegrained annotations and establish five independent tasks, including named entity recognition, dialogue act classification, symptom label inference, medical report generation and diagnosis-oriented dialogue policy. We report a set of benchmark results for each task, which shows the usability of the dataset and sets a baseline for future studies. Both code and data is available from https://github.com/lemuria-wchen/imcs21.