In order to assist the drug discovery/development process, pharmaceutical companies often apply biomedical NER and linking techniques over internal and public corpora. Decades of study of the field of BioNLP has produced a plethora of algorithms, systems and datasets. However, our experience has been that no single open source system meets all the requirements of a modern pharmaceutical company. In this work, we describe these requirements according to our experience of the industry, and present Kazu, a highly extensible, scalable open source framework designed to support BioNLP for the pharmaceutical sector. Kazu is a built around a computationally efficient version of the BERN2 NER model (TinyBERN2), and subsequently wraps several other BioNLP technologies into one coherent system. KAZU framework is open-sourced: https://github.com/AstraZeneca/KAZU

Biomedical named entity recognition (BioNER) seeks to automatically recognize biomedical entities in natural language text, serving as a necessary foundation for downstream text mining tasks and applications such as information extraction and question answering. Manually labeling training data for the BioNER task is costly, however, due to the significant domain expertise required for accurate annotation. The resulting data scarcity causes current BioNER approaches to be prone to overfitting, to suffer from limited generalizability, and to address a single entity type at a time (e.g., gene or disease). We therefore propose a novel all-in-one (AIO) scheme that uses external data from existing annotated resources to improve generalization. We further present AIONER, a general-purpose BioNER tool based on cutting-edge deep learning and our AIO schema. We evaluate AIONER on 14 BioNER benchmark tasks and show that AIONER is effective, robust, and compares favorably to other state-of-the-art approaches such as multi-task learning. We further demonstrate the practical utility of AIONER in three independent tasks to recognize entity types not previously seen in training data, as well as the advantages of AIONER over existing methods for processing biomedical text at a large scale (e.g., the entire PubMed data).

命名实体识别（ner）是从文本中提取特定类型的命名实体的任务。当前的NER模型往往依赖于人类注释的数据集，要求在目标领域和实体上广泛参与专业知识。这项工作介绍了一个询问生成的方法，它通过询问反映实体类型的需求的简单自然语言问题来自动生成NER数据集（例如，哪种疾病？）到开放式域问题应答系统。不使用任何域中资源（即，培训句子，标签或域名词典），我们的模型在我们生成的数据集上仅培训了，这在很大程度上超过了四个不同域的六个基准测试的弱势监督模型。令人惊讶的是，在NCBI疾病中，我们的模型达到75.5 F1得分，甚至优于以前的最佳弱监督模型4.1 F1得分，它利用域专家提供的丰富的域名词典。制定具有自然语言的NER的需求，也允许我们为诸如奖项等细粒度实体类型构建NER模型，其中我们的模型甚至优于完全监督模型。在三个少量的NER基准测试中，我们的模型实现了新的最先进的性能。

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

在生物医学自然语言处理中，命名实体识别（NER）和命名实体归一化（NEN）是能够从不断增长的生物医学文献中自动提取生物医学实体（例如，疾病和化学品）的关键任务。在本文中，我们展示了伯尔尼（高级生物医学实体识别和归一化），这是一种改善以前的基于神经网络的NER工具的工具（Kim等，2019），采用多任务NER模型和基于神经网络的NEN模型实现更快，更准确的推理。我们希望我们的工具可以帮助为各种任务等诸如生物医学知识图形建设等各种任务来诠释大规模生物医学文本。

培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

了解全文学术文章的关键见解至关重要，因为它使我们能够确定有趣的趋势，洞悉研究和发展，并构建知识图。但是，只有在考虑全文时才可用一些有趣的关键见解。尽管研究人员在简短文档中的信息提取方面取得了重大进展，但从全文学术文献中提取科学实体仍然是一个具有挑战性的问题。这项工作提出了一种称为ENEREX的自动端对端研究实体提取器，用于提取技术集，客观任务，全文学术学术研究文章等技术方面。此外，我们提取了三个新颖的方面，例如源代码，计算资源，编程语言/库中的链接。我们演示了Enerex如何从计算机科学领域的大规模数据集中提取关键见解和趋势。我们进一步测试了多个数据集上的管道，发现ENEREX在最新模型的状态下进行了改进。我们强调了现有数据集的能力如何受到限制，以及enerex如何适应现有知识图。我们还向未来研究的指针进行了详细的讨论。我们的代码和数据可在https://github.com/discoveryanalyticscenter/enerex上公开获取。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

执行命名实体识别（ner）时，实体长度是可变的，并且依赖于特定域或数据集。预先训练的语言模型（PLM）用于解决NER任务，并且倾向于偏向于数据集模式，例如长度统计，表面形式和偏斜类分布。这些偏差阻碍了PLMS的泛化能力，这对于在现实世界情况下解决许多看不见的提及是必要的。我们提出了一种新型的脱叠方法雷鬼，以改善不同长度的实体的预测。要缩小评估与实际情况之间的差距，我们在包含看不见组的分区基准数据集上评估了PLMS。在这里，Regler对长期目的进行了重大改进，可以通过在实体内的结合或特殊字符上进行扩展来预测。此外，大多数ner数据集中存在严重的类别不平衡，导致易消极的例子在训练期间支配，例如“”。我们的方法通过降低易消极的例子的影响来减轻偏斜阶级分布。关于生物医学和一般域的广泛实验证明了我们方法的泛化能力。为了促进可重复性和未来的工作，我们发布了我们的代码。“https://github.com/minstar/regler”

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

当前在提取问题答案（EQA）中进行的研究对单跨度提取设置进行了建模，其中单个答案跨度是可以预测给定问题对对的标签。对于通用域EQA来说，这种设置是自然的，因为可以单个跨度可以回答通用域中的大多数问题。遵循通用域EQA模型，当前的生物医学EQA（BIOEQA）模型利用单跨度提取设置，采用后处理步骤。在本文中，我们调查了整个普通和生物医学领域的问题分布，发现生物医学问题更可能需要列表型答案（多个答案），而不是Factoid-type答案（单个答案）。这需要能够为问题提供多个答案的模型。基于这项初步研究，我们为Bioeqa提出了一种序列标记方法，Bioeqa是一种多跨度提取设置。我们的方法直接以不同数量的短语作为答案来解决问题，并可以学会从培训数据中确定问题的答案数量。我们在BioASQ 7B和8B列表类型问题上的实验结果优于表现最佳的现有模型，而无需进行后处理步骤。源代码和资源可免费下载，网址为https://github.com/dmis-lab/seqtagqa

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

Intelligently extracting and linking complex scientific information from unstructured text is a challenging endeavor particularly for those inexperienced with natural language processing. Here, we present a simple sequence-to-sequence approach to joint named entity recognition and relation extraction for complex hierarchical information in scientific text. The approach leverages a pre-trained large language model (LLM), GPT-3, that is fine-tuned on approximately 500 pairs of prompts (inputs) and completions (outputs). Information is extracted either from single sentences or across sentences in abstracts/passages, and the output can be returned as simple English sentences or a more structured format, such as a list of JSON objects. We demonstrate that LLMs trained in this way are capable of accurately extracting useful records of complex scientific knowledge for three representative tasks in materials chemistry: linking dopants with their host materials, cataloging metal-organic frameworks, and general chemistry/phase/morphology/application information extraction. This approach represents a simple, accessible, and highly-flexible route to obtaining large databases of structured knowledge extracted from unstructured text. An online demo is available at http://www.matscholar.com/info-extraction.

生物医学文献和数字临床记录的汹涌数量呈现不断涌入的需要，这些技术不仅可以识别而且还可以在语义上与非结构化数据中的实体相关联。在本文中，我们提出了一种文本挖掘框架，包括命名实体识别（ner）和关系提取（RE）模型，其在以前的三种主要方面扩展了先前的工作。首先，我们介绍了两个新的RE模型架构 - 基于Biobert的精确优化的架构，并在完全连接的神经网络（FCNN）上使用制成特征的速度优化。其次，我们在2012年I2B2临床时间关系挑战（F1为73.6，+ 1.2％，在前面的SOTA的临床时间关系挑战上获得新的最先进的F1分数，从而在公共基准数据集上获得新的最先进的F1分数，2010年I2B2临床关系挑战（69.1，+ 1.2％），2019年表型 - 基因关系数据集（F1为87.9，+ 8.5％），2012年不利药物事件药物反应数据集（F1为90.0，+ 6.3％）和2018年N2C2病理学关系数据集（F1为96.7，+ 0.6％）。第三，我们展示了这一框架的两个实际应用 - 用于建立生物医学知识图，并提高临床码映射实体的准确性。该系统采用Spark NLP库构建，该库提供生产级，本地可扩展，硬件优化，可训练和可调NLP框架。

A long-running goal of the clinical NLP community is the extraction of important variables trapped in clinical notes. However, roadblocks have included dataset shift from the general domain and a lack of public clinical corpora and annotations. In this work, we show that large language models, such as InstructGPT, perform well at zero- and few-shot information extraction from clinical text despite not being trained specifically for the clinical domain. Whereas text classification and generation performance have already been studied extensively in such models, here we additionally demonstrate how to leverage them to tackle a diverse set of NLP tasks which require more structured outputs, including span identification, token-level sequence classification, and relation extraction. Further, due to the dearth of available data to evaluate these systems, we introduce new datasets for benchmarking few-shot clinical information extraction based on a manual re-annotation of the CASI dataset for new tasks. On the clinical extraction tasks we studied, the GPT-3 systems significantly outperform existing zero- and few-shot baselines.

不断增加的材料科学文章使得很难从已发表的文献中推断化学结构 - 培训关系。我们使用自然语言处理（NLP）方法从聚合物文献的摘要中自动提取材料属性数据。作为我们管道的组成部分，我们使用240万材料科学摘要培训了一种语言模型的材料，该材料模型在用作文本编码器时，在五分之三命名实体识别数据集中的其他基线模型都优于其他基线模型。使用此管道，我们在60小时内从约130,000个摘要中获得了约300,000个物质记录。分析了提取的数据，分析了各种应用，例如燃料电池，超级电容器和聚合物太阳能电池，以恢复非平凡的见解。通过我们的管道提取的数据可通过https://polymerscholar.org的Web平台提供，该数据可方便地定位摘要中记录的材料属性数据。这项工作证明了自动管道的可行性，该管道从已发布的文献开始，并以一组完整的提取物质属性信息结束。

在这项工作中，我们探索如何学习专用的语言模型，旨在学习从文本文件中学习关键词的丰富表示。我们在判别和生成设置中进行预训练变压器语言模型（LMS）的不同掩蔽策略。在歧视性设定中，我们引入了一种新的预训练目标 - 关键边界，用替换（kbir）infifiling，在使用Kbir预先训练的LM进行微调时显示出在Sota上的性能（F1中高达9.26点）的大量增益关键酶提取的任务。在生成设置中，我们为BART - 键盘介绍了一个新的预训练设置，可再现与CATSeq格式中的输入文本相关的关键字，而不是Denoised原始输入。这也导致在关键词中的性能（F1 @ M）中的性能（高达4.33点），用于关键正版生成。此外，我们还微调了在命名实体识别（ner），问题应答（qa），关系提取（重新），抽象摘要和达到与SOTA的可比性表现的预训练的语言模型，表明学习丰富的代表关键词确实有利于许多其他基本的NLP任务。

Obtaining large-scale annotated data for NLP tasks in the scientific domain is challenging and expensive. We release SCIBERT, a pretrained language model based on BERT (Devlin et al., 2019) to address the lack of high-quality, large-scale labeled scientific data.SCIBERT leverages unsupervised pretraining on a large multi-domain corpus of scientific publications to improve performance on downstream scientific NLP tasks. We evaluate on a suite of tasks including sequence tagging, sentence classification and dependency parsing, with datasets from a variety of scientific domains. We demonstrate statistically significant improvements over BERT and achieve new state-of-theart results on several of these tasks. The code and pretrained models are available at https://github.com/allenai/scibert/.