我们提出了KPI-Bert，该系统采用新颖的实体识别方法（NER）和关系提取（RE）来提取和链接关键绩效指标（KPIS），例如来自现实世界中德国财务文件的公司的“收入”或“利息费用”。具体而言，我们引入了一种端到端可训练的体系结构，该体系结构基于来自变形金刚（BERT）的双向编码器表示，该架构将复发性神经网络（RNN）与条件标签屏蔽结合到依次标记实体之前，然后再对其关系进行分类。我们的模型还引入了一种可学习的基于RNN的合并机制，并通过明确过滤不可能的关系来结合域专家知识。我们在德国财务报告的新实用数据集上实现了更高的预测性能，表现优于几个强大的基础线，包括基于最新的跨度实体标签方法。
translated by 谷歌翻译
2022-11-11
We introduce KPI-Check, a novel system that automatically identifies and cross-checks semantically equivalent key performance indicators (KPIs), e.g. "revenue" or "total costs", in real-world German financial reports. It combines a financial named entity and relation extraction module with a BERT-based filtering and text pair classification component to extract KPIs from unstructured sentences before linking them to synonymous occurrences in the balance sheet and profit & loss statement. The tool achieves a high matching performance of $73.00$% micro F$_1$ on a hold out test set and is currently being deployed for a globally operating major auditing firm to assist the auditing procedure of financial statements.
translated by 谷歌翻译
我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。
translated by 谷歌翻译
与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。
translated by 谷歌翻译
目前，用于训练语言模型的最广泛的神经网络架构是所谓的BERT，导致各种自然语言处理（NLP）任务的改进。通常，BERT模型中的参数的数量越大，这些NLP任务中获得的结果越好。不幸的是，内存消耗和训练持续时间随着这些模型的大小而大大增加。在本文中，我们调查了较小的BERT模型的各种训练技术：我们将不同的方法与Albert，Roberta和相对位置编码等其他BERT变体相结合。此外，我们提出了两个新的微调修改，导致更好的性能：类开始终端标记和修改形式的线性链条条件随机字段。此外，我们介绍了整个词的注意力，从而降低了伯特存储器的使用，并导致性能的小幅增加，与古典的多重关注相比。我们评估了这些技术的五个公共德国命名实体识别（NER）任务，其中两条由这篇文章引入了两项任务。
translated by 谷歌翻译
2022-07-02
命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。
translated by 谷歌翻译
从非结构化网络文本中提取网络安全实体，例如攻击者和漏洞是安全分析的重要组成部分。但是，智能数据的稀疏性是由较高的频率变化产生的，并且网络安全实体名称的随机性使得当前方法在提取与安全相关的概念和实体方面很难表现良好。为此，我们提出了一种语义增强方法，该方法结合了不同的语言特征，以丰富输入令牌的表示，以通过非结构化文本检测和对网络安全名称进行分类。特别是，我们编码和汇总每个输入令牌的组成特征，形态特征和语音特征的一部分，以提高方法的鲁棒性。不仅如此，令牌从其在网络安全域中最相似的k单词获得了增强的语义信息，在该语料库中，将一个细心的模块借给了一个单词的差异，并从基于大规模的一般田野语料库的上下文线索中权衡了差异。我们已经在网络安全数据集DNRTI和MalwaretextDB上进行了实验，结果证明了该方法的有效性。
translated by 谷歌翻译
指定的实体识别（NER）或从临床文本中提取概念是识别文本中的实体并将其插入诸如问题，治疗，测试，临床部门，事件（例如录取和出院）等类别的任务。 NER构成了处理和利用电子健康记录（EHR）的非结构化数据的关键组成部分。尽管识别概念的跨度和类别本身是一项具有挑战性的任务，但这些实体也可能具有诸如否定属性，即否定其含义暗示着指定实体的消费者。几乎没有研究致力于将实体及其合格属性一起确定。这项研究希望通过将NER任务建模为有监督的多标签标记问题，为检测实体及其相应属性做出贡献。在本文中，我们提出了3种架构来实现此多标签实体标签：Bilstm N-CRF，Bilstm-Crf-Smax-TF和Bilstm N-CRF-TF。我们在2010 I2B2/VA和I2B2 2012共享任务数据集上评估了这些方法。我们的不同模型分别在I2B2 2010/VA和I2B2 2012上获得最佳NER F1分数为0. 894和0.808。在I2B2 2010/VA和I2B2 2012数据集上，获得的最高跨度微积的F1极性得分分别为0.832和0.836，获得的最高宏观平均F1极性得分分别为0.924和0.888。对I2B2 2012数据集进行的模态研究显示，基于SPAN的微平均F1和宏观平均F1的高分分别为0.818和0.501。
translated by 谷歌翻译
联合医疗关系提取是指由单个模型从医学文本中提取由实体和关系组成的三元组。解决方案之一是将此任务转换为顺序标记任务。但是，在现有的作品中，以线性方式表示和标记三元组的方法失败了，而将三元组组织为图形的方法面临着大量计算工作的挑战。在本文中，受到医学文本中类似树状的关系结构的启发，我们提出了一个名为“双向树”标签（BITT）的新颖方案，将医疗关系三元组成两条两条二进制树，并将树转换为单词级别的标签序列。基于BITT方案，我们开发了一个联合关系提取模型，以预测BITT标签并进一步提取医疗三元三元。我们的模型在两个医疗数据集上的最佳基准在F1分中优于2.0 \％和2.5 \％。更重要的是，我们的BITT方案的模型还可以在其他域的三个公共数据集中获得有希望的结果。
translated by 谷歌翻译
与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。
translated by 谷歌翻译
自然语言理解的关系提取使得创新和鼓励新颖的商业概念成为可能，并促进新的数字化决策过程。目前的方法允许提取与固定数量的实体的关系作为属性。提取与任意数量的属性的关系需要复杂的系统和昂贵的关系触发注释来帮助这些系统。我们将多属性关系提取（MARE）引入具有两种方法的假设问题，促进从业务用例到数据注释的显式映射。避免精细的注释约束简化了关系提取方法的应用。评估将我们的模型与当前最先进的事件提取和二进制关系提取方法进行了比较。与普通多属性关系的提取相比，我们的方法表现出改进。
translated by 谷歌翻译
Named Entity Recognition and Intent Classification are among the most important subfields of the field of Natural Language Processing. Recent research has lead to the development of faster, more sophisticated and efficient models to tackle the problems posed by those two tasks. In this work we explore the effectiveness of two separate families of Deep Learning networks for those tasks: Bidirectional Long Short-Term networks and Transformer-based networks. The models were trained and tested on the ATIS benchmark dataset for both English and Greek languages. The purpose of this paper is to present a comparative study of the two groups of networks for both languages and showcase the results of our experiments. The models, being the current state-of-the-art, yielded impressive results and achieved high performance.
translated by 谷歌翻译
虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。
translated by 谷歌翻译
使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。
translated by 谷歌翻译
指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。
translated by 谷歌翻译
放射学报告含有在其解释图像中被放射科学家记录的多样化和丰富的临床异常。放射发现的综合语义表示将使广泛的次要使用应用来支持诊断，分类，结果预测和临床研究。在本文中，我们提出了一种新的放射学报告语料库，注释了临床调查结果。我们的注释模式捕获了可观察到的病理发现的详细说明（“病变”）和其他类型的临床问题（“医学问题”）。该模式使用了基于事件的表示来捕获细粒细节，包括断言，解剖学，特征，大小，计数等。我们的黄金标准语料库包含总共500个注释的计算机断层扫描（CT）报告。我们利用两个最先进的深度学习架构提取了触发器和论证实体，包括伯特。然后，我们使用基于BERT的关系提取模型预测触发器和参数实体（称为参数角色）之间的连接。我们使用预先从我们的机构的300万放射学报告预先培训的BERT模型实现了最佳提取性能：90.9％-93.4％f1用于查找触发器的触发器72.0％-85.6％f1，用于参数角色。为了评估型号的概括性，我们使用了从模拟胸部X射线（MIMIC-CXR）数据库中随机采样的外部验证。该验证集的提取性能为95.6％，用于发现触发器和参数角色的79.1％-89.7％，表明模型与具有不同的成像模型的跨机构数据一致。我们从模拟CXR数据库中的所有放射学报告中提取了查找事件，并为研究界提供了提取。
translated by 谷歌翻译
2022-01-05
不良药物反应/事件（ADR / ADE）对患者健康和医疗费用产生重大影响。尽早检测ADR并与监管机构，制药公司和医疗保健提供者分享他们可以防止发病率并挽救许多生命。虽然大多数ADR都没有通过正式渠道报告，但它们通常在各种非结构化对话中记录，例如患者的社交媒体帖子，客户支持调用记录人或医疗保健提供者和制药商销售代表之间的会议注意事项。在本文中，我们提出了一种自然语言处理（NLP）解决方案，可在这种非结构化的自由文本对话中检测ADR，这在三种方面提高了先前的工作。首先，新的命名实体识别（NER）模型为ADR，CADEC和SMM4H基准数据集（分别为91.75％，78.76％和83.41％F1分数）获得新的最新的准确性）。其次，介绍了两个新的关系提取（RE）模型 - 基于Biobert，而另一个利用完全连接的神经网络（FCNN）的制作功能 - 显示与现有最先进的模型相提并论，在用补充诊所注释的RE DataSet培训时擅长它们。三是新的文本分类模型，用于决定对话是否包括ADR，在CADEC数据集中获得新的最先进的准确性（86.69％F1分数）。完整的解决方案在Apache Spark的顶部构建的生产级文库中实施了完整的解决方案，使其本身可扩展，并能够处理商品集群上的数百万批次或流媒体记录。
translated by 谷歌翻译
State-of-the-art named entity recognition systems rely heavily on hand-crafted features and domain-specific knowledge in order to learn effectively from the small, supervised training corpora that are available. In this paper, we introduce two new neural architectures-one based on bidirectional LSTMs and conditional random fields, and the other that constructs and labels segments using a transition-based approach inspired by shift-reduce parsers. Our models rely on two sources of information about words: character-based word representations learned from the supervised corpus and unsupervised word representations learned from unannotated corpora. Our models obtain state-of-the-art performance in NER in four languages without resorting to any language-specific knowledge or resources such as gazetteers. 1
translated by 谷歌翻译
我们利用预训练的语言模型来解决两种低资源语言的复杂NER任务：中文和西班牙语。我们使用整个单词掩码（WWM）的技术来提高大型和无监督的语料库的掩盖语言建模目标。我们在微调的BERT层之上进行多个神经网络体系结构，将CRF，Bilstms和线性分类器结合在一起。我们所有的模型都优于基线，而我们的最佳性能模型在盲目测试集的评估排行榜上获得了竞争地位。
translated by 谷歌翻译
对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。
translated by 谷歌翻译