Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。

到目前为止，命名实体识别（ner）已经参与了三种主要类型，包括平面，重叠（嵌套）和不连续的ner，主要是单独研究。最近，为统一的人员建立了一个日益增长的兴趣，并与一个单一模型同时解决上述三个工作。当前最佳性能的方法主要包括基于跨度和序列到序列的模型，不幸的是，前者仅关注边界识别，后者可能遭受暴露偏差。在这项工作中，我们通过将统一的ner建模为Word-Word关系分类来提出一种小说替代方案，即W ^ 2ner。通过有效地建模具有下面邻近字（NNW）和尾页字 - *（THW- *）关系的实体单词之间的邻近关系来解决统一网内的内核瓶颈。基于W ^ 2ner方案，我们开发了一个神经框架，其中统一的网格被建模为单词对的2D网格。然后，我们提出了多粒度的2D卷积，以便更好地精炼网格表示。最后，共同预测器用于足够原因的单词关系。我们对14个广泛使用的基准数据集进行了广泛的实验，用于平板，重叠和不连续的NER（8英语和6个中文数据集），我们的型号击败了所有当前的顶级表演基线，推动了最先进的表演统一的网。

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

Lexicon信息和预先训练的型号，如伯特，已被组合以探索由于各自的优势而探索中文序列标签任务。然而，现有方法通过浅和随机初始化的序列层仅熔断词典特征，并且不会将它们集成到伯特的底层中。在本文中，我们提出了用于汉语序列标记的Lexicon增强型BERT（Lebert），其直接通过Lexicon适配器层将外部词典知识集成到BERT层中。与现有方法相比，我们的模型促进了伯特下层的深层词典知识融合。关于十个任务的十个中文数据集的实验，包括命名实体识别，单词分段和言语部分标记，表明Lebert实现了最先进的结果。

指定的实体识别（NER）或从临床文本中提取概念是识别文本中的实体并将其插入诸如问题，治疗，测试，临床部门，事件（例如录取和出院）等类别的任务。 NER构成了处理和利用电子健康记录（EHR）的非结构化数据的关键组成部分。尽管识别概念的跨度和类别本身是一项具有挑战性的任务，但这些实体也可能具有诸如否定属性，即否定其含义暗示着指定实体的消费者。几乎没有研究致力于将实体及其合格属性一起确定。这项研究希望通过将NER任务建模为有监督的多标签标记问题，为检测实体及其相应属性做出贡献。在本文中，我们提出了3种架构来实现此多标签实体标签：Bilstm N-CRF，Bilstm-Crf-Smax-TF和Bilstm N-CRF-TF。我们在2010 I2B2/VA和I2B2 2012共享任务数据集上评估了这些方法。我们的不同模型分别在I2B2 2010/VA和I2B2 2012上获得最佳NER F1分数为0. 894和0.808。在I2B2 2010/VA和I2B2 2012数据集上，获得的最高跨度微积的F1极性得分分别为0.832和0.836，获得的最高宏观平均F1极性得分分别为0.924和0.888。对I2B2 2012数据集进行的模态研究显示，基于SPAN的微平均F1和宏观平均F1的高分分别为0.818和0.501。

命名实体识别（NER）任务旨在识别属于人，位置，组织等预定语义类型的文本中的实体。平面实体的最新解决方案NER通常因捕获捕获基础文本中的细粒语义信息。现有的基于跨度的方法克服了这一限制，但是计算时间仍然是一个问题。在这项工作中，我们提出了一个基于跨度的新型NER框架，即全球指针（GP），该框架通过乘法注意机制来利用相对位置。最终目标是实现一个全球观点，以考虑开始和最终位置以预测实体。为此，我们设计了两个模块来识别给定实体的头部和尾部，以使训练和推理过程之间的不一致。此外，我们引入了一种新型的分类损失函数，以解决不平衡标签问题。在参数方面，我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们的广泛实验表明，GP可以胜过现有的解决方案。此外，实验结果表明，与软马克斯和熵替代方案相比，引入的损失函数的功效。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。

事件提取（EE）是信息提取的重要任务，该任务旨在从非结构化文本中提取结构化事件信息。大多数先前的工作都专注于提取平坦的事件，同时忽略重叠或嵌套的事件。多个重叠和嵌套EE的模型包括几个连续的阶段来提取事件触发器和参数，这些阶段患有错误传播。因此，我们设计了一种简单而有效的标记方案和模型，以将EE作为单词关系识别，称为oneee。触发器或参数单词之间的关系在一个阶段同时识别出并行网格标记，从而产生非常快的事件提取速度。该模型配备了自适应事件融合模块，以生成事件感知表示表示和距离感知的预测指标，以整合单词关系识别的相对距离信息，从经验上证明这是有效的机制。对3个重叠和嵌套的EE基准测试的实验，即少数FC，GENIA11和GENIA13，表明Oneee实现了最新的（SOTA）结果。此外，ONEEE的推理速度比相同条件下的基线的推理速度快，并且由于它支持平行推断，因此可以进一步改善。

我们利用预训练的语言模型来解决两种低资源语言的复杂NER任务：中文和西班牙语。我们使用整个单词掩码（WWM）的技术来提高大型和无监督的语料库的掩盖语言建模目标。我们在微调的BERT层之上进行多个神经网络体系结构，将CRF，Bilstms和线性分类器结合在一起。我们所有的模型都优于基线，而我们的最佳性能模型在盲目测试集的评估排行榜上获得了竞争地位。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

从非结构化网络文本中提取网络安全实体，例如攻击者和漏洞是安全分析的重要组成部分。但是，智能数据的稀疏性是由较高的频率变化产生的，并且网络安全实体名称的随机性使得当前方法在提取与安全相关的概念和实体方面很难表现良好。为此，我们提出了一种语义增强方法，该方法结合了不同的语言特征，以丰富输入令牌的表示，以通过非结构化文本检测和对网络安全名称进行分类。特别是，我们编码和汇总每个输入令牌的组成特征，形态特征和语音特征的一部分，以提高方法的鲁棒性。不仅如此，令牌从其在网络安全域中最相似的k单词获得了增强的语义信息，在该语料库中，将一个细心的模块借给了一个单词的差异，并从基于大规模的一般田野语料库的上下文线索中权衡了差异。我们已经在网络安全数据集DNRTI和MalwaretextDB上进行了实验，结果证明了该方法的有效性。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

语言的演变遵循逐渐变化的规则。语法，词汇和词汇语义转移会随着时间的推移而发生，导致了直觉的语言差距。因此，用不同的时代语言编写了大量文本，这为自然语言处理任务（例如单词分割和机器翻译）造成了障碍。尽管中文历史悠久，但以前的中国自然语言处理研究主要集中在特定时代的任务上。因此，我们为中文单词分割（CWS）提出了一个跨时代的学习框架，该框架使用开关记忆（SM）模块来合并ERA特定的语言知识。来自不同时代的四个语料库的实验表明，每个语料库的性能都显着提高。进一步的分析还表明，SM可以有效地将时代的知识整合到神经网络中。

Biomedical named entity recognition (BioNER) seeks to automatically recognize biomedical entities in natural language text, serving as a necessary foundation for downstream text mining tasks and applications such as information extraction and question answering. Manually labeling training data for the BioNER task is costly, however, due to the significant domain expertise required for accurate annotation. The resulting data scarcity causes current BioNER approaches to be prone to overfitting, to suffer from limited generalizability, and to address a single entity type at a time (e.g., gene or disease). We therefore propose a novel all-in-one (AIO) scheme that uses external data from existing annotated resources to improve generalization. We further present AIONER, a general-purpose BioNER tool based on cutting-edge deep learning and our AIO schema. We evaluate AIONER on 14 BioNER benchmark tasks and show that AIONER is effective, robust, and compares favorably to other state-of-the-art approaches such as multi-task learning. We further demonstrate the practical utility of AIONER in three independent tasks to recognize entity types not previously seen in training data, as well as the advantages of AIONER over existing methods for processing biomedical text at a large scale (e.g., the entire PubMed data).

多模式命名实体识别（MNER）旨在借助图像识别实体跨度并在社交媒体帖子中认识其类别。但是，在主要的MNER方法中，通常通过自我注意力和跨注意或对门控机的过度依赖的交替进行不同方式的相互作用，从而导致不精确和有偏见的对应关系。文字和图像。为了解决此问题，我们为MNER提出了一个平坦的多模式相互作用变压器（FMIT）。具体而言，我们首先在句子和通用域单词中使用名词短语来获得视觉提示。然后，我们将视觉和文本的细颗粒语义表示变成统一的晶格结构，并设计一种新颖的相对位置编码以匹配变压器中的不同方式。同时，我们建议利用实体边界检测作为减轻视觉偏见的辅助任务。实验表明，我们的方法在两个基准数据集上实现了新的最新性能。

最先进的命名实体识别（NER）模型在很大程度上依赖于完全注释的培训数据。但是，AC可访问的数据通常是不完全注释的，注释者通常缺乏目标域中的全面知识。通常，默认情况下，未注释的代币被认为是非实体，而我们强调这些令牌可能是任何实体的非实体。在这里，我们使用不完整的带注释数据研究NER mod-Eling，其中只有一部分命名实体是la-bel的，并且未标记的令牌被每个可能的标签都刻有多标签。路径可以分散训练模型从金路径（地面真相标签序列）中分散注意力，从而阻碍了学习能力。在本文中，我们提出了称为自适应顶级助攻的Adak-ner，该模型集中在一个较小的可行重新上，其中黄金路径更有可能被宠爱。我们通过广泛的英语和中文数据集证明了UR方法的优势，平均在2003年的F-评分中可以提高2％的速度，而在两个中文数据集中则超过10％，与先前的最新作品相比。

最近，随着深度学习的持续发展，指定实体识别任务的表现得到了极大的改进。但是，在某些特定领域（例如生物医学和军事）中数据的隐私和机密性导致数据不足以支持深度神经网络的培训。在本文中，我们提出了一个加密学习框架，以解决数据泄漏的问题以及对某些域中敏感数据的不便披露。我们首次将多个加密算法介绍以在指定实体识别任务中加密培训数据。换句话说，我们使用加密数据训练深神网络。我们在六个中国数据集上进行实验，其中三个是由我们自己构建的。实验结果表明，加密方法可实现令人满意的结果。一些经过加密数据训练的模型的性能甚至超过了未加密方法的性能，该方法验证了引入的加密方法的有效性，并在一定程度上解决了数据泄漏问题。