对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。

已经进行了一项详尽的研究，以研究基于跨度的联合实体和关系提取任务的模型。但是，这些模型在模型训练过程中采样了大量的负实体和负关系，这是必不可少的，但导致数据分布严重不平衡，进而导致次优模型性能。为了解决上述问题，我们为基于跨度的联合实体和关系提取提出了两个阶段范式，其中涉及在第一阶段对实体和关系进行分类，并预测第二阶段的这些实体和关系的类型阶段。两阶段范式使我们的模型能够显着缩小数据分布差距，包括负实体与其他实体之间的差距，以及负面关系与其他关系之间的差距。此外，我们首次尝试将实体类型和实体距离与全球特征相结合，这已被证明有效，尤其是对于关系提取而言。几个数据集的实验结果表明，基于两阶段范式的基于跨度的联合提取模型增强，全局功能始终优于先前用于联合提取任务的基于最新的跨度模型，并建立了新的标准基准。定性和定量分析进一步验证了提出的范式和全球特征的有效性。

基于跨度的关节提取同时进行文本跨度的指定实体识别（NER）和关系提取（RE）。最近的研究表明，令牌标签可以传达至关重要的任务特定信息并丰富令牌语义。但是，据我们所知，由于完全戒除序列标记机制，所有先前基于跨度的工作都无法使用令牌标签的形式。为了解决此问题，我们置于基于跨度的跨度网络（STSN）的序列序列标记，这是一个基于跨度的关节外推网络，该网络通过基于序列标记的NER得出的令牌生物标签信息增强。通过深入堆叠多个Atten-tion层，我们设计了一个深度的Neu-ral架构来构建STSN，每个阶层层都由三个基本注意力单元组成。深度神经体系结构首先学习了代币标签和基于SPAN的关节提取的Seman-TIC表示，然后在它们之间构建了形式的相互作用，这也实现了基于SPAN的NER和RE之间的双向信息相互关系。向热 - 我们扩展了生物标记方案，以使STSN可以提取重叠的联系。三个基准数据集的实验表明，我们的模型始终优于先前的最佳模型，从而创造了新的最新结果。

几个名称的实体识别（NER）使我们能够使用很少的标记示例为新域构建一个NER系统。但是，该任务的现有原型网络具有大致估计的标签依赖性和紧密分布的原型，因此经常导致错误分类。为了解决上述问题，我们提出了EP-NET，这是一个实体级原型网络，通过分散分布的原型增强。EP-NET构建实体级原型，并认为文本跨度为候选实体，因此它不再需要标签依赖性。此外，EP-NET从头开始训练原型，以分散分配它们，并使用空间投影将跨度与嵌入空间中的原型对齐。两项评估任务和少量网络设置的实验结果表明，EP-NET在整体性能方面始终优于先前的强大模型。广泛的分析进一步验证了EP-NET的有效性。

指定的实体识别（NER）或从临床文本中提取概念是识别文本中的实体并将其插入诸如问题，治疗，测试，临床部门，事件（例如录取和出院）等类别的任务。 NER构成了处理和利用电子健康记录（EHR）的非结构化数据的关键组成部分。尽管识别概念的跨度和类别本身是一项具有挑战性的任务，但这些实体也可能具有诸如否定属性，即否定其含义暗示着指定实体的消费者。几乎没有研究致力于将实体及其合格属性一起确定。这项研究希望通过将NER任务建模为有监督的多标签标记问题，为检测实体及其相应属性做出贡献。在本文中，我们提出了3种架构来实现此多标签实体标签：Bilstm N-CRF，Bilstm-Crf-Smax-TF和Bilstm N-CRF-TF。我们在2010 I2B2/VA和I2B2 2012共享任务数据集上评估了这些方法。我们的不同模型分别在I2B2 2010/VA和I2B2 2012上获得最佳NER F1分数为0. 894和0.808。在I2B2 2010/VA和I2B2 2012数据集上，获得的最高跨度微积的F1极性得分分别为0.832和0.836，获得的最高宏观平均F1极性得分分别为0.924和0.888。对I2B2 2012数据集进行的模态研究显示，基于SPAN的微平均F1和宏观平均F1的高分分别为0.818和0.501。

Biomedical named entity recognition (BioNER) seeks to automatically recognize biomedical entities in natural language text, serving as a necessary foundation for downstream text mining tasks and applications such as information extraction and question answering. Manually labeling training data for the BioNER task is costly, however, due to the significant domain expertise required for accurate annotation. The resulting data scarcity causes current BioNER approaches to be prone to overfitting, to suffer from limited generalizability, and to address a single entity type at a time (e.g., gene or disease). We therefore propose a novel all-in-one (AIO) scheme that uses external data from existing annotated resources to improve generalization. We further present AIONER, a general-purpose BioNER tool based on cutting-edge deep learning and our AIO schema. We evaluate AIONER on 14 BioNER benchmark tasks and show that AIONER is effective, robust, and compares favorably to other state-of-the-art approaches such as multi-task learning. We further demonstrate the practical utility of AIONER in three independent tasks to recognize entity types not previously seen in training data, as well as the advantages of AIONER over existing methods for processing biomedical text at a large scale (e.g., the entire PubMed data).

到目前为止，命名实体识别（ner）已经参与了三种主要类型，包括平面，重叠（嵌套）和不连续的ner，主要是单独研究。最近，为统一的人员建立了一个日益增长的兴趣，并与一个单一模型同时解决上述三个工作。当前最佳性能的方法主要包括基于跨度和序列到序列的模型，不幸的是，前者仅关注边界识别，后者可能遭受暴露偏差。在这项工作中，我们通过将统一的ner建模为Word-Word关系分类来提出一种小说替代方案，即W ^ 2ner。通过有效地建模具有下面邻近字（NNW）和尾页字 - *（THW- *）关系的实体单词之间的邻近关系来解决统一网内的内核瓶颈。基于W ^ 2ner方案，我们开发了一个神经框架，其中统一的网格被建模为单词对的2D网格。然后，我们提出了多粒度的2D卷积，以便更好地精炼网格表示。最后，共同预测器用于足够原因的单词关系。我们对14个广泛使用的基准数据集进行了广泛的实验，用于平板，重叠和不连续的NER（8英语和6个中文数据集），我们的型号击败了所有当前的顶级表演基线，推动了最先进的表演统一的网。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

当实体提到可能是不连续的，命名实体识别（ner）仍然挑战。现有方法将识别过程分解为几个顺序步骤。在培训中，他们预测金色中间结果的条件，而推理依赖于前一步的模型输出，这引入了曝光偏差。为了解决这个问题，我们首先构造每个句子的段图，其中每个节点都表示段（其自己的连续实体，或者是不连续实体的一部分），并且边缘链接属于同一实体的两个节点。节点和边缘可以分别在一个阶段中产生网格标记方案，并使用名为MAC的新颖体系结构共同学习。然后，不连续的ner可以被重新重整为发现图中的最大批变并在每个集团中连接跨度的非参数过程。三个基准测试的实验表明，我们的方法优于最先进的（SOTA）结果，在F1上提高了高达3.5个百分点，并在SOTA模型上实现了5倍的加速。

我们为指定实体识别（NER）提出了一个有效的双重编码框架，该框架将对比度学习用于映射候选文本跨度，并将实体类型映射到同一矢量表示空间中。先前的工作主要将NER作为序列标记或跨度分类。相反，我们将NER视为一个度量学习问题，它最大程度地提高了实体提及的向量表示之间的相似性及其类型。这使得易于处理嵌套和平坦的ner，并且可以更好地利用嘈杂的自我诉讼信号。 NER对本双重编码器制定的主要挑战在于将非实体跨度与实体提及分开。我们没有明确标记所有非实体跨度为外部（O）与大多数先前方法相同的类别（O），而是引入了一种新型的动态阈值损失，这与标准的对比度损失一起学习。实验表明，我们的方法在受到监督和远处有监督的设置中的表现良好（例如，Genia，NCBI，BC5CDR，JNLPBA）。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

命名实体识别（NER）是自然语言处理中的重要任务。但是，传统的监督NER需要大规模注释的数据集。提出了远处的监督以减轻对数据集的巨大需求，但是以这种方式构建的数据集非常嘈杂，并且存在严重的未标记实体问题。交叉熵（CE）损耗函数对未标记的数据高度敏感，从而导致严重的性能降解。作为替代方案，我们提出了一种称为NRCES的新损失函数，以应对此问题。Sigmoid项用于减轻噪声的负面影响。此外，我们根据样品和训练过程平衡模型的收敛性和噪声耐受性。关于合成和现实世界数据集的实验表明，在严重的未标记实体问题的情况下，我们的方法表现出强大的鲁棒性，从而实现了现实世界数据集的新最新技术。

数字是文本的重要组成部分，就像任何其他单词代币一样，自然语言处理（NLP）模型是构建和部署的。尽管通常在大多数NLP任务中没有明确考虑数字，但NLP模型已经显示出基本数量的算术。在这项工作中，我们尝试利用最先进的NLP模型的潜力，并转移其在相关任务中提高性能的能力。我们建议将数字分类为实体的分类有助于NLP模型在多个任务上表现良好，包括手工制作的填充（FITB）任务以及使用联合嵌入式的问题回答，表现优于Bert和Roberta基线分类。

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。

命名实体识别（NER）任务旨在识别属于人，位置，组织等预定语义类型的文本中的实体。平面实体的最新解决方案NER通常因捕获捕获基础文本中的细粒语义信息。现有的基于跨度的方法克服了这一限制，但是计算时间仍然是一个问题。在这项工作中，我们提出了一个基于跨度的新型NER框架，即全球指针（GP），该框架通过乘法注意机制来利用相对位置。最终目标是实现一个全球观点，以考虑开始和最终位置以预测实体。为此，我们设计了两个模块来识别给定实体的头部和尾部，以使训练和推理过程之间的不一致。此外，我们引入了一种新型的分类损失函数，以解决不平衡标签问题。在参数方面，我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们的广泛实验表明，GP可以胜过现有的解决方案。此外，实验结果表明，与软马克斯和熵替代方案相比，引入的损失函数的功效。

链接的语音实体旨在识别和消除语言中的命名实体。常规方法严重遭受了不受限制的语音样式和ASR系统产生的嘈杂笔录。在本文中，我们提出了一种名为“知识增强命名实体识别”（KENER）的新颖方法，该方法致力于通过在实体识别阶段无痛地纳入适当的知识来改善鲁棒性，从而改善实体联系的整体性能。肯纳（Kener）首先检索未提及的句子的候选实体，然后利用实体描述作为额外的信息来帮助识别提及。当输入短或嘈杂时，由密集检索模块检索的候选实体特别有用。此外，我们研究了各种数据采样策略和设计有效的损失功能，以提高识别和歧义阶段中检索实体的质量。最后，将与过滤模块的链接作为最终保障措施应用，从而可以过滤出错误认可的提及。我们的系统在NLPCC-2022共享任务2的轨道1中获得第一名，并在轨道1中获得第一名。

引号提取旨在从书面文本中提取引号。引号中有三个组成部分：来源是指引号的持有人，提示是触发词，内容是主体。引号提取的现有解决方案主要利用基于规则的方法和序列标签模型。尽管基于规则的方法通常会导致召回率低，但序列标记模型不能很好地处理带有复杂结构的报价。在本文中，我们提出了上下文和以前的标签增强净（Cofenet），以提取引号。Cofenet能够提取具有可变长度和复杂结构的组成部分的复杂报价。在两个公共数据集（即polnear和Riqua）和一个专有数据集（即Politicszh）上，我们表明我们的Cofenet在复杂的引号提取方面取得了最先进的表现。