命名实体识别（NER）是自然语言处理中的重要任务。但是，传统的监督NER需要大规模注释的数据集。提出了远处的监督以减轻对数据集的巨大需求，但是以这种方式构建的数据集非常嘈杂，并且存在严重的未标记实体问题。交叉熵（CE）损耗函数对未标记的数据高度敏感，从而导致严重的性能降解。作为替代方案，我们提出了一种称为NRCES的新损失函数，以应对此问题。Sigmoid项用于减轻噪声的负面影响。此外，我们根据样品和训练过程平衡模型的收敛性和噪声耐受性。关于合成和现实世界数据集的实验表明，在严重的未标记实体问题的情况下，我们的方法表现出强大的鲁棒性，从而实现了现实世界数据集的新最新技术。

命名实体识别是定位和分类文本中的实体的任务。但是，NER数据集中未标记的实体问题严重阻碍了NER性能的改善。本文建议SCL-RAI解决这个问题。首先，我们通过基于跨度的对比学习来减少相同标签的跨度表示的距离，同时为不同的标签增加了跨度表示，从而减轻了实体之间的歧义并提高了模型对未标记的实体的稳健性。然后，我们提出检索增强推理，以减轻决策边界转移问题。我们的方法在两个现实世界数据集上大大优于先前的SOTA方法的F1分数4.21％和8.64％。

Distantly-Supervised Named Entity Recognition (DS-NER) effectively alleviates the data scarcity problem in NER by automatically generating training samples. Unfortunately, the distant supervision may induce noisy labels, thus undermining the robustness of the learned models and restricting the practical application. To relieve this problem, recent works adopt self-training teacher-student frameworks to gradually refine the training labels and improve the generalization ability of NER models. However, we argue that the performance of the current self-training frameworks for DS-NER is severely underestimated by their plain designs, including both inadequate student learning and coarse-grained teacher updating. Therefore, in this paper, we make the first attempt to alleviate these issues by proposing: (1) adaptive teacher learning comprised of joint training of two teacher-student networks and considering both consistent and inconsistent predictions between two teachers, thus promoting comprehensive student learning. (2) fine-grained student ensemble that updates each fragment of the teacher model with a temporal moving average of the corresponding fragment of the student, which enhances consistent predictions on each model fragment against noise. To verify the effectiveness of our proposed method, we conduct experiments on four DS-NER datasets. The experimental results demonstrate that our method significantly surpasses previous SOTA methods.

对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。

最先进的命名实体识别（NER）模型在很大程度上依赖于完全注释的培训数据。但是，AC可访问的数据通常是不完全注释的，注释者通常缺乏目标域中的全面知识。通常，默认情况下，未注释的代币被认为是非实体，而我们强调这些令牌可能是任何实体的非实体。在这里，我们使用不完整的带注释数据研究NER mod-Eling，其中只有一部分命名实体是la-bel的，并且未标记的令牌被每个可能的标签都刻有多标签。路径可以分散训练模型从金路径（地面真相标签序列）中分散注意力，从而阻碍了学习能力。在本文中，我们提出了称为自适应顶级助攻的Adak-ner，该模型集中在一个较小的可行重新上，其中黄金路径更有可能被宠爱。我们通过广泛的英语和中文数据集证明了UR方法的优势，平均在2003年的F-评分中可以提高2％的速度，而在两个中文数据集中则超过10％，与先前的最新作品相比。

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

命名实体识别（NER）任务旨在识别属于人，位置，组织等预定语义类型的文本中的实体。平面实体的最新解决方案NER通常因捕获捕获基础文本中的细粒语义信息。现有的基于跨度的方法克服了这一限制，但是计算时间仍然是一个问题。在这项工作中，我们提出了一个基于跨度的新型NER框架，即全球指针（GP），该框架通过乘法注意机制来利用相对位置。最终目标是实现一个全球观点，以考虑开始和最终位置以预测实体。为此，我们设计了两个模块来识别给定实体的头部和尾部，以使训练和推理过程之间的不一致。此外，我们引入了一种新型的分类损失函数，以解决不平衡标签问题。在参数方面，我们引入了一种简单但有效的近似方法来减少训练参数。我们在各种基准数据集上广泛评估GP。我们的广泛实验表明，GP可以胜过现有的解决方案。此外，实验结果表明，与软马克斯和熵替代方案相比，引入的损失函数的功效。

注释数据是用于培训和评估机器学习模型的自然语言处理中的重要成分。因此，注释具有高质量是非常理想的。但是，最近的工作表明，几个流行的数据集包含令人惊讶的注释错误或不一致之处。为了减轻此问题，多年来已经设计了许多注释错误检测方法。尽管研究人员表明他们的方法在新介绍的数据集上效果很好，但他们很少将其方法与以前的工作或同一数据集进行比较。这引起了人们对方法的一般表现的强烈关注，并且使他们的优势和劣势很难解决。因此，我们重新实现18种检测潜在注释错误的方法，并在9个英语数据集上对其进行评估，以进行文本分类以及令牌和跨度标签。此外，我们定义了统一的评估设置，包括注释错误检测任务，评估协议和一般最佳实践的新形式化。为了促进未来的研究和可重复性，我们将数据集和实施释放到易于使用和开源软件包中。

几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。

我们为指定实体识别（NER）提出了一个有效的双重编码框架，该框架将对比度学习用于映射候选文本跨度，并将实体类型映射到同一矢量表示空间中。先前的工作主要将NER作为序列标记或跨度分类。相反，我们将NER视为一个度量学习问题，它最大程度地提高了实体提及的向量表示之间的相似性及其类型。这使得易于处理嵌套和平坦的ner，并且可以更好地利用嘈杂的自我诉讼信号。 NER对本双重编码器制定的主要挑战在于将非实体跨度与实体提及分开。我们没有明确标记所有非实体跨度为外部（O）与大多数先前方法相同的类别（O），而是引入了一种新型的动态阈值损失，这与标准的对比度损失一起学习。实验表明，我们的方法在受到监督和远处有监督的设置中的表现良好（例如，Genia，NCBI，BC5CDR，JNLPBA）。

最近的作品表明了解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键成分。然而，以前的作品通常是解决了两个方面的一个：i）如何提取准确的理由，以便在有利于预测的同时解释; ii）如何使预测模型对不同类型的对抗性攻击稳健。直观地，一种产生有用的解释的模型应该对对抗性攻击更加强大，因为我们无法信任输出解释的模型，而是在小扰动下改变其预测。为此，我们提出了一个名为-BMC的联合分类和理由提取模型。它包括两个关键机制：混合的对手训练（AT）旨在在离散和嵌入空间中使用各种扰动，以改善模型的鲁棒性，边界匹配约束（BMC）有助于利用边界信息的引导来定位理由。基准数据集的性能表明，所提出的AT-BMC优于分类和基本原子的基础，由大边距提取。鲁棒性分析表明，建议的AT-BMC将攻击成功率降低了高达69％。经验结果表明，强大的模型与更好的解释之间存在连接。

我们提出了一种简单而有效的自我训练方法，称为Stad，用于低资源关系提取。该方法首先根据教师模型所预测的概率将自动注释的实例分为两组：自信实例和不确定实例。与大多数以前的研究相反，主要的研究主要仅利用自信实例进行自我训练，我们利用了不确定的实例。为此，我们提出了一种从不确定实例中识别模棱两可但有用的实例的方法，然后将关系分为每个模棱两可的实例中的候选标签集和负标签集。接下来，我们建议对模棱两可的实例的负标签集和对自信实例的积极培训方法提出一种设定的培训方法。最后，提出了一种联合培训方法来在所有数据上构建最终关系提取系统。在两个广泛使用的数据集SEMEVAL2010任务8上进行的实验结果和低资源设置的重新攻击表明，这种新的自我训练方法确实在与几个竞争性自我训练系统相比时确实取得了显着和一致的改进。代码可在https://github.com/jjyunlp/stad上公开获取

弱监督指定的实体识别方法训练标签模型，以汇总多个嘈杂标签功能（LFS）的代币注释，而无需看到任何手动注释的标签。为了正常工作，标签模型需要在上下文上识别和强调表现出色的LF，同时降低表现不佳的情况。但是，由于缺乏地面真理，评估LFS是具有挑战性的。为了解决这个问题，我们提出了稀疏条件隐藏的马尔可夫模型（稀疏-CHMM）。稀疏-CHMM并没有将整个发射矩阵视为其他基于HMM的方法，而是专注于估计其对角线元素，这些元素被认为是LFS的可靠性得分。然后将稀疏分数扩展到具有预定义膨胀函数的全面发射矩阵。我们还通过加权XOR分数来增强发射，该分数跟踪LF观察不正确实体的概率。通过三阶段的训练管道通过无监督的学习来优化稀疏-CHMM，从而降低了训练难度并防止模型落入本地Optima。与扳手基准中的基线相比，稀疏-CHMM在五个综合数据集上取得了3.01的平均F1分数提高。实验表明，稀疏-CHMM的每个组件都是有效的，估计的LF可靠性与真实LF F1分数密切相关。

执行命名实体识别（ner）时，实体长度是可变的，并且依赖于特定域或数据集。预先训练的语言模型（PLM）用于解决NER任务，并且倾向于偏向于数据集模式，例如长度统计，表面形式和偏斜类分布。这些偏差阻碍了PLMS的泛化能力，这对于在现实世界情况下解决许多看不见的提及是必要的。我们提出了一种新型的脱叠方法雷鬼，以改善不同长度的实体的预测。要缩小评估与实际情况之间的差距，我们在包含看不见组的分区基准数据集上评估了PLMS。在这里，Regler对长期目的进行了重大改进，可以通过在实体内的结合或特殊字符上进行扩展来预测。此外，大多数ner数据集中存在严重的类别不平衡，导致易消极的例子在训练期间支配，例如“”。我们的方法通过降低易消极的例子的影响来减轻偏斜阶级分布。关于生物医学和一般域的广泛实验证明了我们方法的泛化能力。为了促进可重复性和未来的工作，我们发布了我们的代码。“https://github.com/minstar/regler”

Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.

Biomedical named entity recognition (BioNER) seeks to automatically recognize biomedical entities in natural language text, serving as a necessary foundation for downstream text mining tasks and applications such as information extraction and question answering. Manually labeling training data for the BioNER task is costly, however, due to the significant domain expertise required for accurate annotation. The resulting data scarcity causes current BioNER approaches to be prone to overfitting, to suffer from limited generalizability, and to address a single entity type at a time (e.g., gene or disease). We therefore propose a novel all-in-one (AIO) scheme that uses external data from existing annotated resources to improve generalization. We further present AIONER, a general-purpose BioNER tool based on cutting-edge deep learning and our AIO schema. We evaluate AIONER on 14 BioNER benchmark tasks and show that AIONER is effective, robust, and compares favorably to other state-of-the-art approaches such as multi-task learning. We further demonstrate the practical utility of AIONER in three independent tasks to recognize entity types not previously seen in training data, as well as the advantages of AIONER over existing methods for processing biomedical text at a large scale (e.g., the entire PubMed data).

命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.