A coreference resolution system is to cluster all mentions that refer to the same entity in a given context. All coreference resolution systems need to tackle two main tasks: one task is to detect all of the potential mentions, and the other is to learn the linking of an antecedent for each possible mention. In this paper, we propose a hybrid rule-neural coreference resolution system based on actor-critic learning, such that it can achieve better coreference performance by leveraging the advantages from both the heuristic rules and a neural conference model. This end-to-end system can also perform both mention detection and resolution by leveraging a joint training algorithm. We experiment on the BERT model to generate input span representations. Our model with the BERT span representation achieves the state-of-the-art performance among the models on the CoNLL-2012 Shared Task English Test Set.
translated by 谷歌翻译
The target of a coreference resolution system is to cluster all mentions that refer to the same entity in a given context. All coreference resolution systems need to solve two subtasks; one task is to detect all of the potential mentions, and the other is to learn the linking of an antecedent for each possible mention. In this paper, we propose a reinforcement learning actor-critic-based neural coreference resolution system, which can achieve both mention detection and mention clustering by leveraging an actor-critic deep reinforcement learning technique and a joint training algorithm. We experiment on the BERT model to generate different input span representations. Our model with the BERT span representation achieves the state-of-the-art performance among the models on the CoNLL-2012 Shared Task English Test Set.
translated by 谷歌翻译
Coreference resolution (CR) is one of the most challenging areas of natural language processing. This task seeks to identify all textual references to the same real-world entity. Research in this field is divided into coreference resolution and anaphora resolution. Due to its application in textual comprehension and its utility in other tasks such as information extraction systems, document summarization, and machine translation, this field has attracted considerable interest. Consequently, it has a significant effect on the quality of these systems. This article reviews the existing corpora and evaluation metrics in this field. Then, an overview of the coreference algorithms, from rule-based methods to the latest deep learning techniques, is provided. Finally, coreference resolution and pronoun resolution systems in Persian are investigated.
translated by 谷歌翻译
我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。
translated by 谷歌翻译
Pronoun resolution is a challenging subset of an essential field in natural language processing called coreference resolution. Coreference resolution is about finding all entities in the text that refers to the same real-world entity. This paper presents a hybrid model combining multiple rulebased sieves with a machine-learning sieve for pronouns. For this purpose, seven high-precision rule-based sieves are designed for the Persian language. Then, a random forest classifier links pronouns to the previous partial clusters. The presented method demonstrates exemplary performance using pipeline design and combining the advantages of machine learning and rulebased methods. This method has solved some challenges in end-to-end models. In this paper, the authors develop a Persian coreference corpus called Mehr in the form of 400 documents. This corpus fixes some weaknesses of the previous corpora in the Persian language. Finally, the efficiency of the presented system compared to the earlier model in Persian is reported by evaluating the proposed method on the Mehr and Uppsala test sets.
translated by 谷歌翻译
许多自然语言处理任务，例如核心解决方案和语义角色标签，都需要选择文本跨度并就其做出决定。此类任务的典型方法是为所有可能的跨度评分，并贪婪地选择特定任务的下游处理的跨度。然而，这种方法并未纳入有关应选择哪种跨度的诱导偏见，例如，选定的跨度倾向于是句法成分。在本文中，我们提出了一种新型的基于语法的结构化选择模型，该模型学会了利用为此类问题提供的部分跨度注释。与以前的方法相比，我们的方法摆脱了启发式贪婪的跨度选择方案，使我们能够在一组最佳跨度上对下游任务进行建模。我们在两个流行的跨度预测任务上评估我们的模型：核心分辨率和语义角色标签。我们对两者都展示了经验改进。
translated by 谷歌翻译
与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。
translated by 谷歌翻译
我们考虑文档级实体链接（EL）的任务，在该任务中，对实体的一致决定对整个文档进行共同提及很重要。我们旨在利用文档本身中提及的明确“连接”：我们建议将EL任务加入Coreference解决方案（CoreF）。这是对相关作品的补充，这些工作是利用（i）隐式文档信息（例如，实体提及或通用语言模型之间的潜在关系）或（ii）候选链接之间的联系（例如，从外部知识库中推断出）。具体而言，我们集群提及通过核心链接的，并为所有聚类提及的一个EL强制执行一个EL。后者的约束通过加入EL候选人名单来获得这样的群集提及，从而增加了覆盖范围的额外好处。我们将CoreF+EL问题提出为有向树的结构化预测任务，并使用全球标准化的模型来解决它。与独立对应物相比，两个数据集上的实验结果表明，CoreF和EL任务的提升高达 +5％F1得分。对于一部分硬案例，由于个人提及在其候选实体列表中缺乏正确的EL，我们的准确性提高了50％。
translated by 谷歌翻译
We present SpanBERT, a pre-training method that is designed to better represent and predict spans of text. Our approach extends BERT by (1) masking contiguous random spans, rather than random tokens, and (2) training the span boundary representations to predict the entire content of the masked span, without relying on the individual token representations within it. Span-BERT consistently outperforms BERT and our better-tuned baselines, with substantial gains on span selection tasks such as question answering and coreference resolution. In particular, with the same training data and model size as BERT large , our single model obtains 94.6% and 88.7% F1 on SQuAD 1.1 and 2.0 respectively. We also achieve a new state of the art on the OntoNotes coreference resolution task (79.6% F1), strong performance on the TACRED relation extraction benchmark, and even gains on GLUE. 1 * Equal contribution. 1 Our code and pre-trained models are available at https://github.com/facebookresearch/ SpanBERT.
translated by 谷歌翻译
实体链接的目的是在文档中的实体和知识图中的相应实体（KGS）中建立实体提到的链接。以前的工作表明了实体联系的全球一致性的有效性。但是，基于顺序决策的大多数现有全局链接方法侧重于如何利用先前链接的实体来增强后期决策。在这些方法中，提及顺序是固定的，使模型无法根据先前链接的结果调整后续链接目标，这将导致先前的信息不合理地利用。为了解决问题，我们提出了一种新颖的模型，称为Dymen，以通过增强学习基于先前链接的实体动态调整后续链接目标，使模型能够选择可以完全使用先前链接的信息的链接目标。我们通过滑动窗口来提及，以减少加强学习的动作采样空间，并保持提及的语义连贯性。在多个基准数据集上进行的实验表明了所提出的模型的有效性。
translated by 谷歌翻译
本文概述了与CRAC 2022研讨会相关的多语言核心分辨率的共享任务。共同的任务参与者应该开发能够识别提及并根据身份核心重点聚集的训练系统。Corefud 1.0的公共版本包含10种语言的13个数据集，被用作培训和评估数据的来源。先前面向核心共享任务中使用的串联分数用作主要评估度量。5个参与团队提交了8个核心预测系统；此外，组织者在共享任务开始时提供了一个基于竞争变压器的基线系统。获胜者系统的表现优于基线12个百分点（就所有语言的所有数据集而言，在所有数据集中平均得分）。
translated by 谷歌翻译
开放信息提取是一个重要的NLP任务，它针对从非结构化文本中提取结构化信息的目标，而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术，重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法，以适应最近的OIE技术的开发。此外，我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查，从数据集，信息来源，输出表格，方法和评估指标方面显示了几个未来的方向。
translated by 谷歌翻译
Q＆A NLP空间中的大量工作被置于Q＆A NLP空间，以构建对对抗性攻击更强大的模型。为了训练这些情况或修改现有架构来建立鲁棒性的培训，两个关键的焦点领域正在产生对抗性数据。本文介绍了一种加入这两种想法的方法，以培养批评模型用于几乎加强学习框架。使用对抗队“添加一个发送的”数据集，我们表明这种方法存在一些有希望的迹象，用于保护对抗对抗攻击。
translated by 谷歌翻译
对于指定的实体识别（NER），基于序列标签和基于跨度的范例大不相同。先前的研究表明，这两个范式具有明显的互补优势，但是据我们所知，很少有模型试图在单个NER模型中利用这些优势。在我们以前的工作中，我们提出了一种称为捆绑学习（BL）的范式来解决上述问题。 BL范式将两个NER范式捆绑在一起，从而使NER模型通过加权总结每个范式的训练损失来共同调整其参数。但是，三个关键问题仍未解决：BL何时起作用？ BL为什么工作？ BL可以增强现有的最新（SOTA）NER模型吗？为了解决前两个问题，我们实施了三个NER模型，涉及一个基于序列标签的模型-Seqner，Seqner，一个基于跨度的NER模型 - 机器人，以及将Seqner和Spanner捆绑在一起的BL-NER。我们根据来自五个域的11个NER数据集的实验结果得出两个关于这两个问题的结论。然后，我们将BL应用于现有的五个SOTA NER模型，以研究第三期，包括三个基于序列标签的模型和两个基于SPAN的模型。实验结果表明，BL始终提高其性能，表明可以通过将BL纳入当前的SOTA系统来构建新的SOTA NER系统。此外，我们发现BL降低了实体边界和类型预测错误。此外，我们比较了两种常用的标签标签方法以及三种类型的跨度语义表示。
translated by 谷歌翻译
Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.
translated by 谷歌翻译
大多数NLP使用稀疏或密集文本表示的实体链接和核心分辨率的方法都集中在检索类似的提及上。例如，常见的“ Wikification”任务会为每个实体提及候选Wikipedia文章。对于许多域，例如书目引用，缺乏对每个实体的广泛文本描述的权威列表，并且命名为模棱两可的实体主要发生在其他命名实体的背景下。因此，与先前的工作不同，我们试图利用从文本证据中获得的个人网络可以从文本证据中获得的信息，以消除名称。我们将基于BERT的提及表示与各种图形归纳策略结合在一起，并通过监督和无监督的集群推理方法进行实验。我们试验了来自两个领域名称列表的数据：来自CrossRef的书目引用和传播链（ISNADS）来自古典阿拉伯历史。我们发现，预处理的内域语言模型可以显着改善提及的表示形式，尤其是对于较大的语料库，并且参考书目信息（例如出版物场所或标题）的可用性也可以提高此任务的性能。我们还提出了一种新颖的监督集群推理模型，该模型为少量计算工作提供了竞争性能，使其非常适合必须在不依赖详尽的权限列表的情况下确定个人的情况。
translated by 谷歌翻译
排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。
translated by 谷歌翻译
使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。
translated by 谷歌翻译
最近的研究表明，神经组合优化（NCO）在许多组合优化问题（如路由）中具有优于传统算法的优点，但是对于涉及相互条件的动作空间的包装，诸如打包的更加复杂的优化任务的效率较低。在本文中，我们提出了一种经常性的条件查询学习（RCQL）方法来解决2D和3D包装问题。我们首先通过经常性编码器嵌入状态，然后采用先前操作的条件查询注意。条件查询机制填充了学习步骤之间的信息差距，将问题塑造为Markov决策过程。从复发中受益，单个RCQL模型能够处理不同尺寸的包装问题。实验结果表明，RCQL可以有效地学习用于离线和在线条带包装问题（SPP）的强烈启发式，优于空间利用率范围广泛的基线。 RCQL与最先进的方法相比，在离线2D 40盒案例中将平均箱间隙比率降低1.83％，3.84％。同时，我们的方法还实现了5.64％的空间利用率，对于1000件物品的空间利用率比现有技术更高。
translated by 谷歌翻译
我们为指定实体识别（NER）提出了一个有效的双重编码框架，该框架将对比度学习用于映射候选文本跨度，并将实体类型映射到同一矢量表示空间中。先前的工作主要将NER作为序列标记或跨度分类。相反，我们将NER视为一个度量学习问题，它最大程度地提高了实体提及的向量表示之间的相似性及其类型。这使得易于处理嵌套和平坦的ner，并且可以更好地利用嘈杂的自我诉讼信号。 NER对本双重编码器制定的主要挑战在于将非实体跨度与实体提及分开。我们没有明确标记所有非实体跨度为外部（O）与大多数先前方法相同的类别（O），而是引入了一种新型的动态阈值损失，这与标准的对比度损失一起学习。实验表明，我们的方法在受到监督和远处有监督的设置中的表现良好（例如，Genia，NCBI，BC5CDR，JNLPBA）。
translated by 谷歌翻译