实体歧义（ED）的最新工作通常忽略了结构性知识库（KB）事实，而是依靠有限的KB信息子集，例如实体描述或类型。这限制了实体可以消除歧义的环境范围。为了允许使用所有KB事实以及描述和类型，我们介绍了一个ED模型，该模型通过以完全可区分的方式通过符号知识基础来链接实体。我们的型号平均超过了六个良好的ED数据集的最新基线。通过允许访问所有KB信息，我们的模型较少依赖于基于流行的实体先验，并提高了具有挑战性的Shadowlink数据集（强调不频繁和模棱两可的实体）的性能12.7 F1。

我们介绍了精致的，这是一种有效的端到端实体链接模型，该模型使用精细的实体类型和实体描述来执行链接。该模型执行提及的检测，细粒实体键入以及单个向前传球中文档中所有提及的实体歧义，使其比现有方法快60倍以上。精制还超过了标准实体链接数据集的最先进性能，平均比3.7 F1。该模型能够将其推广到大规模的知识库，例如Wikidata（其实体是Wikipedia的15倍）和零拍的实体链接。速度，准确性和规模的结合使精制成为从网络规模数据集中提取实体的有效且具有成本效益的系统，该数据集已成功部署该模型。我们的代码和预培训模型可在https://github.com/alexa/refined上找到

实体消除歧义（ED）是实体链接（EL）的最后一步，当候选实体根据它们出现的上下文重新登录。所有数据集，用于培训和评估EL的模型，包括方便样本，如新闻文章和推文，将实体分布的现有概率偏置传播到更频繁发生的实体。前面表明，在这种数据集上的EL系统的性能高估，因为可以通过仅仅在学习之前获得更高的精度分数。为了提供更具足够的评估基准，我们介绍了ShadowLink数据集，其中包括16K短文本代码段，其中包含实体提出。我们评估并报告在Shadowlink基准上的流行EL系统的表现。结果表明，在评估中所有EL系统的越来越少的常见实体之间的准确性差异相当差异，证明了现有概率偏差和实体的效果。

我们提出了一种基于语境化嵌入的单词和实体的全局实体消除歧义（ED）模型。我们的模型基于BERT和培训我们的新培训任务，使模型能够捕获基于Word的本地和基于实体的全局上下文信息。该模型解决了ED作为序列决策任务，有效地使用两种类型的上下文信息。我们在五个标准ED数据集中实现了新的最先进结果：AIDA-CONLL，MSNBC，AQUAINT，ACE2004和WNED-Wiki。我们的源代码和培训的模型检查点可在https://github.com/studio-ousia/luke获得。

文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。

现代实体链接（EL）系统构成了流行偏见，但是没有数据集以英语以外的其他语言上关注尾巴和新兴实体。我们向Hansel展示了中国人的新基准，它填补了非英国几乎没有射击和零击EL挑战的空缺。Hansel的测试集经过人工注释和审查，并采用了一种用于收集零照片EL数据集的新方法。它涵盖了新闻，社交媒体帖子和其他网络文章中的10k多种文档，Wikidata作为目标知识库。我们证明，现有的最新EL系统在Hansel上的表现不佳（R@1中的36.6％，几乎没有射击）。然后，我们建立了一个强大的基线，该基线在我们的数据集上的零射门上为46.2％的R@1分之1。我们还表明，我们的基线在TAC-KBP2015中国实体链接任务上取得了竞争成果。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

文本的结构化和接地表示通常是通过封闭信息提取形式化的，提取与从知识库模式的预定义实体集合和关系一致的穷举集（主题，关系，对象）三元组的问题。大多数现有的作品是管道容易出错的累积，所有方法都仅适用于不切实际的少数实体和关系。我们介绍了Genie（生成信息提取），第一端到最终的归属化闭合信息提取。 Genie自然地通过自动生成文本形式的关系和实体来利用预先训练的变压器的语言知识。由于新的双层约束生成策略，仅生产与预定义知识库模式一致的三胞胎。我们的实验表明，Genie在封闭信息提取时是最先进的，从较少的训练数据点广泛地推广到基线，并缩放到以前无管理数量的实体和关系。通过这项工作，封闭的信息提取在现实情景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息提取的核心任务铺平了统一的端到端方法。在https://github.com/epfl-dlab/genie提供的代码和模型。

由于看不见和新兴实体的频率，新闻中的命名实体链接（NEL）是一项具有挑战性的努力，因此需要使用无监督或零摄像的方法。但是，这种方法往往会带来警告，例如不整合新兴实体的合适知识库（例如Wikidata），缺乏可扩展性和不良的可解释性。在这里，我们考虑在Quotebank中的人歧义，这是新闻中大量的说话者归类的语言，并调查了NEL在网络规模的语料库中直观，轻巧且可扩展的启发式方法的适用性。我们表现最好的启发式歧义分别在Quotebank和Aida-Conll基准上分别占94％和63％。此外，提出的启发式方法与最先进的无监督和零摄像方法，本本系和MGenRE相比，从而成为无监督和零照片实体链接的强基础。

我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。

我们提出了将事件链接到知识库的多语言链接的任务。我们会自动编译一个针对此任务的大型数据集，包括180万个涉及Wikidata超过10.9k事件的44种语言提及。我们提出了事件链接任务的两个变体：1）多语言，其中事件描述来自与提及的语言相同的语言，以及2）交叉语言，其中所有事件描述均以英语为单位。在提出的两个任务上，我们比较了包括BM25+（LV和Zhai，2011年）在内的多个事件链接系统以及Blink（Wu等，2020）的Biencoder和Crossencoder体系结构的多语言改编。在我们对两个任务变体的实验中，我们发现Biencoder和Crossencoder模型均显着优于BM25+基线。我们的结果还表明，跨语言任务通常比多语言任务更具挑战性。为了测试所提出的链接系统的室外概括，我们还创建了基于Wikinews的评估集。我们提出了定性分析，强调了拟议数据集捕获的各个方面，包括需要在上下文上进行时间推理并解决跨语言的各种事件描述。

Document-level relation extraction faces two overlooked challenges: long-tail problem and multi-label problem. Previous work focuses mainly on obtaining better contextual representations for entity pairs, hardly address the above challenges. In this paper, we analyze the co-occurrence correlation of relations, and introduce it into DocRE task for the first time. We argue that the correlations can not only transfer knowledge between data-rich relations and data-scarce ones to assist in the training of tailed relations, but also reflect semantic distance guiding the classifier to identify semantically close relations for multi-label entity pairs. Specifically, we use relation embedding as a medium, and propose two co-occurrence prediction sub-tasks from both coarse- and fine-grained perspectives to capture relation correlations. Finally, the learned correlation-aware embeddings are used to guide the extraction of relational facts. Substantial experiments on two popular DocRE datasets are conducted, and our method achieves superior results compared to baselines. Insightful analysis also demonstrates the potential of relation correlations to address the above challenges.

In recent years, there is a surge of generation-based information extraction work, which allows a more direct use of pre-trained language models and efficiently captures output dependencies. However, previous generative methods using lexical representation do not naturally fit document-level relation extraction (DocRE) where there are multiple entities and relational facts. In this paper, we investigate the root cause of the underwhelming performance of the existing generative DocRE models and discover that the culprit is the inadequacy of the training paradigm, instead of the capacities of the models. We propose to generate a symbolic and ordered sequence from the relation matrix which is deterministic and easier for model to learn. Moreover, we design a parallel row generation method to process overlong target sequences. Besides, we introduce several negative sampling strategies to improve the performance with balanced signals. Experimental results on four datasets show that our proposed method can improve the performance of the generative DocRE models. We have released our code at https://github.com/ayyyq/DORE.

预训练的语言模型（PLM）在各种自然语言理解任务上取得了巨大的成功。另一方面，对PLM的简单微调对于特定于领域的任务可能是次优的，因为它们不可能涵盖所有域中的知识。尽管PLM的自适应预培训可以帮助他们获得特定于领域的知识，但需要大量的培训成本。此外，自适应预训练可能会通过造成灾难性忘记其常识来损害PLM在下游任务上的表现。为了克服PLM适应性适应性预训练的这种局限性，我们提出了一个新颖的域名适应框架，用于将PLMS创造为知识增强语言模型适应性（KALA），该框架调节了PLM的中间隐藏表示与域中的中间隐藏表示，由实体和实体和实体和实体和实体构成他们的关系事实。我们验证了Kala在问题答案中的性能，并在各个域的多个数据集上命名实体识别任务。结果表明，尽管在计算上有效，但我们的Kala在很大程度上优于适应性预训练。代码可在以下网址获得：https：//github.com/nardien/kala/。

Entities, as important carriers of real-world knowledge, play a key role in many NLP tasks. We focus on incorporating entity knowledge into an encoder-decoder framework for informative text generation. Existing approaches tried to index, retrieve, and read external documents as evidence, but they suffered from a large computational overhead. In this work, we propose an encoder-decoder framework with an entity memory, namely EDMem. The entity knowledge is stored in the memory as latent representations, and the memory is pre-trained on Wikipedia along with encoder-decoder parameters. To precisely generate entity names, we design three decoding methods to constrain entity generation by linking entities in the memory. EDMem is a unified framework that can be used on various entity-intensive question answering and generation tasks. Extensive experimental results show that EDMem outperforms both memory-based auto-encoder models and non-memory encoder-decoder models.

链接的语音实体旨在识别和消除语言中的命名实体。常规方法严重遭受了不受限制的语音样式和ASR系统产生的嘈杂笔录。在本文中，我们提出了一种名为“知识增强命名实体识别”（KENER）的新颖方法，该方法致力于通过在实体识别阶段无痛地纳入适当的知识来改善鲁棒性，从而改善实体联系的整体性能。肯纳（Kener）首先检索未提及的句子的候选实体，然后利用实体描述作为额外的信息来帮助识别提及。当输入短或嘈杂时，由密集检索模块检索的候选实体特别有用。此外，我们研究了各种数据采样策略和设计有效的损失功能，以提高识别和歧义阶段中检索实体的质量。最后，将与过滤模块的链接作为最终保障措施应用，从而可以过滤出错误认可的提及。我们的系统在NLPCC-2022共享任务2的轨道1中获得第一名，并在轨道1中获得第一名。

目的：疾病知识图是一种连接，组织和访问有关疾病的不同信息的方式，对人工智能（AI）有很多好处。为了创建知识图，有必要以疾病概念之间的关系形式从多模式数据集中提取知识，并使概念和关系类型正常化。方法：我们介绍了Remap，这是一种多式模式提取和分类的方法。重新启动机器学习方法将部分不完整的知识图和医学语言数据集嵌入紧凑的潜在矢量空间中，然后将多模式嵌入以进行最佳疾病关系提取。结果：我们将重新映射方法应用于具有96,913个关系的疾病知识图和124万个句子的文本数据集。在由人类专家注释的数据集中，Remap通过将疾病知识图与文本信息融合，将基于文本的疾病关系提取提高了10.0％（准确性）和17.2％（F1分数）。此外，重建利用文本信息以推荐知识图中的新关系，优于基于图的方法，高于8.4％（准确性）和10.4％（F1得分）。结论：重塑是通过融合结构化知识和文本信息来提取和分类疾病关系的多模式方法。重映提供了灵活的神经体系结构，可轻松找到，访问和验证疾病概念之间的AI驱动关系。

理解文章需要了解其成分事件。但是，所提到事件的上下文通常缺乏此事件的细节。然后，除了上下文之外，我们还可以在哪里获得更多关于这种特定事件的知识？这项工作定义了事件链接，在事件级别的新自然语言理解任务。事件链接尝试链接事件提及，例如在新闻文章中出现，例如，最合适的维基百科页面。该页面预计将提供有关事件所指的丰富知识。为了标准化对这一新问题的研究，我们的贡献三折。首先，这是社区中的第一个工作，它正式定义事件链接任务。其次，我们为此新任务收集一个数据集。具体而言，我们首先从维基百科自动收集培训设置，然后创建两个评估集：一个来自维基百科域的域，报告域中的性能;另一个来自真实世界新闻域，测试域外的性能。第三，我们提出Evelink，首先是事件连接方法。总体而言，事件链接是一个很大的具有挑战性的任务，需要更多来自社区的努力。数据和代码可在此处提供：https://github.com/cogcomp/event-linking。

确定多个文档的概念提及的练习是自然语言理解中的基本任务。以前关于跨文档Coreference解析（CDCR）的工作通常会考虑新闻中的事件提到，这很少涉及普遍存在的科学和技术的技术概念。这些复杂的概念采用不同的形式或含糊不清的形式，并且具有许多分层级别的粒度（例如，任务和子组织），构成了CDCR的挑战。我们呈现了分层CDCR（H-CDCR）的新任务，其目标是在它们之间联合推断COREREFER集群和层次结构。我们在科学论文中创建SciCo，一个专家注释的H-CDCR数据集，比突出的欧洲ecb +资源大3倍。我们研究了我们为H-CDCR定制的强大基线模型，并突出了未来工作的挑战。

在文档级事件提取（DEE）任务中，事件参数始终散布在句子（串行问题）中，并且多个事件可能存在于一个文档（多事件问题）中。在本文中，我们认为事件参数的关系信息对于解决上述两个问题具有重要意义，并提出了一个新的DEE框架，该框架可以对关系依赖关系进行建模，称为关系授权的文档级事件提取（REDEE）。更具体地说，该框架具有一种新颖的量身定制的变压器，称为关系增强的注意变形金刚（RAAT）。 RAAT可扩展以捕获多尺度和多启动参数关系。为了进一步利用关系信息，我们介绍了一个单独的事件关系预测任务，并采用多任务学习方法来显式增强事件提取性能。广泛的实验证明了该方法的有效性，该方法可以在两个公共数据集上实现最新性能。我们的代码可在https：// github上找到。 com/tencentyouturesearch/raat。