由于看不见和新兴实体的频率，新闻中的命名实体链接（NEL）是一项具有挑战性的努力，因此需要使用无监督或零摄像的方法。但是，这种方法往往会带来警告，例如不整合新兴实体的合适知识库（例如Wikidata），缺乏可扩展性和不良的可解释性。在这里，我们考虑在Quotebank中的人歧义，这是新闻中大量的说话者归类的语言，并调查了NEL在网络规模的语料库中直观，轻巧且可扩展的启发式方法的适用性。我们表现最好的启发式歧义分别在Quotebank和Aida-Conll基准上分别占94％和63％。此外，提出的启发式方法与最先进的无监督和零摄像方法，本本系和MGenRE相比，从而成为无监督和零照片实体链接的强基础。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

现代实体链接（EL）系统构成了流行偏见，但是没有数据集以英语以外的其他语言上关注尾巴和新兴实体。我们向Hansel展示了中国人的新基准，它填补了非英国几乎没有射击和零击EL挑战的空缺。Hansel的测试集经过人工注释和审查，并采用了一种用于收集零照片EL数据集的新方法。它涵盖了新闻，社交媒体帖子和其他网络文章中的10k多种文档，Wikidata作为目标知识库。我们证明，现有的最新EL系统在Hansel上的表现不佳（R@1中的36.6％，几乎没有射击）。然后，我们建立了一个强大的基线，该基线在我们的数据集上的零射门上为46.2％的R@1分之1。我们还表明，我们的基线在TAC-KBP2015中国实体链接任务上取得了竞争成果。

我们提出了将事件链接到知识库的多语言链接的任务。我们会自动编译一个针对此任务的大型数据集，包括180万个涉及Wikidata超过10.9k事件的44种语言提及。我们提出了事件链接任务的两个变体：1）多语言，其中事件描述来自与提及的语言相同的语言，以及2）交叉语言，其中所有事件描述均以英语为单位。在提出的两个任务上，我们比较了包括BM25+（LV和Zhai，2011年）在内的多个事件链接系统以及Blink（Wu等，2020）的Biencoder和Crossencoder体系结构的多语言改编。在我们对两个任务变体的实验中，我们发现Biencoder和Crossencoder模型均显着优于BM25+基线。我们的结果还表明，跨语言任务通常比多语言任务更具挑战性。为了测试所提出的链接系统的室外概括，我们还创建了基于Wikinews的评估集。我们提出了定性分析，强调了拟议数据集捕获的各个方面，包括需要在上下文上进行时间推理并解决跨语言的各种事件描述。

理解文章需要了解其成分事件。但是，所提到事件的上下文通常缺乏此事件的细节。然后，除了上下文之外，我们还可以在哪里获得更多关于这种特定事件的知识？这项工作定义了事件链接，在事件级别的新自然语言理解任务。事件链接尝试链接事件提及，例如在新闻文章中出现，例如，最合适的维基百科页面。该页面预计将提供有关事件所指的丰富知识。为了标准化对这一新问题的研究，我们的贡献三折。首先，这是社区中的第一个工作，它正式定义事件链接任务。其次，我们为此新任务收集一个数据集。具体而言，我们首先从维基百科自动收集培训设置，然后创建两个评估集：一个来自维基百科域的域，报告域中的性能;另一个来自真实世界新闻域，测试域外的性能。第三，我们提出Evelink，首先是事件连接方法。总体而言，事件链接是一个很大的具有挑战性的任务，需要更多来自社区的努力。数据和代码可在此处提供：https://github.com/cogcomp/event-linking。

我们介绍了精致的，这是一种有效的端到端实体链接模型，该模型使用精细的实体类型和实体描述来执行链接。该模型执行提及的检测，细粒实体键入以及单个向前传球中文档中所有提及的实体歧义，使其比现有方法快60倍以上。精制还超过了标准实体链接数据集的最先进性能，平均比3.7 F1。该模型能够将其推广到大规模的知识库，例如Wikidata（其实体是Wikipedia的15倍）和零拍的实体链接。速度，准确性和规模的结合使精制成为从网络规模数据集中提取实体的有效且具有成本效益的系统，该数据集已成功部署该模型。我们的代码和预培训模型可在https://github.com/alexa/refined上找到

实体链接（EL）是将实体提及在文本中及其相应实体中出现在知识库中的过程。通常基于Wikipedia估算实体的EL特征（例如，先前的概率，相关性评分和实体嵌入）。但是，对于刚刚在新闻中发现的新兴实体（EES）而言，它们可能仍未包含在Wikipedia中。结果，它无法获得Wikipedia和EL模型的EES所需的EL功能，将始终无法将歧义提及与这些EES正确链接，因为它没有其EL功能。为了解决这个问题，在本文中，我们专注于以一般方式为新兴实体学习EL功能的新任务。我们提出了一种名为Stamo的新颖方法，可以自动学习EES的高质量EL功能，该功能仅需要从网络中收集的每个EE的少数标记文档，因为它可以进一步利用隐藏在未标记的数据中的知识。 Stamo主要基于自我训练，这使其与任何EL功能或EL模型都灵活地集成在一起，但也使其很容易遭受由错误标签的数据引起的错误加强问题。我们认为自我训练是相对于EES的EL特征，而不是一些试图将错误标签的数据抛弃的常见自我训练策略，而是提出了内部插槽和斜率优化的多重优化过程，以减轻误差加强问题隐含。我们构建了涉及选定的EE的两个EL数据集，以评估EES获得的EL特征的质量，实验结果表明，我们的方法显着优于其他学习EL特征的基线方法。

我们提出了一种新颖的基准和相关的评估指标，用于评估文本匿名方法的性能。文本匿名化定义为编辑文本文档以防止个人信息披露的任务，目前遭受了面向隐私的带注释的文本资源的短缺，因此难以正确评估各种匿名方法提供的隐私保护水平。本文介绍了标签（文本匿名基准），这是一种新的开源注释语料库，以解决此短缺。该语料库包括欧洲人权法院（ECHR）的1,268个英语法院案件，并充满了有关每个文档中出现的个人信息的全面注释，包括其语义类别，标识符类型，机密属性和共同参考关系。与以前的工作相比，TAB语料库旨在超越传统的识别（仅限于检测预定义的语义类别），并且明确标记了这些文本跨越的标记，这些文本应该被掩盖，以掩盖该人的身份受到保护。除了介绍语料库及其注释层外，我们还提出了一套评估指标，这些指标是针对衡量文本匿名性的性能而定制的，无论是在隐私保护和公用事业保护方面。我们通过评估几个基线文本匿名模型的经验性能来说明基准和提议的指标的使用。完整的语料库及其面向隐私的注释准则，评估脚本和基线模型可在以下网址提供：

Visual Entity Linking (VEL) is a task to link regions of images with their corresponding entities in Knowledge Bases (KBs), which is beneficial for many computer vision tasks such as image retrieval, image caption, and visual question answering. While existing tasks in VEL either rely on textual data to complement a multi-modal linking or only link objects with general entities, which fails to perform named entity linking on large amounts of image data. In this paper, we consider a purely Visual-based Named Entity Linking (VNEL) task, where the input only consists of an image. The task is to identify objects of interest (i.e., visual entity mentions) in images and link them to corresponding named entities in KBs. Since each entity often contains rich visual and textual information in KBs, we thus propose three different sub-tasks, i.e., visual to visual entity linking (V2VEL), visual to textual entity linking (V2TEL), and visual to visual-textual entity linking (V2VTEL). In addition, we present a high-quality human-annotated visual person linking dataset, named WIKIPerson. Based on WIKIPerson, we establish a series of baseline algorithms for the solution of each sub-task, and conduct experiments to verify the quality of proposed datasets and the effectiveness of baseline methods. We envision this work to be helpful for soliciting more works regarding VNEL in the future. The codes and datasets are publicly available at https://github.com/ict-bigdatalab/VNEL.

在本文中，我们介绍了第一个链接冰岛语料库的实体。我们描述了使用多语言实体链接模型（MGENRE）与Wikipedia API搜索（WAPIS）结合使用的方法来标记我们的数据并将其与仅使用WAPIS进行比较。我们发现，我们的组合方法在我们的语料库上达到53.9％的覆盖范围，而仅使用WAPIS的覆盖率为30.9％。我们分析我们的结果并解释使用冰岛时使用多语言系统的价值。此外，我们分析了仍然没有标记的数据，识别模式并讨论为什么它们可能很难注释。

实体歧义（ED）的最新工作通常忽略了结构性知识库（KB）事实，而是依靠有限的KB信息子集，例如实体描述或类型。这限制了实体可以消除歧义的环境范围。为了允许使用所有KB事实以及描述和类型，我们介绍了一个ED模型，该模型通过以完全可区分的方式通过符号知识基础来链接实体。我们的型号平均超过了六个良好的ED数据集的最新基线。通过允许访问所有KB信息，我们的模型较少依赖于基于流行的实体先验，并提高了具有挑战性的Shadowlink数据集（强调不频繁和模棱两可的实体）的性能12.7 F1。

Web搜索查询可以模糊：是“尼罗来的来源”，意味着查找实际河流或该名称的棋盘游戏中的信息？我们通过派生基于实体的查询解释来解决这个问题：给定一些查询，任务是从背景知识库中的语义兼容实体中推导出链接所有合理的方法。我们建议的方法侧重于有效性，但由于Web搜索响应时间不应超过数百毫秒的效率。在我们的方法中，我们使用查询分段作为查找有前途的基于段的“解释骨架”的预处理步骤。然后将来自这些骨架的各个段与知识库的实体相关联，并且合理的组合在最后一步中排名。所有现有查询实体链接数据集的组合语料库上的实验比较显示了我们的方法，以便在比以前最有效的方法更好的运行时间内具有更好的解释精度。

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

我们提出了多语言数据集的Multiconer，用于命名实体识别，涵盖11种语言的3个域（Wiki句子，问题和搜索查询），以及多语言和代码混合子集。该数据集旨在代表NER中的当代挑战，包括低文字方案（简短和未添加的文本），句法复杂的实体（例如电影标题）和长尾实体分布。使用基于启发式的句子采样，模板提取和插槽以及机器翻译等技术，从公共资源中汇编了26M令牌数据集。我们在数据集上应用了两个NER模型：一个基线XLM-Roberta模型和一个最先进的Gemnet模型，该模型利用了Gazetteers。基线实现了中等的性能（Macro-F1 = 54％），突出了我们数据的难度。 Gemnet使用Gazetteers，显着改善（Macro-F1 =+30％的平均改善）。甚至对于大型预训练的语言模型，多功能人也会构成挑战，我们认为它可以帮助进一步研究建立强大的NER系统。 Multiconer可在https://registry.opendata.aws/multiconer/上公开获取，我们希望该资源将有助于推进NER各个方面的研究。

实体消除歧义（ED）是实体链接（EL）的最后一步，当候选实体根据它们出现的上下文重新登录。所有数据集，用于培训和评估EL的模型，包括方便样本，如新闻文章和推文，将实体分布的现有概率偏置传播到更频繁发生的实体。前面表明，在这种数据集上的EL系统的性能高估，因为可以通过仅仅在学习之前获得更高的精度分数。为了提供更具足够的评估基准，我们介绍了ShadowLink数据集，其中包括16K短文本代码段，其中包含实体提出。我们评估并报告在Shadowlink基准上的流行EL系统的表现。结果表明，在评估中所有EL系统的越来越少的常见实体之间的准确性差异相当差异，证明了现有概率偏差和实体的效果。

我们呈现了名字，一个从英语维基百科和新闻文章中获得的暧昧名称的实体的数据集。它由4148个独特实体的58862提到和他们的名称：来自News的1000个提到，来自Wikipedia关于实体的文章28843，以及29019维基百科反向链接提到。名称应该有助于为命名实体链接的任务建立具有挑战性的基准（NEL）。

我们介绍了Paranames，这是一种多语言并行名称资源，由1.18亿个名称组成，涉及400种语言。为1360万个实体提供了名称，这些实体映射到标准化实体类型（每/loc/org）。使用Wikidata作为来源，我们创建了此类类型的最大资源。我们描述了我们过滤和标准化数据以提供最佳质量的方法。PANAMES对于多语言语言处理非常有用，既可以定义名称翻译/音译的任务，又可以作为任务的补充数据，例如命名实体识别和链接。我们通过训练与英文和英语的规范名称翻译的多语言模型来展示对照群的应用。我们的资源是根据https://github.com/bltlab/paranames发布的创意共享许可证（CC By 4.0）发布的。

由于免费的在线百科全书具有大量内容，因此Wikipedia和Wikidata是许多自然语言处理（NLP）任务的关键，例如信息检索，知识基础构建，机器翻译，文本分类和文本摘要。在本文中，我们介绍了Wikides，这是一个新颖的数据集，用于为文本摘要问题提供Wikipedia文章的简短描述。该数据集由6987个主题上的80K英语样本组成。我们设置了一种两阶段的摘要方法 - 描述生成（I阶段）和候选排名（II阶段）作为一种依赖于转移和对比学习的强大方法。对于描述生成，与其他小规模的预训练模型相比，T5和BART表现出了优越性。通过将对比度学习与Beam Search的不同输入一起应用，基于度量的排名模型优于直接描述生成模型，在主题独立拆分和独立于主题的独立拆分中，最高可达22个胭脂。此外，第II期中的结果描述得到了人类评估的支持，其中45.33％以上，而I阶段的23.66％则支持针对黄金描述。在情感分析方面，生成的描述无法有效地从段落中捕获所有情感极性，同时从黄金描述中更好地完成此任务。自动产生的新描述减少了人类为创建它们的努力，并丰富了基于Wikidata的知识图。我们的论文对Wikipedia和Wikidata产生了实际影响，因为有成千上万的描述。最后，我们预计Wikides将成为从短段落中捕获显着信息的相关作品的有用数据集。策划的数据集可公开可用：https：//github.com/declare-lab/wikides。

文本的结构化和接地表示通常是通过封闭信息提取形式化的，提取与从知识库模式的预定义实体集合和关系一致的穷举集（主题，关系，对象）三元组的问题。大多数现有的作品是管道容易出错的累积，所有方法都仅适用于不切实际的少数实体和关系。我们介绍了Genie（生成信息提取），第一端到最终的归属化闭合信息提取。 Genie自然地通过自动生成文本形式的关系和实体来利用预先训练的变压器的语言知识。由于新的双层约束生成策略，仅生产与预定义知识库模式一致的三胞胎。我们的实验表明，Genie在封闭信息提取时是最先进的，从较少的训练数据点广泛地推广到基线，并缩放到以前无管理数量的实体和关系。通过这项工作，封闭的信息提取在现实情景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息提取的核心任务铺平了统一的端到端方法。在https://github.com/epfl-dlab/genie提供的代码和模型。

注释数据是用于培训和评估机器学习模型的自然语言处理中的重要成分。因此，注释具有高质量是非常理想的。但是，最近的工作表明，几个流行的数据集包含令人惊讶的注释错误或不一致之处。为了减轻此问题，多年来已经设计了许多注释错误检测方法。尽管研究人员表明他们的方法在新介绍的数据集上效果很好，但他们很少将其方法与以前的工作或同一数据集进行比较。这引起了人们对方法的一般表现的强烈关注，并且使他们的优势和劣势很难解决。因此，我们重新实现18种检测潜在注释错误的方法，并在9个英语数据集上对其进行评估，以进行文本分类以及令牌和跨度标签。此外，我们定义了统一的评估设置，包括注释错误检测任务，评估协议和一般最佳实践的新形式化。为了促进未来的研究和可重复性，我们将数据集和实施释放到易于使用和开源软件包中。