大型人群源数据集通常嘈杂，并且关系分类（RC）数据集也不例外。成果整个数据集是一个可能的解决方案，但由于时间和预算限制，它并不总是可行的。本文讨论了RC的大型嘈杂数据集的有效成果的问题。我们的目标是在DataSet中捕获更多的注释错误，同时缩短实例。 RC DataSet Reannotation上的现有工作缺乏关于成果数据量的灵活性。我们介绍了成果预算的概念来克服这种限制。立即后续问题是：给定特定的成果预算，我们应该恢复哪些数据子组？为了解决这个问题，我们展示了两个策略来选择性地开始rc数据集。我们的策略利用了关系标签的分类学等级。我们的工作的直觉是依赖标签层次结构图中实际和预测关系标签之间的图形距离。我们评估我们在众所周知的TACRED数据集上的efernotation策略。我们设计我们的实验来回答三个具体的研究问题。首先，我们的策略是否为成果选择新颖的候选人？其次，对于给定的成果预算是我们的成果策略在捕捉注释错误时更有效？第三，数据成果对RC模型性能测量的影响是什么？实验结果表明，我们的既是新鲜的策略都是新颖有效的。我们的分析表明，目前报告的RC模型在嘈杂的禁令数据上的性能膨胀。

To effectively train accurate Relation Extraction models, sufficient and properly labeled data is required. Adequately labeled data is difficult to obtain and annotating such data is a tricky undertaking. Previous works have shown that either accuracy has to be sacrificed or the task is extremely time-consuming, if done accurately. We are proposing an approach in order to produce high-quality datasets for the task of Relation Extraction quickly. Neural models, trained to do Relation Extraction on the created datasets, achieve very good results and generalize well to other datasets. In our study, we were able to annotate 10,022 sentences for 19 relations in a reasonable amount of time, and trained a commonly used baseline model for each relation.

我们提出了一种可解释的关系提取方法，通过共同训练这两个目标来减轻概括和解释性之间的张力。我们的方法使用多任务学习体系结构，该体系结构共同训练分类器以进行关系提取，并在解释关系分类器的决策的关系中标记单词的序列模型。我们还将模型输出转换为规则，以将全局解释带入这种方法。使用混合策略对此序列模型进行训练：有监督，当可获得预先存在的模式的监督时，另外还要半监督。在后一种情况下，我们将序列模型的标签视为潜在变量，并学习最大化关系分类器性能的最佳分配。我们评估了两个数据集中的提议方法，并表明序列模型提供了标签，可作为关系分类器决策的准确解释，并且重要的是，联合培训通常可以改善关系分类器的性能。我们还评估了生成的规则的性能，并表明新规则是手动规则的重要附加功能，并使基于规则的系统更接近神经模型。

我们提出了一个零射门学习关系分类（ZSLRC）框架，通过其识别训练数据中不存在的新颖关系的能力来提高最先进的框架。零射击学习方法模仿人类学习和识别新概念的方式，没有先前的知识。为此，ZSLRC使用修改的高级原型网络来利用加权侧（辅助）信息。 ZSLRC的侧面信息是由关键字，名称实体的高度和标签及其同义词构建的。 ZSLRC还包括一个自动高义的提取框架，可直接从Web获取各种名称实体的高型。 ZSLRC提高了最先进的少量学习关系分类方法，依赖于标记的培训数据，因此即使在现实世界方案中也适用于某些关系对相应标记的培训示例。我们在两种公共数据集（NYT和NEREREL）上使用广泛的实验显示结果，并显示ZSLRC显着优于最先进的方法对监督学习，少量学习和零射击学习任务。我们的实验结果还展示了我们所提出的模型的有效性和稳健性。

为了减少人际关系提取（RE）任务的注释，提出了遥远的监督方法，同时却在低性能方面挣扎。在这项工作中，我们提出了一个新颖的DSRE-NLI框架，该框架既考虑了现有知识库的遥远监督，又考虑了对其他任务的预读语言模型的间接监督。 DSRE-NLI通过半自动关系语言（SARV）机制为现成的自然语言推理（NLI）发动机充满电，以提供间接的监督并进一步巩固远处注释以使多型分类重新模型受益。基于NLI的间接监督仅获取一个从人类的关系模板作为每个关系的语义通用模板，然后模板集由高质量的文本模式富集，从遥远的注释的语料库中自动开采。通过两种简单有效的数据整合策略，培训数据的质量得到了显着提高。广泛的实验表明，所提出的框架可显着改善远距离监督的RE基准数据集上的SOTA性能（最高为F1的7.73％）。

知识图表问题基于信息检索旨在通过从大型知识图表中检索答案来回答问题来回答（即，kgqa）。大多数现有方法首先粗略地检索可能包含候选答案的知识子图（KSG），然后搜索子图中的确切答案。然而，粗略检索的KSG可以包含数千个候选节点，因为查询中涉及的知识图通常是大规模的。为了解决这个问题，我们首先建议通过新的子图分区算法将检索到的ksg分区为几个较小的子ksgs，然后呈现一个图形增强学习，以便测量模型以从中选择排名的子ksgs。我们所提出的模型结合了新的子图匹配网络，以捕获问题和子图中的全局交互以及增强的双边多视角匹配模型，以捕获局部交互。最后，我们分别在全KSG和排名级分ksg上应用答案选择模型，以验证我们提出的图形增强学习的效果。多个基准数据集的实验结果表明了我们方法的有效性。

命名实体识别（ner）旨在标识在非结构化文本中的命名实体的提到，并将它们分类为预定义的命名实体类。尽管基于深度学习的预先训练的语言模型实现了良好的预测性能，但许多域特定的NERTASK仍然需要足够量的标记数据。主动学习（AL）是标签采集问题的一般框架，已用于NER任务，以最大限度地降低注释成本而不会牺牲模型性能。然而，令牌的严重不平衡的课程分布引入了设计有效的NER Querying方法的挑战。我们提出了al句子查询评估函数，这些函数更加关注可能的积极令牌，并评估基于句子和基于令牌的成本评估策略的这些提出的功能。我们还提出了更好的数据驱动的归一化方法来惩罚太长或太短的句子。我们在来自不同域的三个数据集上的实验表明，所提出的方法减少了带有常规方法的更好或可比预测性能的增注令牌的数量。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

Open Relation Extraction (OpenRE) aims to discover novel relations from open domains. Previous OpenRE methods mainly suffer from two problems: (1) Insufficient capacity to discriminate between known and novel relations. When extending conventional test settings to a more general setting where test data might also come from seen classes, existing approaches have a significant performance decline. (2) Secondary labeling must be performed before practical application. Existing methods cannot label human-readable and meaningful types for novel relations, which is urgently required by the downstream tasks. To address these issues, we propose the Active Relation Discovery (ARD) framework, which utilizes relational outlier detection for discriminating known and novel relations and involves active learning for labeling novel relations. Extensive experiments on three real-world datasets show that ARD significantly outperforms previous state-of-the-art methods on both conventional and our proposed general OpenRE settings. The source code and datasets will be available for reproducibility.

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。

文本的结构化和接地表示通常是通过封闭信息提取形式化的，提取与从知识库模式的预定义实体集合和关系一致的穷举集（主题，关系，对象）三元组的问题。大多数现有的作品是管道容易出错的累积，所有方法都仅适用于不切实际的少数实体和关系。我们介绍了Genie（生成信息提取），第一端到最终的归属化闭合信息提取。 Genie自然地通过自动生成文本形式的关系和实体来利用预先训练的变压器的语言知识。由于新的双层约束生成策略，仅生产与预定义知识库模式一致的三胞胎。我们的实验表明，Genie在封闭信息提取时是最先进的，从较少的训练数据点广泛地推广到基线，并缩放到以前无管理数量的实体和关系。通过这项工作，封闭的信息提取在现实情景中变得实用，为下游任务提供了新的机会。最后，这项工作为信息提取的核心任务铺平了统一的端到端方法。在https://github.com/epfl-dlab/genie提供的代码和模型。

Multiple choice questions (MCQs) are widely used in digital learning systems, as they allow for automating the assessment process. However, due to the increased digital literacy of students and the advent of social media platforms, MCQ tests are widely shared online, and teachers are continuously challenged to create new questions, which is an expensive and time-consuming task. A particularly sensitive aspect of MCQ creation is to devise relevant distractors, i.e., wrong answers that are not easily identifiable as being wrong. This paper studies how a large existing set of manually created answers and distractors for questions over a variety of domains, subjects, and languages can be leveraged to help teachers in creating new MCQs, by the smart reuse of existing distractors. We built several data-driven models based on context-aware question and distractor representations, and compared them with static feature-based models. The proposed models are evaluated with automated metrics and in a realistic user test with teachers. Both automatic and human evaluations indicate that context-aware models consistently outperform a static feature-based approach. For our best-performing context-aware model, on average 3 distractors out of the 10 shown to teachers were rated as high-quality distractors. We create a performance benchmark, and make it public, to enable comparison between different approaches and to introduce a more standardized evaluation of the task. The benchmark contains a test of 298 educational questions covering multiple subjects & languages and a 77k multilingual pool of distractor vocabulary for future research.

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

关系提取（RE）是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的，非结构化的文本转变为结构化知识。RE有许多用途，例如知识图完成，文本摘要，提问和搜索查询。RE方法的历史可以分为四个阶段：基于模式的RE，基于统计的RE，基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述，突出了局限性和缺点，以使进度相关。接下来，我们回顾流行的基准测试，并严格检查用于评估RE性能的指标。然后，我们讨论遥远的监督，这是塑造现代RE方法发展的范式。最后，我们回顾了重点是降级和培训方法的最新工作。

本文介绍了预测关系提取的文本文档的覆盖范围的新任务（重新）：该文件是否包含给定实体的许多关系元组？覆盖预测可用于选择具有大型输入基层的知识库建设的最佳文档。为研究这个问题，我们为520个实体提供了31,366个不同文件的数据集。我们分析了文档覆盖的相关性与长度，实体提及频率，alexa等级，语言复杂性和信息检索分数的特征相关。这些特征中的每一个都只有适度的预测力量。我们采用方法将具有统计模型的功能相结合，如TF-IDF和BERT语言模型。该模型结合特性和BERT，HERB，实现了F1得分高达46％。我们展示了两种用例的覆盖预测的效用：KB建设和索赔驳斥。

Relation extraction (RE) is a sub-discipline of information extraction (IE) which focuses on the prediction of a relational predicate from a natural-language input unit (such as a sentence, a clause, or even a short paragraph consisting of multiple sentences and/or clauses). Together with named-entity recognition (NER) and disambiguation (NED), RE forms the basis for many advanced IE tasks such as knowledge-base (KB) population and verification. In this work, we explore how recent approaches for open information extraction (OpenIE) may help to improve the task of RE by encoding structured information about the sentences' principal units, such as subjects, objects, verbal phrases, and adverbials, into various forms of vectorized (and hence unstructured) representations of the sentences. Our main conjecture is that the decomposition of long and possibly convoluted sentences into multiple smaller clauses via OpenIE even helps to fine-tune context-sensitive language models such as BERT (and its plethora of variants) for RE. Our experiments over two annotated corpora, KnowledgeNet and FewRel, demonstrate the improved accuracy of our enriched models compared to existing RE approaches. Our best results reach 92% and 71% of F1 score for KnowledgeNet and FewRel, respectively, proving the effectiveness of our approach on competitive benchmarks.

联合医疗关系提取是指由单个模型从医学文本中提取由实体和关系组成的三元组。解决方案之一是将此任务转换为顺序标记任务。但是，在现有的作品中，以线性方式表示和标记三元组的方法失败了，而将三元组组织为图形的方法面临着大量计算工作的挑战。在本文中，受到医学文本中类似树状的关系结构的启发，我们提出了一个名为“双向树”标签（BITT）的新颖方案，将医疗关系三元组成两条两条二进制树，并将树转换为单词级别的标签序列。基于BITT方案，我们开发了一个联合关系提取模型，以预测BITT标签并进一步提取医疗三元三元。我们的模型在两个医疗数据集上的最佳基准在F1分中优于2.0 \％和2.5 \％。更重要的是，我们的BITT方案的模型还可以在其他域的三个公共数据集中获得有希望的结果。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

认识到没有培训实例的看不见的关系是现实世界中的一个具有挑战性的任务。在本文中，我们提出了一种基于提示的模型，具有语义知识增强（ZS-SKA），以识别零拍摄设置下的看不见的关系。在新的单词级别句子翻译规则之后，我们从带有所看到的关系的情况生成增强的实例。我们根据外部知识图设计提示，以将从所见关系中学到的语义知识信息集成。我们在提示模板中使用实际标签集，而是构造加权虚拟标签单词。通过生成与增强实例的看见和看不见的关系的表示，并通过原型网络提示，计算距离以预测看不见的关系。在三个公共数据集上进行的广泛实验表明，ZS-SKA优于零击方案下的最先进的方法。我们的实验结果还证明了ZS-SKA的有效性和鲁棒性。