Relation extraction (RE) is a sub-discipline of information extraction (IE) which focuses on the prediction of a relational predicate from a natural-language input unit (such as a sentence, a clause, or even a short paragraph consisting of multiple sentences and/or clauses). Together with named-entity recognition (NER) and disambiguation (NED), RE forms the basis for many advanced IE tasks such as knowledge-base (KB) population and verification. In this work, we explore how recent approaches for open information extraction (OpenIE) may help to improve the task of RE by encoding structured information about the sentences' principal units, such as subjects, objects, verbal phrases, and adverbials, into various forms of vectorized (and hence unstructured) representations of the sentences. Our main conjecture is that the decomposition of long and possibly convoluted sentences into multiple smaller clauses via OpenIE even helps to fine-tune context-sensitive language models such as BERT (and its plethora of variants) for RE. Our experiments over two annotated corpora, KnowledgeNet and FewRel, demonstrate the improved accuracy of our enriched models compared to existing RE approaches. Our best results reach 92% and 71% of F1 score for KnowledgeNet and FewRel, respectively, proving the effectiveness of our approach on competitive benchmarks.

关于概念及其属性的常识知识（CSK）有助于AI应用程序。诸如ConceptNet之类的先前作品已经编译了大型CSK集合。但是，它们的表现力限制在主题性 - 预处理（SPO）的三联元中，对p和o的s和字符串的简单概念。与先前的作品相比，CSK断言具有精致的表现力和更好的精度和回忆。 Ascent ++通过用子组和方面捕获复合概念，以及用语义方面的主张来捕获复合概念。后者对于表达断言和进一步预选赛的时间和空间有效性至关重要。此外，Ascent ++将开放信息提取（OpenIE）与典型性和显着性分数的明智清洁和排名相结合。对于高覆盖范围，我们的方法挖掘到具有广泛的Web内容的大规模爬网C4中。通过人类判断的评估显示了上升++ Kb的卓越质量，以及对QA支持任务的外部评估强调了Ascent ++的好处。可以在https://ascentpp.mpi-inf.mpg.de/上访问Web界面，数据和代码。

Recent progress in pretraining language models on large textual corpora led to a surge of improvements for downstream NLP tasks. Whilst learning linguistic knowledge, these models may also be storing relational knowledge present in the training data, and may be able to answer queries structured as "fillin-the-blank" cloze statements. Language models have many advantages over structured knowledge bases: they require no schema engineering, allow practitioners to query about an open class of relations, are easy to extend to more data, and require no human supervision to train. We present an in-depth analysis of the relational knowledge already present (without fine-tuning) in a wide range of state-of-theart pretrained language models. We find that (i) without fine-tuning, BERT contains relational knowledge competitive with traditional NLP methods that have some access to oracle knowledge, (ii) BERT also does remarkably well on open-domain question answering against a supervised baseline, and (iii) certain types of factual knowledge are learned much more readily than others by standard language model pretraining approaches. The surprisingly strong ability of these models to recall factual knowledge without any fine-tuning demonstrates their potential as unsupervised open-domain QA systems. The code to reproduce our analysis is available at https: //github.com/facebookresearch/LAMA.

Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.

关系提取（RE）是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的，非结构化的文本转变为结构化知识。RE有许多用途，例如知识图完成，文本摘要，提问和搜索查询。RE方法的历史可以分为四个阶段：基于模式的RE，基于统计的RE，基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述，突出了局限性和缺点，以使进度相关。接下来，我们回顾流行的基准测试，并严格检查用于评估RE性能的指标。然后，我们讨论遥远的监督，这是塑造现代RE方法发展的范式。最后，我们回顾了重点是降级和培训方法的最新工作。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

语言模型（LMS）已被证明在各种下游应用程序中很有用，例如摘要，翻译，问答和文本分类。由于它们可以存储的大量信息，LMS正在成为人工智能中越来越重要的工具。在这项工作中，我们提出了道具（提示为探测），该道具利用GPT-3（最初由OpenAI在2020年提出的大型语言模型）来执行知识基础构建任务（KBC）。 Prop实施了一种多步骤方法，该方法结合了各种提示技术来实现这一目标。我们的结果表明，手动提示策划是必不可少的，必须鼓励LM给出可变长度的答案集，特别是包括空的答案集，True/False问题是提高LM生成的建议精度的有用设备。 LM的大小是至关重要的因素，并且实体字典别名提高了LM评分。我们的评估研究表明，这些提出的技术可以大大提高最终预测的质量：Prop赢得了LM-KBC竞争的轨道2，表现优于基线36.4个百分点。我们的实施可在https://github.com/hemile/iswc-challenge上获得。

开放信息提取是一个重要的NLP任务，它针对从非结构化文本中提取结构化信息的目标，而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术，重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法，以适应最近的OIE技术的开发。此外，我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查，从数据集，信息来源，输出表格，方法和评估指标方面显示了几个未来的方向。

大型基于变压器的预训练的语言模型在各种知识密集的任务上取得了令人印象深刻的表现，并可以在其参数中捕获事实知识。我们认为，考虑到不断增长的知识和资源需求，在模型参数中存储大量知识是亚最佳选择。我们认为，更有效的替代方法是向模型提供对上下文相关的结构化知识的明确访问，并训练它以使用该知识。我们提出了LM核 - 实现这一目标的一般框架 - 允许从外部知识源对语言模型培训的\ textit {解耦}，并允许后者更新而不会影响已经训练的模型。实验结果表明，LM核心获得外部知识，在知识探索任务上的最先进的知识增强语言模型中实现了重要而强大的优于性能。可以有效处理知识更新；并在两个下游任务上表现良好。我们还提出了一个彻底的错误分析，突出了LM核的成功和失败。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

关于概念及其属性的常识知识（CSK）对AI应用程序（例如强大的聊天机器人）有用。诸如ConceptNet，Tuplekb和其他人之类的先前作品汇编了大型CSK集合，但在其表现力上限制了主题性主体对象（SPO）三倍（SPO）三元组，其中s和p和Onolithic的简单概念是P和O。这些项目都优先考虑精确精度。或召回，但几乎不能调和这些互补目标。本文介绍了一种称为Ascent的方法，以自动建立一个大规模的CSK断言的知识库（KB），具有高级表现力，并且比先前的作品更好，并且具有更好的精度和回忆。通过捕获子组和方面的复合概念，以及通过语义方面的主张来捕获复合概念，超越了三倍。后者对于表达断言和进一步预选赛的时间和空间有效性很重要。 Ascent使用语言模型将开放信息提取与明智的清洁结合在一起。内在评估显示了上升KB的较高规模和质量，QA支持任务的外部评估强调了上升的好处。可以在https://ascent.mpi-inf.mpg.de/上找到Web界面，数据和代码。

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

To effectively train accurate Relation Extraction models, sufficient and properly labeled data is required. Adequately labeled data is difficult to obtain and annotating such data is a tricky undertaking. Previous works have shown that either accuracy has to be sacrificed or the task is extremely time-consuming, if done accurately. We are proposing an approach in order to produce high-quality datasets for the task of Relation Extraction quickly. Neural models, trained to do Relation Extraction on the created datasets, achieve very good results and generalize well to other datasets. In our study, we were able to annotate 10,022 sentences for 19 relations in a reasonable amount of time, and trained a commonly used baseline model for each relation.

对于自然语言处理中的许多任务，将知识从一个域转移到另一个领域至关重要，尤其是当目标域中的可用数据量受到限制时。在这项工作中，我们在指定实体识别（NER）的背景下提出了一种新颖的域适应方法。我们提出了一种两步方法，该方法由可变基本模块和模板模块组成，该模块在简单的描述模式的帮助下利用了预训练的语言模型中捕获的知识。我们的方法简单而通用，可以在几次射击和零拍设置中应用。评估我们在许多不同数据集中的轻量级方法表明，它可以将最新基准的性能提高2-5％的F1分数。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

我们提出了一个新的框架，在增强的自然语言（TANL）之间的翻译，解决了许多结构化预测语言任务，包括联合实体和关系提取，嵌套命名实体识别，关系分类，语义角色标记，事件提取，COREREFED分辨率和对话状态追踪。通过培训特定于特定于任务的鉴别分类器来说，我们将其作为一种在增强的自然语言之间的翻译任务，而不是通过培训问题，而不是解决问题，而是可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务特定模型，特别是在联合实体和关系提取（Conll04，Ade，NYT和ACE2005数据集）上实现了新的最先进的结果，与关系分类（偶尔和默示）和语义角色标签（Conll-2005和Conll-2012）。我们在使用相同的架构和超参数的同时为所有任务使用相同的架构和超级参数，甚至在培训单个模型时同时解决所有任务（多任务学习）。最后，我们表明，由于更好地利用标签语义，我们的框架也可以显着提高低资源制度的性能。

NLP是与计算机或机器理解和解释人类语言的能力有关的人工智能和机器学习的一种形式。语言模型在文本分析和NLP中至关重要，因为它们允许计算机解释定性输入并将其转换为可以在其他任务中使用的定量数据。从本质上讲，在转移学习的背景下，语言模型通常在大型通用语料库上进行培训，称为预训练阶段，然后对特定的基本任务进行微调。结果，预训练的语言模型主要用作基线模型，该模型包含了对上下文的广泛掌握，并且可以进一步定制以在新的NLP任务中使用。大多数预训练的模型都经过来自Twitter，Newswire，Wikipedia和Web等通用领域的Corpora培训。在一般文本中训练的现成的NLP模型可能在专业领域效率低下且不准确。在本文中，我们提出了一个名为Securebert的网络安全语言模型，该模型能够捕获网络安全域中的文本含义，因此可以进一步用于自动化，用于许多重要的网络安全任务，否则这些任务将依靠人类的专业知识和繁琐的手动努力。 Securebert受到了我们从网络安全和一般计算域的各种来源收集和预处理的大量网络安全文本培训。使用我们提出的令牌化和模型权重调整的方法，Securebert不仅能够保留对一般英语的理解，因为大多数预训练的语言模型都可以做到，而且在应用于具有网络安全含义的文本时也有效。