实体链接旨在将模棱两可的提及与知识库中的相应实体联系起来，这对于各种下游应用程序是重要的，例如知识库完成，问题答案和信息提取。尽管已经致力于这项任务，但这些研究中的大多数遵循以下假设，即可以使用大规模标记的数据。但是，当由于劳动密集型注释工作而导致的标记数据不足以针对特定领域时，现有算法的性能将遭受无法忍受的下降。在本文中，我们努力解决了几个弹药实体链接的问题，这只需要最少的标记数据，并且在实际情况下更为实用。具体而言，我们首先提出了一种新颖的弱监督策略，以基于提及的重写生成非平凡的合成实体对。由于合成数据的质量对有效的模型训练有关键的影响，因此我们进一步设计了一种元学习机制，以自动为每个合成实体对分配不同的权重。通过这种方式，我们可以深刻利用丰富而宝贵的语义信息，从而在几个射击设置下得出训练有素的实体链接模型。现实世界数据集上的实验表明，所提出的方法可以广泛改善最新的几杆实体链接模型，并在只有少量标记的数据可用时实现令人印象深刻的性能。此外，我们还展示了模型可传递性的出色能力。

实体链接（EL）是将实体提及在文本中及其相应实体中出现在知识库中的过程。通常基于Wikipedia估算实体的EL特征（例如，先前的概率，相关性评分和实体嵌入）。但是，对于刚刚在新闻中发现的新兴实体（EES）而言，它们可能仍未包含在Wikipedia中。结果，它无法获得Wikipedia和EL模型的EES所需的EL功能，将始终无法将歧义提及与这些EES正确链接，因为它没有其EL功能。为了解决这个问题，在本文中，我们专注于以一般方式为新兴实体学习EL功能的新任务。我们提出了一种名为Stamo的新颖方法，可以自动学习EES的高质量EL功能，该功能仅需要从网络中收集的每个EE的少数标记文档，因为它可以进一步利用隐藏在未标记的数据中的知识。 Stamo主要基于自我训练，这使其与任何EL功能或EL模型都灵活地集成在一起，但也使其很容易遭受由错误标签的数据引起的错误加强问题。我们认为自我训练是相对于EES的EL特征，而不是一些试图将错误标签的数据抛弃的常见自我训练策略，而是提出了内部插槽和斜率优化的多重优化过程，以减轻误差加强问题隐含。我们构建了涉及选定的EE的两个EL数据集，以评估EES获得的EL特征的质量，实验结果表明，我们的方法显着优于其他学习EL特征的基线方法。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

Structured tabular data exist across nearly all fields. Reasoning task over these data aims to answer questions or determine the truthiness of hypothesis sentences by understanding the semantic meaning of a table. While previous works have devoted significant efforts to the tabular reasoning task, they always assume there are sufficient labeled data. However, constructing reasoning samples over tables (and related text) is labor-intensive, especially when the reasoning process is complex. When labeled data is insufficient, the performance of models will suffer an unendurable decline. In this paper, we propose a unified framework for unsupervised complex tabular reasoning (UCTR), which generates sufficient and diverse synthetic data with complex logic for tabular reasoning tasks, assuming no human-annotated data at all. We first utilize a random sampling strategy to collect diverse programs of different types and execute them on tables based on a "Program-Executor" module. To bridge the gap between the programs and natural language sentences, we design a powerful "NL-Generator" module to generate natural language sentences with complex logic from these programs. Since a table often occurs with its surrounding texts, we further propose novel "Table-to-Text" and "Text-to-Table" operators to handle joint table-text reasoning scenarios. This way, we can adequately exploit the unlabeled table resources to obtain a well-performed reasoning model under an unsupervised setting. Our experiments cover different tasks (question answering and fact verification) and different domains (general and specific), showing that our unsupervised methods can achieve at most 93% performance compared to supervised models. We also find that it can substantially boost the supervised performance in low-resourced domains as a data augmentation technique. Our code is available at https://github.com/leezythu/UCTR.

在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。

实体联系面临着重大的挑战，例如多产的变化和普遍的歧义，特别是在具有无数实体的高价值领域。标准分类方法遭受注释瓶颈，无法有效处理看不见的实体。零拍实体链接已成为概括的方向，以概括新实体，但它仍然需要在所有实体的培训和规范描述期间提到示例，这两者都很少在维基百科外面可用。在本文中，我们通过利用易于提供的域知识来探索实体链接的知识丰富的自我监督（$ \ tt kriss $）。在培训中，它会使用域本体进行未标记的文本生成自我监控的提到示例，并使用对比学习列举一个上下文编码器。出于推理，它将自我监督的提到作为每个实体的原型，并通过将测试提及映射到最相似的原型来进行链接。我们的方法归入零拍摄和少量拍摄方法，并且可以轻松地包含实体说明和黄金如果可用的标签。使用Biomedicine作为案例研究，我们对跨越生物医学文献和临床票据的七个标准数据集进行了广泛的实验。不使用任何标记信息，我们的方法为400万UMLS实体提供$ \ TT Krissbert $，这是一个Uncer Intity Linker，它可以获得新的艺术状态，优先于先前的自我监督方法，高度为20多个绝对点。

Automated Program Repair (APR) is defined as the process of fixing a bug/defect in the source code, by an automated tool. APR tools have recently experienced promising results by leveraging state-of-the-art Neural Language Processing (NLP) techniques. APR tools such as TFix and CodeXGLUE combine text-to-text transformers with software-specific techniques are outperforming alternatives, these days. However, in most APR studies the train and test sets are chosen from the same set of projects. In reality, however, APR models are meant to be generalizable to new and different projects. Therefore, there is a potential threat that reported APR models with high effectiveness perform poorly when the characteristics of the new project or its bugs are different than the training set's(Domain Shift). In this study, we first define and measure the domain shift problem in automated program repair. Then, we then propose a domain adaptation framework that can adapt an APR model for a given target project. We conduct an empirical study with three domain adaptation methods FullFineTuning, TuningWithLightWeightAdapterLayers, and CurriculumLearning using two state-of-the-art domain adaptation tools (TFix and CodeXGLUE) and two APR models on 611 bugs from 19 projects. The results show that our proposed framework can improve the effectiveness of TFix by 13.05% and CodeXGLUE by 23.4%. Another contribution of this study is the proposal of a data synthesis method to address the lack of labelled data in APR. We leverage transformers to create a bug generator model. We use the generated synthetic data to domain adapt TFix and CodeXGLUE on the projects with no data (Zero-shot learning), which results in an average improvement of 5.76% and 24.42% for TFix and CodeXGLUE, respectively.

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

知识密集型语言任务（苏格兰信）通常需要大量信息来提供正确的答案。解决此问题的一种流行范式是将搜索系统与机器读取器相结合，前者检索支持证据，后者检查它们以产生答案。最近，读者组成部分在大规模预培养的生成模型的帮助下见证了重大进展。同时，搜索组件中的大多数现有解决方案都依赖于传统的``索引 - retrieve-then-Rank''管道，该管道遭受了巨大的内存足迹和端到端优化的困难。受到最新构建基于模型的IR模型的努力的启发，我们建议用新颖的单步生成模型替换传统的多步搜索管道，该模型可以极大地简化搜索过程并以端到端的方式进行优化。我们表明，可以通过一组经过适当设计的预训练任务来学习强大的生成检索模型，并被采用以通过进一步的微调来改善各种下游苏格兰短裙任务。我们将预训练的生成检索模型命名为Copusbrain，因为有关该语料库的所有信息均以其参数进行编码，而无需构造其他索引。经验结果表明，在苏格兰语基准上的检索任务并建立了新的最新性能，Copusbrain可以极大地超过强大的基准。我们还表明，在零农源和低资源设置下，科体班运行良好。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

命名实体识别（ner）是从文本中提取特定类型的命名实体的任务。当前的NER模型往往依赖于人类注释的数据集，要求在目标领域和实体上广泛参与专业知识。这项工作介绍了一个询问生成的方法，它通过询问反映实体类型的需求的简单自然语言问题来自动生成NER数据集（例如，哪种疾病？）到开放式域问题应答系统。不使用任何域中资源（即，培训句子，标签或域名词典），我们的模型在我们生成的数据集上仅培训了，这在很大程度上超过了四个不同域的六个基准测试的弱势监督模型。令人惊讶的是，在NCBI疾病中，我们的模型达到75.5 F1得分，甚至优于以前的最佳弱监督模型4.1 F1得分，它利用域专家提供的丰富的域名词典。制定具有自然语言的NER的需求，也允许我们为诸如奖项等细粒度实体类型构建NER模型，其中我们的模型甚至优于完全监督模型。在三个少量的NER基准测试中，我们的模型实现了新的最先进的性能。

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

查询聚焦的文本摘要（QFTS）任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中，我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功，我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应，我们使用预先训练的变压器的摘要模型应用了各种技术，包括转移学习，弱监督学习和远程监督。六个数据集的广泛实验表明，我们所提出的方法非常有效地为QFTS任务产生抽象摘要，同时在一组自动和人类评估指标上设置新的最先进的结果。

事实证明，将先验知识纳入预训练的语言模型中对知识驱动的NLP任务有效，例如实体键入和关系提取。当前的培训程序通常通过使用知识掩盖，知识融合和知识更换将外部知识注入模型。但是，输入句子中包含的事实信息尚未完全开采，并且尚未严格检查注射的外部知识。结果，无法完全利用上下文信息，并将引入额外的噪音，或者注入的知识量受到限制。为了解决这些问题，我们提出了MLRIP，该MLRIP修改了Ernie-Baidu提出的知识掩盖策略，并引入了两阶段的实体替代策略。进行全面分析的广泛实验说明了MLRIP在军事知识驱动的NLP任务中基于BERT的模型的优势。

知识图完成（KGC）最近已扩展到多个知识图（kg）结构，启动了新的研究方向，例如静态kgc，颞kgc和少数kgc。以前的作品通常设计了KGC模型与特定的图形结构紧密结合，这不可避免地会导致两个缺点：1）结构特异性KGC模型是互不兼容的； 2）现有的KGC方法不适合新兴KG。在本文中，我们提出了KG-S2S，即SEQ2SEQ生成框架，可以通过将KG事实的表示形式统一为“平坦”文本，无论其原始形式如何，可以通过将KG事实的表示来解决不同的语言图形结构。为了纠正“平面”文本的KG结构信息损失，我们进一步改善了实体和关系的输入表示，以及KG-S2中的推理算法。五个基准测试的实验表明，KG-S2S的表现优于许多竞争基线，从而创造了新的最新性能。最后，我们分析了KG-S2S在不同关系和非实体世代上的能力。

本文着重于几次NLP任务的文本数据增强。现有的数据增强算法要么使用一个小型培训集来生成新的合成数据，要么利用与任务无关的启发式规则（例如，同义词替代）或微调通用预训练的语言模型（例如GPT2）。因此，这些方法具有特定于任务的知识，并且仅限于在简单任务中为弱基线产生低质量的合成数据。为了解决这个问题，我们提出了知识混合数据增强模型（KNOWDA）：使用知识混合培训（KOMT）在不同的NLP任务的混合物上预测的编码器LM。 KOMT是一种培训程序，将各种异质NLP任务的输入示例重新定义为统一的文本到文本格式，并采用不同粒度的目标，以学习生成部分或完整的样本。在KOMT的帮助下，Knowda可以隐含地将所需的特定于任务的知识从任务的混合中隐含地结合在一起，并通过一些给定的实例迅速掌握目标任务的固有综合定律。据我们所知，我们是首次尝试将任务数量扩展到多任务共同培训以进行数据扩展。广泛的实验表明，i）Knowda成功地通过少量基准的基准成功地提高了Albert和Deberta的表现，表现优于先前的最新数据增强基线； ii）KNOWDA还可以改善少数弹药任务的模型性能，这是KOMT中未包含的固定任务类型。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。