大多数现有的插槽填充模型倾向于记住实体的固有模式和培训数据中相应的上下文。但是，这些模型在暴露于口语语言扰动或实践中的变化时会导致系统故障或不良输出。我们提出了一种扰动的语义结构意识转移方法，用于训练扰动插槽填充模型。具体而言，我们介绍了两种基于传销的培训策略，以分别从无监督的语言扰动语料库中分别学习上下文语义结构和单词分布。然后，我们将从上游训练过程学到的语义知识转移到原始样本中，并通过一致性处理过滤生成的数据。这些程序旨在增强老虎机填充模型的鲁棒性。实验结果表明，我们的方法始终优于先前的基本方法，并获得强有力的概括，同时阻止模型记住实体和环境的固有模式。

了解用户的意图并从句子中识别出语义实体，即自然语言理解（NLU），是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的注释数据来培训模型。现有有关文本增强的研究并没有充分考虑实体，因此对于NLU任务的表现不佳。为了解决这个问题，我们提出了一种新型的NLP数据增强技术，实体意识数据增强（EADA），该技术应用了树结构，实体意识到语法树（EAST），以表示句子与对实体的注意相结合。我们的EADA技术会自动从少量注释的数据中构造东方，然后生成大量的培训实例，以进行意图检测和插槽填充。四个数据集的实验结果表明，该技术在准确性和泛化能力方面显着优于现有数据增强方法。

插槽填充和意图检测是诸如语音助手的会话代理的骨干，是有效的研究领域。尽管公开的基准上的最先进的技术，但令人印象深刻的性能，他们概括到现实情景的能力尚未得到证明。在这项工作中，我们提出了一种自然，一套简单的口语导向转换，应用于数据集的评估集，在保留话语的语义时引入人类口语变化。我们将大自然应用于共同的插槽填充和意图检测基准，并证明了自然集合的标准评估的简单扰动可以显着降低模型性能。通过我们的实验，我们证明了当自然运营商应用于评估流行基准的评估集时，模型精度可以降低至多40％。

事实证明，将先验知识纳入预训练的语言模型中对知识驱动的NLP任务有效，例如实体键入和关系提取。当前的培训程序通常通过使用知识掩盖，知识融合和知识更换将外部知识注入模型。但是，输入句子中包含的事实信息尚未完全开采，并且尚未严格检查注射的外部知识。结果，无法完全利用上下文信息，并将引入额外的噪音，或者注入的知识量受到限制。为了解决这些问题，我们提出了MLRIP，该MLRIP修改了Ernie-Baidu提出的知识掩盖策略，并引入了两阶段的实体替代策略。进行全面分析的广泛实验说明了MLRIP在军事知识驱动的NLP任务中基于BERT的模型的优势。

预训练的语言模型在对话任务上取得了长足的进步。但是，这些模型通常在表面对话文本上进行训练，因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示（AMR）作为预训练模型的明确语义知识，以捕获预训练期间对话中的核心语义信息。特别是，我们提出了一个基于语义的前训练框架，该框架通过三个任务来扩展标准的预训练框架（Devlin等，2019）。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知，我们是第一个利用深层语义表示进行对话预训练的人。

对话状态跟踪（DST）是对话系统的核心子模块，旨在从系统和用户话语中提取适当的信念状态（域槽值）。大多数先前的研究试图通过增加预训练模型的大小或使用其他功能（例如图形关系）来提高性能。在这项研究中，我们建议使用实体自适应预训练（DSTEA）进行对话状态跟踪，该系统在该系统中，句子中的关键实体受到DST模型的编码者的训练。 DSTEA通过四种方式从输入对话中提取重要实体，然后应用选择性知识掩盖以有效地训练模型。尽管DSTEA仅进行预训练而没有直接向DST模型注入更多知识，但它的性能比Multiwoz 2.0、2.1和2.2上最著名的基准模型更好。 DSTEA的有效性通过有关实体类型和不同自适应设置的各种比较实验得到了验证。

最近延伸预留下芬特的神经模型的神经模型继续实现新的最新导致对话状态跟踪（DST）基准的联合目标准确性（JGA）。但是，我们调查了他们的稳健性，因为它们在JGA中显示了急剧下降，以便与现实扰动的话语或对话框流动的对话。通过清单（Ribeiro等，2020），我们设计了一个名为CheckDST的度量集合，促进DST模型的比较，通过测试具有增强测试集的众所周知的弱点来促进革命性的全面尺寸。我们使用CheckDST评估最近的DST模型，并认为模型应该更全面地评估，而不是在JGA上追求最先进的JGA，因为更高的JGA不保证更好的整体稳健性。我们发现基于跨度的分类模型是有弹性的，不合适的命名实体，但对语言品种不强大，而那些基于自回归语言模型的人概括为语言变化，但往往会记住命名实体并往往是幻觉。由于它们各自的弱点，两种方法都不适合现实世界部署。我们认为CheckDst是未来研究的一个有用指南，用于开发面向任务的对话模型，体现了各种方法的优势。

具有对比性学习目标的预训练方法在对话了解任务中表现出了显着的成功。但是，当前的对比学习仅将自调查的对话样本视为正样本，并将所有其他对话样本视为负面样本，即使在语义上相关的对话框中，也会强制执行不同的表示。在本文中，我们提出了一个树木结构化的预培训对话模型Space-2，该模型从有限标记的对话框和大规模的无标记的对话框COLPORA通过半监督的对比度预培训来学习对话框表示。具体而言，我们首先定义一个通用的语义树结构（STS），以统一不同对话框数据集的注释模式，以便可以利用所有标记数据中存储的丰富结构信息。然后，我们提出了一个新颖的多视图分数功能，以增加共享类似STS的所有可能对话框的相关性，并且在监督的对比预训练期间仅推开其他完全不同的对话框。为了充分利用未标记的对话，还增加了基本的自我监督对比损失，以完善学习的表示。实验表明，我们的方法可以在DialogLue基准测试中实现新的最新结果，该基准由七个数据集和四个流行的对话框组成。为了获得可重复性，我们在https://github.com/alibabaresearch/damo-convai/tree/main/main/space-2上发布代码和数据。

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

意图分类（IC）和插槽标签（SL）模型，它形成对话系统的基础，通常会在实际字环境中遇到噪声数据。在这项工作中，我们调查了强大的IC / SL模型是如何嘈杂的数据。我们在生产人机对话中发现七种常见噪声类型（缩写，套管，拼写错误，形态变体，释义，标点符号和同义词），我们收集并公开发布测试套件。在此测试套件上，我们表明普通噪声类型显着降低了最先进的基于伯特IC / SL模型的IC精度和SL F1性能。通过利用串噪声稳健性转移 - 对一种噪声类型的培训来提高另一种噪声类型的鲁棒性 - 我们设计综合数据增强方法，以增加所有七种噪声类型的模型性能+ 10.8％的IC精度和+15平均SL F1点。据我们所知，这是第一个展示单个IC / SL模型的工作，这是一个广泛的噪声现象。

本文介绍了端到端以任务为导向的对话（TOD）的本体学预验证的语言模型（OPAL）。与Chit-Chat对话模型不同，面向任务的对话模型至少满足两个特定于任务的模块：对话状态跟踪器（DST）和响应生成器（RG）。对话状态由域插槽值三元组成，它们被认为是用户搜索与域相关数据库的约束。带有带注释的对话状态的大规模面向任务的对话数据通常是无法访问的。它可以防止针对任务对话的审慎语言模型的开发。我们提出了一种简单而有效的预处理方法来减轻此问题，该方法由两个预审进阶段组成。第一阶段是在大规模上下文文本数据上预处理，其中文本的结构化信息是由信息提取工具提取的。为了弥合训练方法和下游任务之间的差距，我们设计了两个预训练的任务：类似于本体的三重恢复和下一文本生成，分别模拟了DST和RG。第二阶段是在TOD数据上微调验证的模型。实验结果表明，即使没有CAMREST676和MULTIWOZ基准的任何TOD数据，我们提出的方法即使没有任何TOD数据，我们提出的方法也可以提高竞争性能。

作为有效的策略，数据增强（DA）减轻了深度学习技术可能失败的数据稀缺方案。它广泛应用于计算机视觉，然后引入自然语言处理并实现了许多任务的改进。DA方法的主要重点之一是提高培训数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在本调查中，我们根据增强数据的多样性，将DA方法框架为三类，包括释义，注释和采样。我们的论文根据上述类别，详细分析了DA方法。此外，我们还在NLP任务中介绍了他们的应用以及挑战。

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

在这项工作中，我们探索如何学习专用的语言模型，旨在学习从文本文件中学习关键词的丰富表示。我们在判别和生成设置中进行预训练变压器语言模型（LMS）的不同掩蔽策略。在歧视性设定中，我们引入了一种新的预训练目标 - 关键边界，用替换（kbir）infifiling，在使用Kbir预先训练的LM进行微调时显示出在Sota上的性能（F1中高达9.26点）的大量增益关键酶提取的任务。在生成设置中，我们为BART - 键盘介绍了一个新的预训练设置，可再现与CATSeq格式中的输入文本相关的关键字，而不是Denoised原始输入。这也导致在关键词中的性能（F1 @ M）中的性能（高达4.33点），用于关键正版生成。此外，我们还微调了在命名实体识别（ner），问题应答（qa），关系提取（重新），抽象摘要和达到与SOTA的可比性表现的预训练的语言模型，表明学习丰富的代表关键词确实有利于许多其他基本的NLP任务。

The rapid development of aspect-based sentiment analysis (ABSA) within recent decades shows great potential for real-world society. The current ABSA works, however, are mostly limited to the scenario of a single text piece, leaving the study in dialogue contexts unexplored. In this work, we introduce a novel task of conversational aspect-based sentiment quadruple analysis, namely DiaASQ, aiming to detect the sentiment quadruple of target-aspect-opinion-sentiment in a dialogue. DiaASQ bridges the gap between fine-grained sentiment analysis and conversational opinion mining. We manually construct a large-scale, high-quality Chinese dataset and also obtain the English version dataset via manual translation. We deliberately propose a neural model to benchmark the task. It advances in effectively performing end-to-end quadruple prediction and manages to incorporate rich dialogue-specific and discourse feature representations for better cross-utterance quadruple extraction. We finally point out several potential future works to facilitate the follow-up research of this new task. The DiaASQ data is open at https://github.com/unikcc/DiaASQ

几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

目前对语言理解（SLU）的研究重大仅限于简单的设置：基于纯文本的SLU，它将用户话语为输入并生成其相应的语义帧（例如，意图和插槽）。不幸的是，当话语是语义模糊的话语时，这种简单的设置可能无法在复杂的真实情景中工作，这不能通过基于文本的SLU模型来实现的。在本文中，我们首先介绍了一种新的和重要任务，基于个人资料的口语语言理解（ProSlu），这需要不仅依赖于纯文本的模型，而且需要支持的资料配置文件，以预测正确的意图和插槽。为此，我们进一步引入了一个具有超过5K的大规模的汉语数据集及其相应的支持简档信息（知识图（kg），用户配置文件（向上），上下文意识（CA））。此外，我们还评估了多个最先进的基线模型，并探索多级知识适配器，以有效地结合资料信息。实验结果表明，当话语是语义模糊的，我们所提出的框架可以有效地融合了句子级意图检测和令牌级槽填充的支持信息，所以所有现有的基于文本的SLU模型都无法工作。最后，我们总结了关键挑战，为未来方向提供了新的观点，希望促进研究。