这项工作提出了一个新的对话数据集，即cookdial，该数据集促进了对任务知识了解的面向任务的对话系统的研究。该语料库包含260个以人类对任务为导向的对话框，其中代理给出了配方文档，指导用户烹饪菜肴。 Cookdial中的对话框展示了两个独特的功能：（i）对话流与支持文档之间的程序对齐； （ii）复杂的代理决策涉及分割长句子，解释硬说明并在对话框上下文中解决核心。此外，我们在假定的面向任务的对话框系统中确定了三个具有挑战性的（子）任务：（1）用户问题理解，（2）代理操作框架预测和（3）代理响应生成。对于这些任务中的每一个，我们都会开发一个神经基线模型，我们在cookdial数据集上进行了评估。我们公开发布烹饪数据集，包括对话框和食谱文档的丰富注释，以刺激对特定于域的文档接地对话框系统的进一步研究。

如何有效地构建和使用对话数据，以及如何在不同域中在不同域中部署模型可能是建立面向任务的对话系统的两个关键问题。在本文中，我们提出了一种新颖的手动指导对话方案，以减轻这些问题，在该方案中，代理商从对话和手册中学习任务。该手册是一个非结构化的文本文档，可指导代理在对话过程中与用户和数据库进行交互。我们提出的方案降低了对话模型对细粒领域本体的依赖性，并使它们更灵活以适应各种领域。然后，我们为完全注销的多域数据集Magdial贡献以支持我们的方案。它介绍了三个对话建模子任务：指令匹配，参数填充和响应生成。对这些子任务进行建模与人类代理的行为模式一致。实验表明，手动引导对话方案提高了构建对话系统中的数据效率和域可伸缩性。数据集和基准将公开用于促进未来的研究。

体现的代理需要能够在自然语言中互动理解任务描述，并提出适当的后续问题以获取必要的信息，以有效地成功完成各种用户的任务。在这项工作中，我们提出了一组对话框，用于建模此类对话框，并注释教学数据集，其中包括3,000多个位置，以任务为导向的对话（总计包含39.5k个话语），并具有对话框ACT。 Teach-da是对Dialog ACT的第一个大型数据集注释，用于具体任务完成。此外，我们在培训模型中证明了该注释的数据集在标记给定话语的对话框行为中的使用，预测给定对话框历史记录的下一个响应的对话框行为，并使用对话框行为指导代理商的非第二语言行为。特别是，我们对对话记录任务的教学执行执行的实验，该模型预测在体现任务完成环境中要执行的低级操作的顺序，证明对话框行为可以将最终任务成功提高2分，以提高最终任务成功率到没有对话行为的系统。

问答系统被认为是流行且经常有效的信息在网络上寻求信息的手段。在这样的系统中，寻求信息者可以通过自然语言提出问题来获得对他们的查询的简短回应。交互式问题回答是一种最近提出且日益流行的解决方案，它位于问答和对话系统的交集。一方面，用户可以以普通语言提出问题，并找到对她的询问的实际回答；另一方面，如果在初始请求中有多个可能的答复，很少或歧义，则系统可以将问题交通会话延长到对话中。通过允许用户提出更多问题，交互式问题回答使用户能够与系统动态互动并获得更精确的结果。这项调查提供了有关当前文献中普遍存在的交互式提问方法的详细概述。它首先要解释提问系统的基本原理，从而定义新的符号和分类法，以将所有已确定的作品结合在统一框架内。然后，根据提出的方法，评估方法和数据集/应用程序域来介绍和检查有关交互式问题解答系统的审查已发表的工作。我们还描述了围绕社区提出的特定任务和问题的趋势，从而阐明了学者的未来利益。 GitHub页面的综合综合了本文献研究中涵盖的所有主要主题，我们的工作得到了进一步的支持。 https://sisinflab.github.io/interactive-question-answering-systems-survey/

最近，通过“向导”模拟游戏收集了一类以任务为导向的对话（TOD）数据集。但是，《巫师》数据实际上是模拟的数据，因此与现实生活中的对话根本不同，这些对话更加嘈杂和随意。最近，Seretod挑战赛是组织的，并发布了Mobilecs数据集，该数据集由来自中国移动的真实用户和客户服务人员之间的真实世界对话框组成。基于Mobilecs数据集，Seretod挑战具有两个任务，不仅评估了对话系统本身的构建，而且还检查了对话框成绩单中的信息提取，这对于建立TOD的知识库至关重要。本文主要介绍了Mobilecs数据集对这两项任务的基线研究。我们介绍了如何构建两个基线，遇到的问题以及结果。我们预计基线可以促进令人兴奋的未来研究，以建立针对现实生活任务的人类机器人对话系统。

对话式AI中的现有研究主要将面向任务的对话框（TOD）和问题答案（QA）视为单独的任务。为了构建可以完成用户任务和支持信息寻求信息的对话代理的目标，构建一个可以访问各种外部知识的系统，构建一个处理TOD和QA的系统非常重要。在这项工作中，我们提出了一项新任务，开放式TOD（OB-TOD），将TOD与QA任务相结合，并将外部知识源扩展到包括明确的知识源（例如Web）和隐式知识源（例如，例如，预训练的语言模型）。我们创建了一个新的数据集ob-multiwoz，在这里，我们在其中丰富了Tod会议，并使用类似QA的信息寻求基于外部知识的经验。我们提出了一个统一的模型Opera（开放式末端到端任务对话框），可以适当地访问明确和隐性的外部知识，以解决定义的任务。实验结果表明，与闭环基线相比，Opera的表现出色，并说明了两种知识类型的价值。

Even though machine learning has become the major scene in dialogue research community, the real breakthrough has been blocked by the scale of data available. To address this fundamental obstacle, we introduce the Multi-Domain Wizard-of-Oz dataset (MultiWOZ), a fully-labeled collection of human-human written conversations spanning over multiple domains and topics. At a size of 10k dialogues, it is at least one order of magnitude larger than all previous annotated task-oriented corpora. The contribution of this work apart from the open-sourced dataset labelled with dialogue belief states and dialogue actions is two-fold: firstly, a detailed description of the data collection procedure along with a summary of data structure and analysis is provided. The proposed data-collection pipeline is entirely based on crowd-sourcing without the need of hiring professional annotators; secondly, a set of benchmark results of belief tracking, dialogue act and response generation is reported, which shows the usability of the data and sets a baseline for future studies.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

在寻求信息的对话中，用户与代理商进行对话，以提出一系列通常可以不足或过度指定的问题。理想的代理商首先将通过搜索其基本知识来源，然后与用户进行适当互动以解决它，从而确定他们处于这种情况。但是，大多数现有研究都无法或人为地纳入此类代理端计划。在这项工作中，我们介绍了Inscit（发音为Insight），这是一种用于与混合互动相互作用的信息寻求对话的数据集。它包含从805个人类对话中进行的4.7k用户代理转弯，代理商对Wikipedia进行搜索，并要求澄清或提供相关信息以解决用户查询。我们定义了两个子任务，即证据通过识别和响应产生，以及一种新的人类评估协议来评估模型绩效。我们根据对话知识识别和开放域问题的最新模型报告了两个强大的基线的结果。这两种模型都显着不足，并且没有产生连贯和信息丰富的反应，这表明未来的研究有足够的改进空间。

我们在面向任务为导向的对话框（TOD）的端到端学习中提出了一种新问题，其中对话系统模仿故障排除代理，该故障排除代理通过诊断其问题（例如，汽车而未启动）帮助用户。这些对话框基于特定于域的流程图，该代理在对话期间应该遵循代理。我们的任务暴露了神经TOD的新颖技术挑战，例如在没有显式注释的情况下对流程图的话语接地，当用户询问澄清问题时，提及额外的手动页面，以及在测试时间遵循看不见的流程图。我们释放由2,738个对话框组成的数据集（浮雕），该对话框为12个不同的故障排除流程图。我们还设计了一个神经模型，扑腾，它使用检索增强的生成架构来训练对话框。我们的实验发现，Flonet可以对未来的流程图进行零射流传输，并为未来的研究设定强大的基线。

Training dialogue systems often entails dealing with noisy training examples and unexpected user inputs. Despite their prevalence, there currently lacks an accurate survey of dialogue noise, nor is there a clear sense of the impact of each noise type on task performance. This paper addresses this gap by first constructing a taxonomy of noise encountered by dialogue systems. In addition, we run a series of experiments to show how different models behave when subjected to varying levels of noise and types of noise. Our results reveal that models are quite robust to label errors commonly tackled by existing denoising algorithms, but that performance suffers from dialogue-specific noise. Driven by these observations, we design a data cleaning algorithm specialized for conversational settings and apply it as a proof-of-concept for targeted dialogue denoising.

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

随着近期自然语言生成（NLG）模型的各种应用程序的改进，它变得必须具有识别和评估NLG输出是否仅共享关于外部世界的可验证信息的手段。在这项工作中，我们提出了一个归属于识别的来源（AIS）的新评估框架，用于评估自然语言生成模型的输出，当这种输出涉及外部世界时。我们首先定义AIS，并引入两级注释管道，用于允许注释器根据AIS指南适当地评估模型输出。通过人为评估研究，我们在三个代数据集（会话QA域中的两个中和总结一下，概括地验证了这种方法，表明AIS可以作为测量模型生成的语句是否支持基础来源的常见框架。我们释放人类评估研究指南。

Spoken language understanding (SLU) tasks have been studied for many decades in the speech research community, but have not received as much attention as lower-level tasks like speech and speaker recognition. In particular, there are not nearly as many SLU task benchmarks, and many of the existing ones use data that is not freely available to all researchers. Recent work has begun to introduce such benchmark datasets for several tasks. In this work, we introduce several new annotated SLU benchmark tasks based on freely available speech data, which complement existing benchmarks and address gaps in the SLU evaluation landscape. We contribute four tasks: question answering and summarization involve inference over longer speech sequences; named entity localization addresses the speech-specific task of locating the targeted content in the signal; dialog act classification identifies the function of a given speech utterance. We follow the blueprint of the Spoken Language Understanding Evaluation (SLUE) benchmark suite. In order to facilitate the development of SLU models that leverage the success of pre-trained speech representations, we will be publishing for each task (i) annotations for a relatively small fine-tuning set, (ii) annotated development and test sets, and (iii) baseline models for easy reproducibility and comparisons. In this work, we present the details of data collection and annotation and the performance of the baseline models. We also perform sensitivity analysis of pipeline models' performance (speech recognizer + text model) to the speech recognition accuracy, using more than 20 state-of-the-art speech recognition models.

以任务为导向的对话系统（TDSS）主要在离线设置或人类评估中评估。评估通常仅限于单转或非常耗时。作为替代方案，模拟用户行为的用户模拟器使我们能够考虑一组广泛的用户目标，以生成类似人类的对话以进行模拟评估。使用现有的用户模拟器来评估TDSS是具有挑战性的，因为用户模拟器主要旨在优化TDSS的对话策略，并且评估功能有限。此外，对用户模拟器的评估是一个开放的挑战。在这项工作中，我们提出了一个用于端到端TDS评估的隐喻用户模拟器，如果它在与系统的交互中模拟用户的类似思维，则定义模拟器是隐喻的。我们还提出了一个基于测试人员的评估框架，以生成变体，即具有不同功能的对话系统。我们的用户模拟器构建了一个隐喻的用户模型，该模型通过参考遇到新项目时的先验知识来帮助模拟器进行推理。我们通过检查模拟器与变体之间的模拟相互作用来估计模拟器的质量。我们的实验是使用三个TDS数据集进行的。与基于议程的模拟器和三个数据集上的SEQ2SEQ模型相比，隐喻用户模拟器与手动评估的一致性更好。我们的测试人员框架展示了效率，并且可以更好地概括和可扩展性，因为它可以适用于多个域中的对话和多个任务，例如对话建议和电子商务对话。

由于人类参与者的参与，收集培训对话系统的数据可能非常昂贵，并且需要广泛的注释。特别是在文档接地的对话系统中，人类专家需要仔细阅读非结构化文件以回答用户的问题。结果，现有的文档接地对话对话数据集相对较小，并且妨碍了对话系统的有效培训。在本文中，我们提出了一种通过生成对话模型在文档上接地的自动数据增强技术。对话模型由用户BOT和代理机器人组成，可以在给定输入文档的情况下合成不同的对话，然后用于训练下游模型。在补充原始数据集时，我们的方法可以实现对传统数据增强方法的显着改进。我们还在低资源环境中实现了良好的性能。

与具有粗粒度信息的Crosswoz（中文）和多发性（英文）数据集相比，没有数据集，可以正确处理细粒度和分层级别信息。在本文中，我们在香港发布了一份粤语知识驱动的对话数据集（KDDRES），将多转谈话中的信息放在一个特定的餐厅。我们的语料库包含0.8k次谈话，它来自10家餐厅，提供不同地区的各种风格。除此之外，我们还设计了细粒度的插槽和意图，以更好地捕获语义信息。基准实验和数据统计分析显示了我们数据集的多样性和丰富的注释。我们认为，KDDRE的出版可以是当前对话数据集的必要补充，以及社会中小企业（中小企业）更适合和更有价值，如为每家餐馆建立定制的对话系统。语料库和基准模型是公开可用的。

在过去的十年中，对对话系统的兴趣已经大大增长。从扩展过程中，也有兴趣开发和改进意图分类和插槽填充模型，这是两个组件，这些组件通常在以任务为导向的对话框系统中使用。此外，良好的评估基准对于帮助比较和分析结合此类模型的系统很重要。不幸的是，该领域的许多文献仅限于对相对较少的基准数据集的分析。为了促进针对任务的对话系统的更强大的分析，我们对意图分类和插槽填充任务进行了公开可用数据集的调查。我们分类每个数据集的重要特征，并就每个数据集的适用性，优势和劣势进行讨论。我们的目标是，这项调查有助于提高这些数据集的可访问性，我们希望它们能够在未来评估意图分类和填充插槽模型中用于以任务为导向的对话框系统。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。