Conversation designers continue to face significant obstacles when creating production quality task-oriented dialogue systems. The complexity and cost involved in schema development and data collection is often a major barrier for such designers, limiting their ability to create natural, user-friendly experiences. We frame the classification of user intent as the generation of a canonical form, a lightweight semantic representation using natural language. We show that canonical forms offer a promising alternative to traditional methods for intent classification. By tuning soft prompts for a frozen large language model, we show that canonical forms generalize very well to new, unseen domains in a zero- or few-shot setting. The method is also sample-efficient, reducing the complexity and effort of developing new task-oriented dialogue domains.

Virtual assistants such as Google Assistant, Alexa and Siri provide a conversational interface to a large number of services and APIs spanning multiple domains. Such systems need to support an ever-increasing number of services with possibly overlapping functionality. Furthermore, some of these services have little to no training data available. Existing public datasets for task-oriented dialogue do not sufficiently capture these challenges since they cover few domains and assume a single static ontology per domain. In this work, we introduce the the Schema-Guided Dialogue (SGD) dataset, containing over 16k multi-domain conversations spanning 16 domains. Our dataset exceeds the existing task-oriented dialogue corpora in scale, while also highlighting the challenges associated with building large-scale virtual assistants. It provides a challenging testbed for a number of tasks including language understanding, slot filling, dialogue state tracking and response generation. Along the same lines, we present a schema-guided paradigm for task-oriented dialogue, in which predictions are made over a dynamic set of intents and slots, provided as input, using their natural language descriptions. This allows a single dialogue system to easily support a large number of services and facilitates simple integration of new services without requiring additional training data. Building upon the proposed paradigm, we release a model for dialogue state tracking capable of zero-shot generalization to new APIs, while remaining competitive in the regular setting.

We explore the use of large language models (LLMs) for zero-shot semantic parsing. Semantic parsing involves mapping natural language utterances to task-specific meaning representations. Language models are generally trained on the publicly available text and code and cannot be expected to directly generalize to domain-specific parsing tasks in a zero-shot setting. In this work, we propose ZEROTOP, a zero-shot task-oriented parsing method that decomposes a semantic parsing problem into a set of abstractive and extractive question-answering (QA) problems, enabling us to leverage the ability of LLMs to zero-shot answer reading comprehension questions. For each utterance, we prompt the LLM with questions corresponding to its top-level intent and a set of slots and use the LLM generations to construct the target meaning representation. We observe that current LLMs fail to detect unanswerable questions; and as a result, cannot handle questions corresponding to missing slots. To address this problem, we fine-tune a language model on public QA datasets using synthetic negative samples. Experimental results show that our QA-based decomposition paired with the fine-tuned LLM can correctly parse ~16% of utterances in the MTOP dataset without requiring any annotated data.

意图发现是NLP的一项基本任务，它与各种工业应用越来越相关（Quarteroni 2018）。主要的挑战在于需要从投入性话语中识别出新颖的范围。在此，我们提出了Z-Bert-A，这是一种依赖变压器结构的两阶段方法（Vaswani等人，2017; Devlin等人，2018年），用适配器进行了微调（Pfeiffer等，2020），，），等等。最初接受了自然语言推断（NLI）的培训，后来在零射击设置中申请了未知的内部分类。在我们的评估中，我们首先在已知类别的自适应微调后分析模型的质量。其次，我们将其性能铸造意图分类评估为NLI任务。最后，我们在看不见的类别上测试了模型的零射击性能，以表明Z-Bert-A可以通过产生与地面真实者的语义相似（即使不是平等）的意图，如何有效地执行周期发现。我们的实验表明，Z-Bert-A在两个零射击设置中的表现如何超过各种基线：已知意图分类和看不见的意图发现。拟议的管道具有广泛应用于各种客户服务应用程序的潜力。它可以使用轻巧的模型来实现自动化动态分流，该模型与大型语言模型不同，可以轻松地在各种业务场景中进行部署和缩放。尤其是在考虑具有有限的硬件可用性和性能的设置时，必须进行原始或资源云部署低的设置。 Z-Bert-A可以从单一话语中预测新颖的意图，代表了一种创新的意图发现方法，从而使在线一代的新颖意图能够。该管道可作为可安装的Python软件包获得以下链接：https：//github.com/gt4sd/zberta。

Dialogue State Tracking (DST), a key component of task-oriented conversation systems, represents user intentions by determining the values of pre-defined slots in an ongoing dialogue. Existing approaches use hand-crafted templates and additional slot information to fine-tune and prompt large pre-trained language models and elicit slot values from the dialogue context. Significant manual effort and domain knowledge is required to design effective prompts, limiting the generalizability of these approaches to new domains and tasks. In this work, we propose DiSTRICT, a generalizable in-context tuning approach for DST that retrieves highly relevant training examples for a given dialogue to fine-tune the model without any hand-crafted templates. Experiments with the MultiWOZ benchmark datasets show that DiSTRICT outperforms existing approaches in various zero-shot and few-shot settings using a much smaller model, thereby providing an important advantage for real-world deployments that often have limited resource availability.

我们提出语言学家，这是一种通过微调Alexatm 5B生成带注释数据的方法，用于生成意图分类和插槽标记（IC+ST），这是一种5亿参数的多语言序列到序列（SEQ2SEQ）模型，在灵活的指令上迅速的。在SNIP数据集的10次新颖意图设置中，语言学家超过了最新的方法（反向翻译和示例外推），可以通过宽阔的边距，显示出IC回忆中+1.9点的目标意图的绝对改善ST F1分数和+2.5分。在MATIS ++数据集的零击跨语言设置中，语言学家表现出强大的机器翻译基线，插槽对齐的基线是+4.14的+4.14点在6个语言上绝对在ST F1分数上，同时在IC上匹配IC的性能。最后，我们在用于对话代理IC+ST的内部大规模多语言数据集上验证了我们的结果，并显示了使用背面翻译，释义和插槽目录重新采样采样的基线的显着改进。据我们所知，我们是第一个展示大规模SEQ2SEQ模型的指导微调的人，以控制多语言意图和插槽标记的数据生成的输出。

在与用户进行交流时，以任务为导向的对话系统必须根据对话历史记录在每个回合时跟踪用户的需求。这个称为对话状态跟踪（DST）的过程至关重要，因为它直接告知下游对话政策。近年来，DST引起了很大的兴趣，文本到文本范式作为受欢迎的方法。在本评论论文中，我们首先介绍任务及其相关的数据集。然后，考虑到最近出版的大量出版物，我们确定了2021 - 2022年研究的重点和研究进展。尽管神经方法已经取得了重大进展，但我们认为对话系统（例如概括性）的某些关键方面仍未得到充实。为了激励未来的研究，我们提出了几种研究途径。

为了促进任务对话框中的零拍概括，本文建议语言模型作为数据（LAD）。LAD是创建各种准确的合成数据的范式，该数据传达了必要的结构约束，可用于训练下游神经对话模型。LAD利用GPT-3诱导语言多样性。LAD在意图预测（+15％），插槽填充（+31.4 f-1）和下一个动作预测（+11 F1）上，在零拍设置中获得了显着的性能增长。此外，互动的人类评估表明，与LAD的培训具有在人类对话中的培训竞争。LAD是开源的，并在https://github.com/shikib/lad上获得了代码和数据。

GPT-3显示了培训的大规模语言模型（LMS）的卓越情调学习能力，培训数十亿规模数据。在这里，我们解决了GPT-3纸张报告的一些剩余问题，例如非英语LM，不同大小模型的性能，以及最近引入的迅速优化对上下文学习的效果。为实现这一目标，我们介绍了HyperClova，一个韩国VPT-3的韩国变体训练在一个以韩国为中心的560b标准的令牌。通过我们的韩国特定标记化，HyperClova与我们的培训配置增强，显示了韩国各种下游任务的最先进的上下游零射击和几秒钟学习表演。此外，我们展示了基于及时的学习的性能优势，并演示如何集成到迅速的工程管道中。然后，我们讨论了通过引入Hyperclova Studio，互动提示工程界面向ML的非专家提供AI原型设计能力来实现No Code AI范例的可能性。最后，我们展示了我们具有三个成功的内部应用程序的方法的潜力。

面向目标的对话系统的核心组件之一是意图检测的任务。由于可用的附带话语的稀缺性，目的检测时的几次射门学习是挑战。尽管最近的作品已经提出了使用基于度量的基于优化的方法，但任务仍然在大标签空间中挑战，射击数量小得多。由于在测试阶段，由于两种新颖和看到的课程存在，概括的少量学习更加困难。在这项工作中，我们提出了一种基于自然语言推理的简单有效的方法，不仅解决了几次射击意图检测问题，而且在零射击和广义少数射击学习问题中证明是有用的。我们对许多自然语言理解（NLU）和口语理解（SLU）数据集的大量实验表明了我们的方法的有效性。此外，我们突出了我们基于NLI的方法的设置，通过巨大的利润率优于基线。

用户模拟器（USS）通常用于通过增强学习训练面向任务的对话系统（DSS）。相互作用通常是在语义层面上以提高效率的，但是从语义动作到自然语言仍然存在差距，这会导致培训和部署环境之间的不匹配。在培训期间，将自然语言生成（NLG）模块与USS结合在一起可以部分解决此问题。但是，由于US的策略和NLG是单独优化的，因此在给定的情况下，这些模拟的用户话语可能不够自然。在这项工作中，我们提出了一个基于生成变压器的用户模拟器（Gentus）。 Gentus由编码器结构组成，这意味着它可以共同优化用户策略和自然语言。 Gentus既产生语义动作又产生自然语言话语，从而保留了解释性和增强语言的变化。另外，通过将输入和输出表示为单词序列以及使用大型的预训练语言模型，我们可以在功能表示中实现普遍性。我们通过自动指标和人类评估评估绅士。我们的结果表明，绅士会产生更多的自然语言，并能够以零拍的方式转移到看不见的本体论中。此外，通过加强学习为培训专业用户模拟器打开大门，可以进一步塑造其行为。

对话机器人已广泛应用于客户服务方案，以提供及时且用户友好的体验。这些机器人必须对对话的适当域进行分类，了解用户的意图并产生适当的响应。现有的对话预训练模型仅针对多个对话任务而设计，而忽略了弱监督的客户服务对话中的专家知识。在本文中，我们提出了一个新颖的统一知识提示预训练框架，ufa（\ textbf {u} nified Model \ textbf {f}或\ textbf {a} ll任务），用于客户服务对话。我们将客户服务对话的所有任务作为统一的文本到文本生成任务，并引入知识驱动的及时策略，以共同从不同的对话任务中学习。我们将UFA预先训练UFA，从实用场景中收集的大型中国客户服务语料库中，并对自然语言理解（NLU）和自然语言生成（NLG）基准进行了重大改进。

转移学习技术和预先培训的最新进展，大型上下文编码器在包括对话助理在内的现实应用程序中促进了创新。意图识别的实际需求需要有效的数据使用，并能够不断更新支持意图，采用新的意图并放弃过时的意图。尤其是，对模型的广义零拍范例，该模型受到了可见意图的训练并在可见和看不见的意图上进行了测试，这是新的重要性。在本文中，我们探讨了用于意图识别的广义零拍设置。遵循零击文本分类的最佳实践，我们使用句子对建模方法对待任务。对于看不见的意图，使用意图标签和用户话语，而无需访问外部资源（例如知识库），我们的表现优于先前的最先进的F1量化，最多可达16 \％。进一步的增强包括意图标签的词汇化，可提高性能高达7％。通过使用从其他句子对任务（例如自然语言推论）转移的任务传输，我们会获得其他改进。

在过去的十年中，对对话系统的兴趣已经大大增长。从扩展过程中，也有兴趣开发和改进意图分类和插槽填充模型，这是两个组件，这些组件通常在以任务为导向的对话框系统中使用。此外，良好的评估基准对于帮助比较和分析结合此类模型的系统很重要。不幸的是，该领域的许多文献仅限于对相对较少的基准数据集的分析。为了促进针对任务的对话系统的更强大的分析，我们对意图分类和插槽填充任务进行了公开可用数据集的调查。我们分类每个数据集的重要特征，并就每个数据集的适用性，优势和劣势进行讨论。我们的目标是，这项调查有助于提高这些数据集的可访问性，我们希望它们能够在未来评估意图分类和填充插槽模型中用于以任务为导向的对话框系统。

我们探索使用大型预用语言模型作为少量语义解析器。语义解析中的目标是给定自然语言输入的结构化含义表示。但是，培训语言模型以生成自然语言。为了弥合差距，我们使用语言模型来解释进入一个类似于英语的受控的子宫内的输入，可以自动映射到目标含义表示表示。我们的结果表明，只有少量的数据和较少的代码转换为类似英语的代表，我们为快速启动语义解析器的蓝图导致了对多个社区任务的令人惊讶的有效性能，大大超过基线方法也在相同的限制上培训数据。

我们介绍了BenchClamp，这是一种评估受约束语言模型解析的基准测试，该基准通过通过限制性解码的启动或微调语言模型来基于输入文本的分析来产生语义输出。目前，预审前语言模型的开发人员基于分类，跨度提取和自由文本生成任务。语言解析在语言模型评估中被忽略，因为处理特定于任务的体系结构和表示的复杂性。最近的工作表明，当输出被限制为有效的语义表示时，从提示或微调的语言模型中产生的发电能力可以很好地表现。台式设备包括无上下文的语法，适用于六个具有不同输出含义表示形式的语义解析数据集，以及一个受约束的解码接口，以生成这些语法覆盖的输出。我们为每个数据集提供低，中和高资源分割，从而可以在不同的数据制度下准确比较各种语言模型。我们的基准测试既支持基于及时的学习又支持微调，并为语言模型开发人员提供了易于使用的工具包，以评估语义解析。

由于面向任务对话框（TOD）系统中不同模块的标签成本很高，但实践中的主要挑战是学习具有最少标记数据的不同任务。最近，通过预先训练的语言模型（PLMS）提示方法对TOD的几次射门学习显示了有希望的结果。为了更好地利用PLMS的力量，本文提出了利用额外任务特定指令的全面指导（CINS）。我们在TOD中设计了指令的架构（定义，约束，提示）指令及其定制实现，即在TOD中的三个重要下游任务，即意图分类，对话状态跟踪和自然语言生成。采用序列到序列模型（T5）来解决统一框架中的这三个任务。在具有小验证数据的现实少量学习场景中对这些TOD任务进行了广泛的实验。经验结果表明，所提出的CINS方法一致地改善了Finetune PLM具有原始输入或简短提示的技术。

大型语言模型，提示包含在上下文示例，可以使用很少的培训数据进行语义解析。他们做的更好时，我们制订问题，转述成经典话语，其投隐含的意思表示为控制自然语言类似的表示。直观地，这种模型可以更容易地输出规范的话语，因为它们更接近用于预训练的自然语言。最近，型号也在代码中预先训练，如Openai Codex，在突出中升起。由于准确建模代码需要了解可执行语义。这些模型可能在语义解析中可以证明更擅长。在本文中，我们测试了这个假设，并发现Codex在语义解析比等效GPT-3模型中表现更好。我们发现，不同GPT-3，食品法典委员会执行同样直接针对意思表示时，也许在语义分析使用的意思表示的结构类似代码。

以任务为导向的对话系统通常采用对话状态跟踪器（DST）成功完成对话。最近的最新DST实现依赖于各种服务的模式来改善模型的鲁棒性并处理对新域的零击概括[1]，但是这种方法[2，3]通常需要多个大型变压器模型和长时间输入序列以表现良好。我们提出了一个基于多任务BERT的单个模型，该模型共同解决了意图预测的三个DST任务，请求的插槽预测和插槽填充。此外，我们提出了对对话历史和服务模式的高效和简约编码，该编码被证明可以进一步提高性能。对SGD数据集的评估表明，我们的方法的表现优于基线SGP-DST，比最新的方法相比表现良好，同时在计算上的效率更高。进行了广泛的消融研究，以检查我们模型成功的促成因素。

随着预训练的语言模型的发展，对话理解（DU）已经看到了杰出的成功。但是，当前的DU方法通常为每个不同的DU任务采用独立模型，而无需考虑跨不同任务的共同知识。在本文中，我们提出了一个名为{\ em unidu}的统一的生成对话理解框架，以实现跨不同DU任务的有效信息交流。在这里，我们将所有DU任务重新制定为基于统一的立即生成模型范式。更重要的是，引入了一种新颖的模型多任务训练策略（MATS），以动态调整各种任务的权重，以根据每个任务的性质和可用数据在培训期间进行最佳知识共享。涵盖五个基本DU任务的十个DU数据集的实验表明，在所有任务上，提出的UNIDU框架在很大程度上优于特定于特定于任务精心设计的方法。 MATS还揭示了这些任务的知识共享结构。最后，Unidu在看不见的对话领域中获得了有希望的表现，显示了概括的巨大潜力。