转移学习技术和预先培训的最新进展，大型上下文编码器在包括对话助理在内的现实应用程序中促进了创新。意图识别的实际需求需要有效的数据使用，并能够不断更新支持意图，采用新的意图并放弃过时的意图。尤其是，对模型的广义零拍范例，该模型受到了可见意图的训练并在可见和看不见的意图上进行了测试，这是新的重要性。在本文中，我们探讨了用于意图识别的广义零拍设置。遵循零击文本分类的最佳实践，我们使用句子对建模方法对待任务。对于看不见的意图，使用意图标签和用户话语，而无需访问外部资源（例如知识库），我们的表现优于先前的最先进的F1量化，最多可达16 \％。进一步的增强包括意图标签的词汇化，可提高性能高达7％。通过使用从其他句子对任务（例如自然语言推论）转移的任务传输，我们会获得其他改进。

面向目标的对话系统的核心组件之一是意图检测的任务。由于可用的附带话语的稀缺性，目的检测时的几次射门学习是挑战。尽管最近的作品已经提出了使用基于度量的基于优化的方法，但任务仍然在大标签空间中挑战，射击数量小得多。由于在测试阶段，由于两种新颖和看到的课程存在，概括的少量学习更加困难。在这项工作中，我们提出了一种基于自然语言推理的简单有效的方法，不仅解决了几次射击意图检测问题，而且在零射击和广义少数射击学习问题中证明是有用的。我们对许多自然语言理解（NLU）和口语理解（SLU）数据集的大量实验表明了我们的方法的有效性。此外，我们突出了我们基于NLI的方法的设置，通过巨大的利润率优于基线。

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

意图发现是NLP的一项基本任务，它与各种工业应用越来越相关（Quarteroni 2018）。主要的挑战在于需要从投入性话语中识别出新颖的范围。在此，我们提出了Z-Bert-A，这是一种依赖变压器结构的两阶段方法（Vaswani等人，2017; Devlin等人，2018年），用适配器进行了微调（Pfeiffer等，2020），，），等等。最初接受了自然语言推断（NLI）的培训，后来在零射击设置中申请了未知的内部分类。在我们的评估中，我们首先在已知类别的自适应微调后分析模型的质量。其次，我们将其性能铸造意图分类评估为NLI任务。最后，我们在看不见的类别上测试了模型的零射击性能，以表明Z-Bert-A可以通过产生与地面真实者的语义相似（即使不是平等）的意图，如何有效地执行周期发现。我们的实验表明，Z-Bert-A在两个零射击设置中的表现如何超过各种基线：已知意图分类和看不见的意图发现。拟议的管道具有广泛应用于各种客户服务应用程序的潜力。它可以使用轻巧的模型来实现自动化动态分流，该模型与大型语言模型不同，可以轻松地在各种业务场景中进行部署和缩放。尤其是在考虑具有有限的硬件可用性和性能的设置时，必须进行原始或资源云部署低的设置。 Z-Bert-A可以从单一话语中预测新颖的意图，代表了一种创新的意图发现方法，从而使在线一代的新颖意图能够。该管道可作为可安装的Python软件包获得以下链接：https：//github.com/gt4sd/zberta。

插槽填充和意图检测是诸如语音助手的会话代理的骨干，是有效的研究领域。尽管公开的基准上的最先进的技术，但令人印象深刻的性能，他们概括到现实情景的能力尚未得到证明。在这项工作中，我们提出了一种自然，一套简单的口语导向转换，应用于数据集的评估集，在保留话语的语义时引入人类口语变化。我们将大自然应用于共同的插槽填充和意图检测基准，并证明了自然集合的标准评估的简单扰动可以显着降低模型性能。通过我们的实验，我们证明了当自然运营商应用于评估流行基准的评估集时，模型精度可以降低至多40％。

发展任务导向的对话助理的实用需求需要了解许多语言。多语言自然语言理解（NLU）的新型基准包括多种语言中的单声道句，用意图和插槽注释。在这种设置模型中，用于交叉传输在联合意图识别和槽填充方面表现出显着性能。然而，现有的基准缺乏代码切换话语，这难以收集和标签由于语法结构的复杂性。对于NLU模型的评估似乎偏见和有限，因为代码切换被遗漏了范围。我们的工作采用认可的方法来生成合理的和自然探测的代码切换话语，并使用它们来创建合成代码交换测试集。基于实验，我们报告说，最先进的NLU模型无法处理代码切换。在最糟糕的是，性能，通过语义精度评估，从横跨80 \％的8 \％的低至15 \％。此外，我们展示了，对合成码混合数据进行预训练有助于在具有单晶体数据的可比水平上保持所提出的测试中的性能。最后，我们分析了不同的语言对并表明语言越近，NLU模型越好地处理了交替。这符合对多语种模型在语言之间进行转移的共同理解

意图理解在对话系统中发挥着重要作用，通常被制定为监督的学习问题。然而，从头开始设计新领域的意图是挑战性和耗时的，通常需要很多人工域专家的手动努力。本文提出了一种无监督的两阶段方法来发现意图，并从域中的未标记的话语集合自动生成有意义的意图标签。在第一阶段，我们的目标是生成一组语义相干群集，其中每个簇内的话语传达相同的意图。我们从各种预先训练的句子嵌入中获取话语表示，并呈现平衡分数的度量，以确定用于平衡数据集的K-means群集中的k-means群集中的最佳簇数。在第二阶段，目标是为每个群集自动生成意图标签。我们使用依赖性解析器从每个话语中提取动作对象对，并在每个群集中采取最常用的对，例如书籍餐厅，作为生成的意图标签。我们经验证明，提出的无监督方法可以自动生成有意义的意图标签，并在话语聚类和意图发现中实现高精度并召回。

The recent GPT-3 model (Brown et al., 2020) achieves remarkable few-shot performance solely by leveraging a natural-language prompt and a few task demonstrations as input context. Inspired by their findings, we study few-shot learning in a more practical scenario, where we use smaller language models for which fine-tuning is computationally efficient. We present LM-BFF-better few-shot fine-tuning of language models 1 -a suite of simple and complementary techniques for finetuning language models on a small number of annotated examples. Our approach includes (1) prompt-based fine-tuning together with a novel pipeline for automating prompt generation; and (2) a refined strategy for dynamically and selectively incorporating demonstrations into each context. Finally, we present a systematic evaluation for analyzing few-shot performance on a range of NLP tasks, including classification and regression. Our experiments demonstrate that our methods combine to dramatically outperform standard fine-tuning procedures in this low resource setting, achieving up to 30% absolute improvement, and 11% on average across all tasks. Our approach makes minimal assumptions on task resources and domain expertise, and hence constitutes a strong task-agnostic method for few-shot learning. 2 * The first two authors contributed equally. 1 Alternatively, language models' best friends forever. 2 Our implementation is publicly available at https:// github.com/princeton-nlp/LM-BFF.

Many NLP tasks can be regarded as a selection problem from a set of options, such as classification tasks, multi-choice question answering, etc. Textual entailment (TE) has been shown as the state-of-the-art (SOTA) approach to dealing with those selection problems. TE treats input texts as premises (P), options as hypotheses (H), then handles the selection problem by modeling (P, H) pairwise. Two limitations: first, the pairwise modeling is unaware of other options, which is less intuitive since humans often determine the best options by comparing competing candidates; second, the inference process of pairwise TE is time-consuming, especially when the option space is large. To deal with the two issues, this work first proposes a contextualized TE model (Context-TE) by appending other k options as the context of the current (P, H) modeling. Context-TE is able to learn more reliable decision for the H since it considers various context. Second, we speed up Context-TE by coming up with Parallel-TE, which learns the decisions of multiple options simultaneously. Parallel-TE significantly improves the inference speed while keeping comparable performance with Context-TE. Our methods are evaluated on three tasks (ultra-fine entity typing, intent detection and multi-choice QA) that are typical selection problems with different sizes of options. Experiments show our models set new SOTA performance; particularly, Parallel-TE is faster than the pairwise TE by k times in inference. Our code is publicly available at https://github.com/jiangshdd/LearningToSelect.

在本文中，我们建议利用对话的独特特征，共享参与者的常识性知识，以解决总结它们的困难。我们提出了病态的框架，该框架使用常识推论作为其他背景。与以前仅依赖于输入对话的工作相比，Sick使用外部知识模型来生成丰富的常识推断，并选择具有基于相似性选择方法的最可能的推理。基于生病的，病人++的理解为监督，在总结多任务学习环境中的对话时，添加了产生常识推断的任务。实验结果表明，通过注入常识性知识，我们的框架比现有方法产生更多信息和一致的摘要。

我们提出语言学家，这是一种通过微调Alexatm 5B生成带注释数据的方法，用于生成意图分类和插槽标记（IC+ST），这是一种5亿参数的多语言序列到序列（SEQ2SEQ）模型，在灵活的指令上迅速的。在SNIP数据集的10次新颖意图设置中，语言学家超过了最新的方法（反向翻译和示例外推），可以通过宽阔的边距，显示出IC回忆中+1.9点的目标意图的绝对改善ST F1分数和+2.5分。在MATIS ++数据集的零击跨语言设置中，语言学家表现出强大的机器翻译基线，插槽对齐的基线是+4.14的+4.14点在6个语言上绝对在ST F1分数上，同时在IC上匹配IC的性能。最后，我们在用于对话代理IC+ST的内部大规模多语言数据集上验证了我们的结果，并显示了使用背面翻译，释义和插槽目录重新采样采样的基线的显着改进。据我们所知，我们是第一个展示大规模SEQ2SEQ模型的指导微调的人，以控制多语言意图和插槽标记的数据生成的输出。

本文探讨了提高语言模型的零次学习能力的简单方法。我们表明，指令调整 - 通过对说明书中所述的任务集合微调语言模型 - 大幅提升零射门上看不见任务中的表现。我们采取预训练的语言模型和指令调整它通过自然语言指令模板语言表达了60NLP任务137B参数。我们评估这种指令调整模型，我们称之为FLAN，在看不见的任务类型。FLAN显着改善其未修饰的对应的性能和超过25的20个任务，我们评估零射门175BGPT-3。FLAN甚至GPT-3通过在安利，RTE，BoolQ，AI2-ARC，OpenbookQA和StoryCloze大比分胜过几拍。消融研究显示任务和模型的规模，这个数字是指令调整取得成功的关键组成部分。

预训练的语言模型在对话任务上取得了长足的进步。但是，这些模型通常在表面对话文本上进行训练，因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示（AMR）作为预训练模型的明确语义知识，以捕获预训练期间对话中的核心语义信息。特别是，我们提出了一个基于语义的前训练框架，该框架通过三个任务来扩展标准的预训练框架（Devlin等，2019）。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知，我们是第一个利用深层语义表示进行对话预训练的人。

Text classification, a core component of task-oriented dialogue systems, attracts continuous research from both the research and industry community, and has resulted in tremendous progress. However, existing method does not consider the use of label information, which may weaken the performance of text classification systems in some token-aware scenarios. To address the problem, in this paper, we introduce the use of label information as label embedding for the task of text classification and achieve remarkable performance on benchmark dataset.

有监督的基于深度学习的方法已应用于以任务为导向的对话框，并在有足够数量的培训示例可用时对有限的域和语言应用有效。在实践中，这些方法遭受了域驱动设计和资源不足的语言的缺点。域和语言模型应该随着问题空间的发展而增长和变化。一方面，对转移学习的研究证明了基于多语言变压器模型学习语义丰富的表示的跨语性能力。另一方面，除了上述方法之外，元学习还能够开发任务和语言学习算法，能够实现泛滥。在这种情况下，本文提出了使用典型的神经网络和基于多语言变压器的模型来研究使用协同进行几次学习的跨语性可传递性。自然语言的实验理解多亚提斯++语料库的任务表明，我们的方法基本上改善了低资源和高资源语言之间观察到的转移学习表现。更普遍地说，我们的方法证实，可以将具有特定语言的有意义的潜在空间推广到使用元学习的情况下看不见和资源不足的潜在空间。

Task-oriented dialogue (TOD) systems have been applied in a range of domains to support human users to achieve specific goals. Systems are typically constructed for a single domain or language and do not generalise well beyond this. Their extension to other languages in particular is restricted by the lack of available training data for many of the world's languages. To support work on Natural Language Understanding (NLU) in TOD across multiple languages and domains simultaneously, we constructed MULTI3NLU++, a multilingual, multi-intent, multi-domain dataset. MULTI3NLU++ extends the English-only NLU++ dataset to include manual translations into a range of high, medium and low resource languages (Spanish, Marathi, Turkish and Amharic), in two domains (banking and hotels). MULTI3NLU++ inherits the multi-intent property of NLU++, where an utterance may be labelled with multiple intents, providing a more realistic representation of a user's goals and aligning with the more complex tasks that commercial systems aim to model. We use MULTI3NLU++ to benchmark state-of-the-art multilingual language models as well as Machine Translation and Question Answering systems for the NLU task of intent detection for TOD systems in the multilingual setting. The results demonstrate the challenging nature of the dataset, particularly in the low-resource language setting.

我们提出了一个新的框架，在增强的自然语言（TANL）之间的翻译，解决了许多结构化预测语言任务，包括联合实体和关系提取，嵌套命名实体识别，关系分类，语义角色标记，事件提取，COREREFED分辨率和对话状态追踪。通过培训特定于特定于任务的鉴别分类器来说，我们将其作为一种在增强的自然语言之间的翻译任务，而不是通过培训问题，而不是解决问题，而是可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务特定模型，特别是在联合实体和关系提取（Conll04，Ade，NYT和ACE2005数据集）上实现了新的最先进的结果，与关系分类（偶尔和默示）和语义角色标签（Conll-2005和Conll-2012）。我们在使用相同的架构和超参数的同时为所有任务使用相同的架构和超级参数，甚至在培训单个模型时同时解决所有任务（多任务学习）。最后，我们表明，由于更好地利用标签语义，我们的框架也可以显着提高低资源制度的性能。

Conversation designers continue to face significant obstacles when creating production quality task-oriented dialogue systems. The complexity and cost involved in schema development and data collection is often a major barrier for such designers, limiting their ability to create natural, user-friendly experiences. We frame the classification of user intent as the generation of a canonical form, a lightweight semantic representation using natural language. We show that canonical forms offer a promising alternative to traditional methods for intent classification. By tuning soft prompts for a frozen large language model, we show that canonical forms generalize very well to new, unseen domains in a zero- or few-shot setting. The method is also sample-efficient, reducing the complexity and effort of developing new task-oriented dialogue domains.

GPT-3显示了培训的大规模语言模型（LMS）的卓越情调学习能力，培训数十亿规模数据。在这里，我们解决了GPT-3纸张报告的一些剩余问题，例如非英语LM，不同大小模型的性能，以及最近引入的迅速优化对上下文学习的效果。为实现这一目标，我们介绍了HyperClova，一个韩国VPT-3的韩国变体训练在一个以韩国为中心的560b标准的令牌。通过我们的韩国特定标记化，HyperClova与我们的培训配置增强，显示了韩国各种下游任务的最先进的上下游零射击和几秒钟学习表演。此外，我们展示了基于及时的学习的性能优势，并演示如何集成到迅速的工程管道中。然后，我们讨论了通过引入Hyperclova Studio，互动提示工程界面向ML的非专家提供AI原型设计能力来实现No Code AI范例的可能性。最后，我们展示了我们具有三个成功的内部应用程序的方法的潜力。

对话机器人已广泛应用于客户服务方案，以提供及时且用户友好的体验。这些机器人必须对对话的适当域进行分类，了解用户的意图并产生适当的响应。现有的对话预训练模型仅针对多个对话任务而设计，而忽略了弱监督的客户服务对话中的专家知识。在本文中，我们提出了一个新颖的统一知识提示预训练框架，ufa（\ textbf {u} nified Model \ textbf {f}或\ textbf {a} ll任务），用于客户服务对话。我们将客户服务对话的所有任务作为统一的文本到文本生成任务，并引入知识驱动的及时策略，以共同从不同的对话任务中学习。我们将UFA预先训练UFA，从实用场景中收集的大型中国客户服务语料库中，并对自然语言理解（NLU）和自然语言生成（NLG）基准进行了重大改进。