We explore the use of large language models (LLMs) for zero-shot semantic parsing. Semantic parsing involves mapping natural language utterances to task-specific meaning representations. Language models are generally trained on the publicly available text and code and cannot be expected to directly generalize to domain-specific parsing tasks in a zero-shot setting. In this work, we propose ZEROTOP, a zero-shot task-oriented parsing method that decomposes a semantic parsing problem into a set of abstractive and extractive question-answering (QA) problems, enabling us to leverage the ability of LLMs to zero-shot answer reading comprehension questions. For each utterance, we prompt the LLM with questions corresponding to its top-level intent and a set of slots and use the LLM generations to construct the target meaning representation. We observe that current LLMs fail to detect unanswerable questions; and as a result, cannot handle questions corresponding to missing slots. To address this problem, we fine-tune a language model on public QA datasets using synthetic negative samples. Experimental results show that our QA-based decomposition paired with the fine-tuned LLM can correctly parse ~16% of utterances in the MTOP dataset without requiring any annotated data.

Dialogue State Tracking (DST), a key component of task-oriented conversation systems, represents user intentions by determining the values of pre-defined slots in an ongoing dialogue. Existing approaches use hand-crafted templates and additional slot information to fine-tune and prompt large pre-trained language models and elicit slot values from the dialogue context. Significant manual effort and domain knowledge is required to design effective prompts, limiting the generalizability of these approaches to new domains and tasks. In this work, we propose DiSTRICT, a generalizable in-context tuning approach for DST that retrieves highly relevant training examples for a given dialogue to fine-tune the model without any hand-crafted templates. Experiments with the MultiWOZ benchmark datasets show that DiSTRICT outperforms existing approaches in various zero-shot and few-shot settings using a much smaller model, thereby providing an important advantage for real-world deployments that often have limited resource availability.

深度学习方法已实现了越来越复杂的话语的面向任务的语义解析。但是，单个模型通常仍在分别为每个任务进行培训和部署，需要为每个任务标记培训数据，这使得支持新任务的挑战，即使在单个业务垂直方面（例如，食品订购或旅行预订）也是如此。在本文中，我们描述了交叉顶部（交叉施加任务取消解析），这是一种在给定垂直方向中复杂语义解析的零摄像方法。通过利用用户从相同的垂直共享词汇和语义相似性请求的事实，对单个跨施加性解析器进行了培训，可以在垂直行业内使用任意数量的任意任务，看不见或看不见。我们表明，跨顶部可以在以前看不见的任务上实现高精度，而无需任何其他培训数据，从而提供了一种可扩展的方法来引导新任务的语义解析器。作为这项工作的一部分，我们发布了食物界数据集，该数据集是一个面向任务的解析数据集中的垂直垂直数据集，其话语和注释来自五个架构，每个架构都来自不同的餐厅菜单。

为了促进任务对话框中的零拍概括，本文建议语言模型作为数据（LAD）。LAD是创建各种准确的合成数据的范式，该数据传达了必要的结构约束，可用于训练下游神经对话模型。LAD利用GPT-3诱导语言多样性。LAD在意图预测（+15％），插槽填充（+31.4 f-1）和下一个动作预测（+11 F1）上，在零拍设置中获得了显着的性能增长。此外，互动的人类评估表明，与LAD的培训具有在人类对话中的培训竞争。LAD是开源的，并在https://github.com/shikib/lad上获得了代码和数据。

Conversation designers continue to face significant obstacles when creating production quality task-oriented dialogue systems. The complexity and cost involved in schema development and data collection is often a major barrier for such designers, limiting their ability to create natural, user-friendly experiences. We frame the classification of user intent as the generation of a canonical form, a lightweight semantic representation using natural language. We show that canonical forms offer a promising alternative to traditional methods for intent classification. By tuning soft prompts for a frozen large language model, we show that canonical forms generalize very well to new, unseen domains in a zero- or few-shot setting. The method is also sample-efficient, reducing the complexity and effort of developing new task-oriented dialogue domains.

我们提出语言学家，这是一种通过微调Alexatm 5B生成带注释数据的方法，用于生成意图分类和插槽标记（IC+ST），这是一种5亿参数的多语言序列到序列（SEQ2SEQ）模型，在灵活的指令上迅速的。在SNIP数据集的10次新颖意图设置中，语言学家超过了最新的方法（反向翻译和示例外推），可以通过宽阔的边距，显示出IC回忆中+1.9点的目标意图的绝对改善ST F1分数和+2.5分。在MATIS ++数据集的零击跨语言设置中，语言学家表现出强大的机器翻译基线，插槽对齐的基线是+4.14的+4.14点在6个语言上绝对在ST F1分数上，同时在IC上匹配IC的性能。最后，我们在用于对话代理IC+ST的内部大规模多语言数据集上验证了我们的结果，并显示了使用背面翻译，释义和插槽目录重新采样采样的基线的显着改进。据我们所知，我们是第一个展示大规模SEQ2SEQ模型的指导微调的人，以控制多语言意图和插槽标记的数据生成的输出。

我们介绍了BenchClamp，这是一种评估受约束语言模型解析的基准测试，该基准通过通过限制性解码的启动或微调语言模型来基于输入文本的分析来产生语义输出。目前，预审前语言模型的开发人员基于分类，跨度提取和自由文本生成任务。语言解析在语言模型评估中被忽略，因为处理特定于任务的体系结构和表示的复杂性。最近的工作表明，当输出被限制为有效的语义表示时，从提示或微调的语言模型中产生的发电能力可以很好地表现。台式设备包括无上下文的语法，适用于六个具有不同输出含义表示形式的语义解析数据集，以及一个受约束的解码接口，以生成这些语法覆盖的输出。我们为每个数据集提供低，中和高资源分割，从而可以在不同的数据制度下准确比较各种语言模型。我们的基准测试既支持基于及时的学习又支持微调，并为语言模型开发人员提供了易于使用的工具包，以评估语义解析。

由于面向任务对话框（TOD）系统中不同模块的标签成本很高，但实践中的主要挑战是学习具有最少标记数据的不同任务。最近，通过预先训练的语言模型（PLMS）提示方法对TOD的几次射门学习显示了有希望的结果。为了更好地利用PLMS的力量，本文提出了利用额外任务特定指令的全面指导（CINS）。我们在TOD中设计了指令的架构（定义，约束，提示）指令及其定制实现，即在TOD中的三个重要下游任务，即意图分类，对话状态跟踪和自然语言生成。采用序列到序列模型（T5）来解决统一框架中的这三个任务。在具有小验证数据的现实少量学习场景中对这些TOD任务进行了广泛的实验。经验结果表明，所提出的CINS方法一致地改善了Finetune PLM具有原始输入或简短提示的技术。

我们探索使用大型预用语言模型作为少量语义解析器。语义解析中的目标是给定自然语言输入的结构化含义表示。但是，培训语言模型以生成自然语言。为了弥合差距，我们使用语言模型来解释进入一个类似于英语的受控的子宫内的输入，可以自动映射到目标含义表示表示。我们的结果表明，只有少量的数据和较少的代码转换为类似英语的代表，我们为快速启动语义解析器的蓝图导致了对多个社区任务的令人惊讶的有效性能，大大超过基线方法也在相同的限制上培训数据。

意图发现是NLP的一项基本任务，它与各种工业应用越来越相关（Quarteroni 2018）。主要的挑战在于需要从投入性话语中识别出新颖的范围。在此，我们提出了Z-Bert-A，这是一种依赖变压器结构的两阶段方法（Vaswani等人，2017; Devlin等人，2018年），用适配器进行了微调（Pfeiffer等，2020），，），等等。最初接受了自然语言推断（NLI）的培训，后来在零射击设置中申请了未知的内部分类。在我们的评估中，我们首先在已知类别的自适应微调后分析模型的质量。其次，我们将其性能铸造意图分类评估为NLI任务。最后，我们在看不见的类别上测试了模型的零射击性能，以表明Z-Bert-A可以通过产生与地面真实者的语义相似（即使不是平等）的意图，如何有效地执行周期发现。我们的实验表明，Z-Bert-A在两个零射击设置中的表现如何超过各种基线：已知意图分类和看不见的意图发现。拟议的管道具有广泛应用于各种客户服务应用程序的潜力。它可以使用轻巧的模型来实现自动化动态分流，该模型与大型语言模型不同，可以轻松地在各种业务场景中进行部署和缩放。尤其是在考虑具有有限的硬件可用性和性能的设置时，必须进行原始或资源云部署低的设置。 Z-Bert-A可以从单一话语中预测新颖的意图，代表了一种创新的意图发现方法，从而使在线一代的新颖意图能够。该管道可作为可安装的Python软件包获得以下链接：https：//github.com/gt4sd/zberta。

数据到文本生成系统旨在基于输入数据生成文本描述（通常以表格形式表示）。典型系统使用巨大的训练样本来学习表和文本之间的对应关系。然而，大型训练套装昂贵，可以获得这些方法在现实世界方案中的适用性。在这项工作中，我们专注于几次数据到文本生成。我们观察到，虽然微调预训练的语言模型可能会产生合理的句子，但它们在几次拍摄设置中遭受了低语义覆盖问题。换句话说，生成的文本中的重要输入时隙往往丢失。为此，我们提出了一种搜索和学习方法，可以利用预训练的语言模型，而是插入丢失的插槽以提高语义覆盖。我们根据搜索结果进一步微调我们的系统，以平滑搜索噪声，在很大程度上产生更好的质量文本并提高推理效率。实验表明，我们的模型在E2E和Wikibio数据集上实现了高性能。特别是，我们在E2E上覆盖了98.35％的输入槽，很大程度上减轻了低覆盖问题。

最近已被证明大型语言模型在各种任务集中获得合理的零射普通化（Brown等，2020）。它已经假设这是语言模型的隐式多任务学习的结果，在语言模型中的预押（Radford等，2019）。可以通过明确的多任务学习直接引起零拍常规化？为了以缩放测试这个问题，我们开发一个系统，以便轻松地将任何自然语言任务映射到人类可读的提示表单中。我们转换一组大量的监督数据集，每个数据集都有多个提示，具有不同的措辞。这些提示的数据集允许基准测试模型执行完全看不见的任务的能力。我们介绍了一个普拉克尔编码器 - 解码器模型（Raffel等，2020; Lester等，2021），覆盖各种任务。该模型在多个标准数据集中达到强大的零点性能，通常优于其尺寸的型号超过16倍。此外，我们的方法对来自Big-替补基准测试的任务子集具有强烈性能，优于其尺寸的6倍。所有提示和培训的型号都可以在https://github.com/ bigscience-workshop / protectsource / httpsource / https：//huggingface.co/bigscience/t0pp。

Task-oriented dialogue (TOD) systems have been applied in a range of domains to support human users to achieve specific goals. Systems are typically constructed for a single domain or language and do not generalise well beyond this. Their extension to other languages in particular is restricted by the lack of available training data for many of the world's languages. To support work on Natural Language Understanding (NLU) in TOD across multiple languages and domains simultaneously, we constructed MULTI3NLU++, a multilingual, multi-intent, multi-domain dataset. MULTI3NLU++ extends the English-only NLU++ dataset to include manual translations into a range of high, medium and low resource languages (Spanish, Marathi, Turkish and Amharic), in two domains (banking and hotels). MULTI3NLU++ inherits the multi-intent property of NLU++, where an utterance may be labelled with multiple intents, providing a more realistic representation of a user's goals and aligning with the more complex tasks that commercial systems aim to model. We use MULTI3NLU++ to benchmark state-of-the-art multilingual language models as well as Machine Translation and Question Answering systems for the NLU task of intent detection for TOD systems in the multilingual setting. The results demonstrate the challenging nature of the dataset, particularly in the low-resource language setting.

在过去的十年中，对对话系统的兴趣已经大大增长。从扩展过程中，也有兴趣开发和改进意图分类和插槽填充模型，这是两个组件，这些组件通常在以任务为导向的对话框系统中使用。此外，良好的评估基准对于帮助比较和分析结合此类模型的系统很重要。不幸的是，该领域的许多文献仅限于对相对较少的基准数据集的分析。为了促进针对任务的对话系统的更强大的分析，我们对意图分类和插槽填充任务进行了公开可用数据集的调查。我们分类每个数据集的重要特征，并就每个数据集的适用性，优势和劣势进行讨论。我们的目标是，这项调查有助于提高这些数据集的可访问性，我们希望它们能够在未来评估意图分类和填充插槽模型中用于以任务为导向的对话框系统。

我们介绍了第一项经验研究，研究了突发性检测对意向检测和插槽填充的下游任务的影响。我们对越南人进行了这项研究，这是一种低资源语言，没有以前的研究，也没有公共数据集可用于探索。首先，我们通过手动添加上下文不满并注释它们来扩展流利的越南意图检测和插槽填充phoatis。然后，我们使用强基线进行实验进行实验，以基于预训练的语言模型，以检测和关节意图检测和插槽填充。我们发现：（i）爆发对下游意图检测和插槽填充任务的性能产生负面影响，并且（ii）在探索环境中，预先训练的多语言语言模型XLM-R有助于产生更好的意图检测和插槽比预先训练的单语言模型phobert填充表演，这与在流利性环境中通常发现的相反。

发展任务导向的对话助理的实用需求需要了解许多语言。多语言自然语言理解（NLU）的新型基准包括多种语言中的单声道句，用意图和插槽注释。在这种设置模型中，用于交叉传输在联合意图识别和槽填充方面表现出显着性能。然而，现有的基准缺乏代码切换话语，这难以收集和标签由于语法结构的复杂性。对于NLU模型的评估似乎偏见和有限，因为代码切换被遗漏了范围。我们的工作采用认可的方法来生成合理的和自然探测的代码切换话语，并使用它们来创建合成代码交换测试集。基于实验，我们报告说，最先进的NLU模型无法处理代码切换。在最糟糕的是，性能，通过语义精度评估，从横跨80 \％的8 \％的低至15 \％。此外，我们展示了，对合成码混合数据进行预训练有助于在具有单晶体数据的可比水平上保持所提出的测试中的性能。最后，我们分析了不同的语言对并表明语言越近，NLU模型越好地处理了交替。这符合对多语种模型在语言之间进行转移的共同理解

知识密集型任务，例如开放域问题答案（QA），需要访问大量的世界知识或领域知识。知识密集型任务的一种常见方法是采用检索到阅读的管道，该管道首先从诸如Wikipedia之类的外部语料库中检索少数相关的上下文文档，然后预测在检索文档的条件下得到答案。在本文中，我们提出了一种新的观点，可以通过用大型语言模型生成器代替文档检索器来解决知识密集型任务。我们称我们的方法生成-Read Read（GenRead），该方法首先提示大型语言模型根据给定问题生成上下文文档，然后读取生成的文档以产生最终答案。此外，我们提出了一种基于聚类的提示方法，该方法选择了不同的提示，从而产生了涵盖不同观点的生成文档，从而更好地回忆了可接受的答案。我们对三个不同的知识密集任务进行了广泛的实验，包括开放域质量检查，事实检查和对话系统。值得注意的是，GenRead在Triviaqa和WebQ上实现了71.6和54.4的精确匹配分数，显着超过了最先进的检索到+4.0和+3.9的最先进的dpr-fid，而无需从任何外部知识源中检索任何文档。最后，我们证明可以通过结合检索和生成来进一步提高模型性能。

转移学习技术和预先培训的最新进展，大型上下文编码器在包括对话助理在内的现实应用程序中促进了创新。意图识别的实际需求需要有效的数据使用，并能够不断更新支持意图，采用新的意图并放弃过时的意图。尤其是，对模型的广义零拍范例，该模型受到了可见意图的训练并在可见和看不见的意图上进行了测试，这是新的重要性。在本文中，我们探讨了用于意图识别的广义零拍设置。遵循零击文本分类的最佳实践，我们使用句子对建模方法对待任务。对于看不见的意图，使用意图标签和用户话语，而无需访问外部资源（例如知识库），我们的表现优于先前的最先进的F1量化，最多可达16 \％。进一步的增强包括意图标签的词汇化，可提高性能高达7％。通过使用从其他句子对任务（例如自然语言推论）转移的任务传输，我们会获得其他改进。

关于信息检索的许多最新研究集中在如何从一项任务（通常具有丰富的监督数据）转移到有限的其他各种任务，并隐含地假设可以从一个任务概括到所有其余的任务。但是，这忽略了这样一个事实，即有许多多样化和独特的检索任务，每个任务都针对不同的搜索意图，查询和搜索域。在本文中，我们建议使用几乎没有散热的检索，每个任务都有一个简短的描述和一些示例。为了扩大一些示例的功能，我们提出了针对检索器（即将到来）的及时基本查询生成，该查询将大型语言模型（LLM）作为几个弹片查询生成器，并根据生成的数据创建特定于任务的检索器。通过LLM的概括能力提供动力，即要来源使得可以仅基于一些示例{没有自然问题或MS MARCO来训练％问题生成器或双重编码器，就可以仅基于一些示例{没有}来创建特定于任务的端到端检索。出乎意料的是，LLM提示不超过8个示例，允许双重编码器在MARCO（例如Colbert V2）上训练的大量工程模型平均在11个检索套件中超过1.2 NDCG。使用相同生成数据的进一步培训标准尺寸的重新级别可获得5.0点NDCG的改进。我们的研究确定，查询产生比以前观察到的更有效，尤其是在给出少量特定于任务知识的情况下。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。