Subject to the huge semantic gap between natural and formal languages, neural semantic parsing is typically bottlenecked by its complexity of dealing with both input semantics and output syntax. Recent works have proposed several forms of supplementary supervision but none is generalized across multiple formal languages. This paper proposes a unified intermediate representation (IR) for graph query languages, named GraphQ IR. It has a natural-language-like expression that bridges the semantic gap and formally defined syntax that maintains the graph structure. Therefore, a neural semantic parser can more precisely convert user queries into GraphQ IR, which can be later losslessly compiled into various downstream graph query languages. Extensive experiments on several benchmarks including KQA Pro, Overnight, GrailQA, and MetaQA-Cypher under standard i.i.d., out-of-distribution, and low-resource settings validate GraphQ IR's superiority over the previous state-of-the-arts with a maximum 11% accuracy improvement.

The recent prevalence of pretrained language models (PLMs) has dramatically shifted the paradigm of semantic parsing, where the mapping from natural language utterances to structured logical forms is now formulated as a Seq2Seq task. Despite the promising performance, previous PLM-based approaches often suffer from hallucination problems due to their negligence of the structural information contained in the sentence, which essentially constitutes the key semantics of the logical forms. Furthermore, most works treat PLM as a black box in which the generation process of the target logical form is hidden beneath the decoder modules, which greatly hinders the model's intrinsic interpretability. To address these two issues, we propose to incorporate the current PLMs with a hierarchical decoder network. By taking the first-principle structures as the semantic anchors, we propose two novel intermediate supervision tasks, namely Semantic Anchor Extraction and Semantic Anchor Alignment, for training the hierarchical decoders and probing the model intermediate representations in a self-adaptive manner alongside the fine-tuning process. We conduct intensive experiments on several semantic parsing benchmarks and demonstrate that our approach can consistently outperform the baselines. More importantly, by analyzing the intermediate representations of the hierarchical decoders, our approach also makes a huge step toward the intrinsic interpretability of PLMs in the domain of semantic parsing.

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

在知识库（复杂KBQA）上回答的复杂问题是具有挑战性的，因为它需要各种组成推理功能，例如多跳推断，属性比较，集合操作。现有的基准有一些缺点，这些缺点限制了复杂的KBQA的发展：1）它们仅提供质量检查对而没有明确的推理过程； 2）问题的多样性或规模很差。为此，我们介绍了KQA Pro，这是一个用于复杂KBQA的数据集，包括〜120k多样化的自然语言问题。我们引入了一种构图和可解释的编程语言KOPL，以表示复杂问题的推理过程。对于每个问题，我们都提供相应的KOPL程序和SPARQL查询，因此KQA Pro可用于KBQA和语义解析任务。实验结果表明，SOTA KBQA方法无法像当前数据集上的KQA Pro上实现有希望的结果，这表明KQA Pro具有挑战性，复杂的KBQA需要进一步的研究工作。我们还将KQA Pro视为用于测试多种推理技能的诊断数据集，对现有模型进行彻底评估，并讨论复杂KBQA的进一步说明。我们的代码和数据集可以从https://github.com/shijx12/kqapro_baselines获得。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

文本到SQL引起了自然语言处理和数据库社区的关注，因为它能够将自然语言中的语义转换为SQL查询及其在构建自然语言接口到数据库系统中的实际应用。文本到SQL的主要挑战在于编码自然话语的含义，解码为SQL查询，并翻译这两种形式之间的语义。这些挑战已被最近的进步解决了不同的范围。但是，对于这项任务仍缺乏全面的调查。为此，我们回顾了有关数据集，方法和评估的文本到SQL的最新进展，并提供了这项系统的调查，解决了上述挑战并讨论潜在的未来方向。我们希望这项调查可以作为快速获取现有工作并激励未来的研究。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

我们探索使用大型预用语言模型作为少量语义解析器。语义解析中的目标是给定自然语言输入的结构化含义表示。但是，培训语言模型以生成自然语言。为了弥合差距，我们使用语言模型来解释进入一个类似于英语的受控的子宫内的输入，可以自动映射到目标含义表示表示。我们的结果表明，只有少量的数据和较少的代码转换为类似英语的代表，我们为快速启动语义解析器的蓝图导致了对多个社区任务的令人惊讶的有效性能，大大超过基线方法也在相同的限制上培训数据。

深度学习的最新进展极大地推动了语义解析的研究。此后，在许多下游任务中进行了改进，包括Web API的自然语言接口，文本到SQL的生成等。但是，尽管与这些任务有着密切的联系，但有关知识库的问题的研究（KBQA）的进展相对缓慢。我们将其确定并归因于KBQA的两个独特挑战，模式级的复杂性和事实级别的复杂性。在这项调查中，我们将KBQA放置在更广泛的语义解析文献中，并全面说明了现有的KBQA方法如何试图应对独特的挑战。无论面临什么独特的挑战，我们都认为我们仍然可以从语义解析的文献中汲取太大的灵感，这被现有的KBQA研究所忽略了。基于我们的讨论，我们可以更好地了解当前KBQA研究的瓶颈，并阐明KBQA的有希望的方向，以跟上语义解析的文献，尤其是在预训练的语言模型时代。

Recently, there has been increasing interest in synthesizing data to improve downstream text-to-SQL tasks. In this paper, we first examined the existing synthesized datasets and discovered that state-of-the-art text-to-SQL algorithms did not further improve on popular benchmarks when trained with augmented synthetic data. We observed two shortcomings: illogical synthetic SQL queries from independent column sampling and arbitrary table joins. To address these issues, we propose a novel synthesis framework that incorporates key relationships from schema, imposes strong typing, and conducts schema-distance-weighted column sampling. We also adopt an intermediate representation (IR) for the SQL-to-text task to further improve the quality of the generated natural language questions. When existing powerful semantic parsers are pre-finetuned on our high-quality synthesized data, our experiments show that these models have significant accuracy boosts on popular benchmarks, including new state-of-the-art performance on Spider.

在知识库（KBQA）上回答的问题对语义解析研究提出了一个独特的挑战，这是由于两个相互交织的挑战：大大的搜索空间和模式链接中的歧义。基于常规排名的KBQA模型依靠候选枚举步骤来减少搜索空间，在预测复杂查询方面具有灵活性而挣扎并具有不切实际的运行时间。在本文中，我们提出了Arcaneqa，这是一个基于新的一代模型，它既解决统一框架中的大型搜索空间和架构将挑战联系起来的挑战，以及两种相互增强的成分：动态程序诱导，以解决大型搜索空间和动态上下文化的编码，以用于模式链接。多个流行KBQA数据集的实验结果证明了Arcaneqa在有效性和效率方面的竞争性能高。

长期以来，可以将可以应用于新数据库的文本到SQL解析器的重要性已得到认可，实现此目标的关键步骤是架构链接，即在生成SQL时正确地识别未见列或表的提及。在这项工作中，我们提出了一个新颖的框架，以通过基于PoinCar \'e距离指标的探测程序从大规模预训练的语言模型（PLM）中引起关系结构，并使用诱导的关系来增强基于图的解析器为了更好的模式链接。与常用的基于规则的架构链接方法相比，我们发现探测关系也可以稳健地捕获语义对应关系，即使提及和实体的表面形式不同。此外，我们的探测过程完全不受监督，不需要其他参数。广泛的实验表明，我们的框架在三个基准测试中设定了新的最新性能。我们从经验上验证我们的探测程序确实可以通过定性分析找到所需的关系结构。

查询图形构建旨在通过知识图构建正确的可执行SPARQL以应答自然语言问题。虽然最近的方法通过基于NN的查询图排名进行了良好，但更复杂的问题带来了三个新的挑战：复杂的SPARQL语法，排名的巨大搜索空间，以及当地歧义的嘈杂查询图。本文处理了这些挑战。最初，我们将常见的复杂sparql语法视为包括顶点和边缘的子图，并提出了一个新的统一查询图语法来调整它们。随后，我们提出了一种新的两阶段方法来构建查询图。在第一阶段，通过简单的策略作为候选实例收集了顶级的k $相关的实例（实体，关系等）。在第二阶段，图形生成模型执行分层生成。它首先概述了一个图形结构，其顶点和边缘是空插槽，然后将适当的实例填充到槽中，从而完成查询图。我们的方法将整个查询图的无法忍受的搜索空间分解为经济实惠的操作子空间，同时利用全局结构信息来消除局部歧义。实验结果表明，我们的方法大大提高了最坚定的kgqa基准，在复杂问题上具有出色的性能。

最近的语言模型预培训进展取得了巨大的成功，通过利用大规模的非结构化文本数据。然而，由于没有大规模的高质量表格数据，在结构化的表格数据上应用预先培训仍然是一项挑战。在本文中，我们提出了Tapex，以表明通过在合成语料库上学习神经SQL执行程序来实现表预培训，这是通过自动合成可执行的SQL查询和执行输出来获得的。 Tapex通过引导语言模型来模仿SQL执行程序的不同，大规模和高质量的合成语料库来解决数据稀缺性挑战。我们在四个基准数据集中评估Tapex。实验结果表明，Tapex优于以前的表格预训练，并通过大幅度达到了新的最先进的结果。这包括改进弱监管的WikiSQL表示精度为89.5％（+ 2.3％），WikityQuestions表示精度为57.5％（+ 4.8％），SQA表示精度为74.5％（+ 3.5％）和Tabfact精度84.2％（+ 3.2％）。为了我们的知识，这是通过合成可执行程序利用表预培训的第一项工作，并在各种下游任务上实现新的最先进结果。

Much recent work in task-oriented parsing has focused on finding a middle ground between flat slots and intents, which are inexpressive but easy to annotate, and powerful representations such as the lambda calculus, which are expressive but costly to annotate. This paper continues the exploration of task-oriented parsing by introducing a new dataset for parsing pizza and drink orders, whose semantics cannot be captured by flat slots and intents. We perform an extensive evaluation of deep-learning techniques for task-oriented parsing on this dataset, including different flavors of seq2seq systems and RNNGs. The dataset comes in two main versions, one in a recently introduced utterance-level hierarchical notation that we call TOP, and one whose targets are executable representations (EXR). We demonstrate empirically that training the parser to directly generate EXR notation not only solves the problem of entity resolution in one fell swoop and overcomes a number of expressive limitations of TOP notation, but also results in significantly greater parsing accuracy.

学习捕获文本表对齐对于文本到SQL等任务至关重要。一个模型需要正确识别对列和值的自然语言引用，并在给定的数据库架构中将其扎根。在本文中，我们为文本到SQL提出了一个新颖的弱监督结构接地预处理框架（strug），可以有效地学习基于平行的文本表语料库来捕获文本表对齐。我们确定了一组新的预测任务：列接地，价值接地和列值映射，并利用它们为文本表编码预处理。此外，为了评估更现实的文本表对齐设置下的不同方法，我们基于蜘蛛dev设置的新评估集蜘蛛现实化，并明确提及已删除的列名，并采用八个现有的文本到SQL数据集以进行交叉 - 数据库评估。在所有设置中，Strug对Bert-Large都有显着改善。与现有的预训练方法（例如Grappa）相比，Strug在蜘蛛方面的性能相似，并且在更现实的集合上都优于所有基线。蜘蛛现实的数据集可从https://doi.org/10.5281/zenodo.5205322获得。

本文介绍了Okapi，用于自然语言的新数据集到可执行的Web应用程序编程接口（NL2API）。此数据集是英文，包含22,508个问题和9,019个独特的API呼叫，涵盖三个域。我们为NL2API定义了新的组成泛化任务，该任务探讨了在推理阶段中的培训中从简单API调用外推开的模型能力。此外，该模型必须生成正确执行的API调用，而不是与现有方法进行正确执行，该方法评估具有占位符值的查询。我们的数据集与大多数现有的组合语义解析数据集不同，因为它是一个非合成数据集，研究了低资源设置中的组成概括。 Okapi是创建现实数据集和基准的一步，用于研究与现有数据集和任务一起学习组成泛化。我们报告了在各种扫描和okapi数据集任务上培训的序列到序列基线模型的泛化能力。当从简单API调用概括到更复杂的API调用时，最佳模型可实现15 \％精确匹配的准确性。这突出了未来研究的一些挑战。 okapi数据集和任务在https://aka.ms/nl2api/data上公开使用。

我们介绍了BenchClamp，这是一种评估受约束语言模型解析的基准测试，该基准通过通过限制性解码的启动或微调语言模型来基于输入文本的分析来产生语义输出。目前，预审前语言模型的开发人员基于分类，跨度提取和自由文本生成任务。语言解析在语言模型评估中被忽略，因为处理特定于任务的体系结构和表示的复杂性。最近的工作表明，当输出被限制为有效的语义表示时，从提示或微调的语言模型中产生的发电能力可以很好地表现。台式设备包括无上下文的语法，适用于六个具有不同输出含义表示形式的语义解析数据集，以及一个受约束的解码接口，以生成这些语法覆盖的输出。我们为每个数据集提供低，中和高资源分割，从而可以在不同的数据制度下准确比较各种语言模型。我们的基准测试既支持基于及时的学习又支持微调，并为语言模型开发人员提供了易于使用的工具包，以评估语义解析。

关于文本到SQL语义解析的最新研究取决于解析器本身或基于简单的启发式方法来理解自然语言查询（NLQ）。合成SQL查询时，没有可用的NLQ的明确语义信息，从而导致不良的概括性能。此外，如果没有词汇级的细粒度查询理解，查询与数据库之间的链接只能依赖模糊的字符串匹配，这会导致实际应用中的次优性能。考虑到这一点，在本文中，我们提出了一个基于令牌级的细粒度查询理解的通用，模块化的神经语义解析框架。我们的框架由三个模块组成：命名实体识别器（NER），神经实体接头（NEL）和神经语义解析器（NSP）。通过共同建模查询和数据库，NER模型可以分析用户意图并确定查询中的实体。 NEL模型将类型的实体链接到数据库中的模式和单元格值。解析器模型利用可用的语义信息并链接结果并根据动态生成的语法合成树结构的SQL查询。新发布的语义解析数据集的Squall实验表明，我们可以在WikiableQuestions（WTQ）测试集上实现56.8％的执行精度，这使最先进的模型的表现优于2.7％。

将语义解析器定位以支持新语言需要有效的跨语性概括。最近的工作发现了机器翻译或零击方法的成功，尽管这些方法可能难以模拟母语人士如何提出问题。我们考虑如何有效利用新语言的最小注释示例来进行几次跨语性语义解析。我们引入了一阶元学习算法，以在跨语性转移过程中训练具有最大样品效率的语义解析器。我们的算法使用高资源语言来训练解析器，并同时优化低资源语言的跨语性概括。 ATIS上六种语言的结果表明，我们的泛化步骤的组合产生了准确的语义解析器，以每种新语言中的源培训数据$ 10％的$ 10％。我们的方法还使用英语对蜘蛛的竞争模型进行训练，并将其推广到中文，同样对$ 10％的培训数据进行了采样。