从头开始解决复杂问题通常是有挑战性的，但如果我们可以访问其解决方案的其他类似问题，则更容易 - 一种称为基于案例的推理（CBR）的范式。我们提出了一种神经象征性的CBR方法（CBR-KBQA），用于在大知识库上应答。 CBR-KBQA由非参数内存组成，该内存存储案例（问题和逻辑表单）和参数模型，该参数模型可以通过检索与其相关的案例来为新问题生成逻辑表单。在包含复杂问题的几个KBQA数据集上，CBR-KBQA实现了竞争性能。例如，在ComplexWebQuestions数据集上，CBR-KBQA以11 \％的准确度优于当前最新状态。此外，我们表明CBR-KBQA能够使用新案例\ EMPH {没有}任何进一步的培训：通过在案例存储器中纳入一些人类标记的示例，CBR-KBQA能够成功地生成包含未经看线KB实体的逻辑表格以及关系。

问题回答（QA）对知识库（KBS）的挑战是充满挑战的，因为所需的推理模式多样化，本质上是无限的，类型的推理模式。但是，我们假设以大型KB为基础，以回答各自子图中各个实体的查询类型所需的推理模式。利用不同子图的本地社区之间的这种结构相似性，我们引入了一个半参数模型（cbr-subg），（i）一个非参数组件，每个查询，每个查询，都会动态检索其他类似的$ k $ - $ - $ - $ - near-neart-tebrienk（KNN）培训查询以及查询特定的子图和（ii）训练的参数组件，该参数分量可以从KNN查询的子图中识别（潜在的）推理模式，然后将其应用于目标查询的子图。我们还提出了一种自适应子图收集策略，以选择特定于查询的compact子图，从而使我们可以扩展到包含数十亿个事实的完整freebase kb。我们表明，CBR-SUBG可以回答需要子图推理模式的查询，并在几个KBQA基准上的最佳模型竞争性能。我们的子图收集策略还会产生更多紧凑的子图（例如，webQSP的尺寸减小55 \％，而将答案召回的召回率增加4.85 \％）\ footNote {代码，模型和子码头可在\ url {https://github.com上获得。 /rajarshd/cbr-subg}}。

预训练的语言模型（PTLM）已显示出在自然语言任务上表现良好。许多先前的作品都以通过知识图（KGS）标记的关系链接的实体的形式利用结构性常识来协助PTLM。检索方法使用kg作为单独的静态模块，该模块限制了覆盖范围，因为kgs包含有限的知识。生成方法训练PTLMS kg三倍以提高获得知识的规模。但是，对符号KG实体的培训限制了其在涉及自然语言文本的任务中的适用性，在这些任务中，它们忽略了整体上下文。为了减轻这种情况，我们提出了一个以句子为条件的常识性上下文化器（COSE-CO）作为输入，以使其在生成与输入文本的整体上下文相关的任务中通常可用。为了训练Cose-Co，我们提出了一个新的数据集，其中包括句子和常识知识对。 COSE-CO推断出的知识是多种多样的，并且包含了基础KG中不存在的新实体。我们增强了在多选质量质量检查和开放式常识性推理任务中产生的知识，从而改善了CSQA，ARC，QASC和OBQA数据集的当前最佳方法。我们还展示了其在改善释义生成任务的基线模型方面的适用性。

知识库问题的最现有的方法接听（KBQA）关注特定的基础知识库，原因是该方法的固有假设，或者因为在不同的知识库上评估它需要非琐碎的变化。然而，许多流行知识库在其潜在模式中的相似性份额可以利用，以便于跨知识库的概括。为了实现这一概念化，我们基于2级架构介绍了一个KBQA框架，该架构明确地将语义解析与知识库交互分开，促进了数据集和知识图中的转移学习。我们表明，具有不同潜在知识库的数据集预先灌注可以提供显着的性能增益并降低样本复杂性。我们的方法可实现LC-Quad（DBPedia），WEDQSP（FreeBase），简单问话（Wikidata）和MetaQA（WikiMovies-KG）的可比性或最先进的性能。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

Parsing natural language questions into executable logical forms is a useful and interpretable way to perform question answering on structured data such as knowledge bases (KB) or databases (DB). However, existing approaches on semantic parsing cannot adapt to both modalities, as they suffer from the exponential growth of the logical form candidates and can hardly generalize to unseen data. In this work, we propose Uni-Parser, a unified semantic parser for question answering (QA) on both KB and DB. We introduce the primitive (relation and entity in KB, and table name, column name and cell value in DB) as an essential element in our framework. The number of primitives grows linearly with the number of retrieved relations in KB and DB, preventing us from dealing with exponential logic form candidates. We leverage the generator to predict final logical forms by altering and composing topranked primitives with different operations (e.g. select, where, count). With sufficiently pruned search space by a contrastive primitive ranker, the generator is empowered to capture the composition of primitives enhancing its generalization ability. We achieve competitive results on multiple KB and DB QA benchmarks more efficiently, especially in the compositional and zero-shot settings.

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

预先训练的语言模型（LMS）通常逻辑地扭转或以组成方式概括。最近的工作表明，结合外部实体知识可以提高LMS的能力和推广。然而，明确提供实体抽象的效果仍然不清楚，特别是在最近的研究表明，预先训练的LMS已经在其参数中编码了一些知识。我们研究将实体型抽象的实用程序融入预先训练的变压器，并在需要不同形式的逻辑推理的四个NLP任务上测试这些方法：（1）与基于文本的关系推理（CLUTRR）的组成语言理解，（2）绑架推理（校对者），（3）多跳问题应答（HotpotQA），和（4）会话问题应答（COQA）。我们提出并经验探索了三种方法来添加此类抽象：（i）作为附加输入嵌入式，（ii）作为编码的单独序列，（iii）作为模型的辅助预测任务。总体而言，我们的分析表明，具有抽象实体知识的模型比没有它更好。然而，我们的实验还表明，强烈的益处取决于所使用的技术和手头的任务。与基线模型相比，最佳抽象意识模型分别达到了88.8％和91.8％的总精度，分别在CLUTRR和校对者上实现了62.3％和89.8％。此外，抽象感知模型在插值和外推设置中显示出改善的组成概括。然而，对于热杆菌和CoQA，我们发现F1分数平均仅提高0.5％。我们的结果表明，明确抽象的好处在正式定义的逻辑推理设置中需要许多推理跳跃，但指向它对具有较少正式逻辑结构的NLP任务不利的概念。

在知识库（KBQA）上回答的问题对语义解析研究提出了一个独特的挑战，这是由于两个相互交织的挑战：大大的搜索空间和模式链接中的歧义。基于常规排名的KBQA模型依靠候选枚举步骤来减少搜索空间，在预测复杂查询方面具有灵活性而挣扎并具有不切实际的运行时间。在本文中，我们提出了Arcaneqa，这是一个基于新的一代模型，它既解决统一框架中的大型搜索空间和架构将挑战联系起来的挑战，以及两种相互增强的成分：动态程序诱导，以解决大型搜索空间和动态上下文化的编码，以用于模式链接。多个流行KBQA数据集的实验结果证明了Arcaneqa在有效性和效率方面的竞争性能高。

大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。

在这项工作中，我们专注于从自然语言问题中生成SPARQL查询的任务，然后可以在知识图（kgs）上执行。我们假设已经提供了黄金实体和关系，其余的任务是与Sparql词汇一起以正确的顺序排列它们，并输入令牌以产生正确的SPARQL查询。到目前为止，尚未对此任务进行深入探索，因此我们使用BERT嵌入的BART，T5和PGN（指针发电机网络）进行了深入探讨，因此，请在PLM ERA中寻找此任务的新基础，在dbpedia和wikidata kgs上。我们表明T5需要特殊的输入令牌化，但是在LC-Quad 1.0和LC-Quad 2.0数据集上产生最先进的性能，并且从以前的工作中优于特定于任务的模型。此外，这些方法可以为问题进行语义解析，以使输入的一部分需要复制到输出查询，从而在KG语义解析中启用新的范式。

自然语言接口到数据库（NLIDB），其中用户在自然语言（NL）上姿势查询是至关重要的，使非专家能够从数据中获得见解。相比之下，开发此类接口依赖于经常代码启发式的专家来映射NL到SQL。或者，基于机器学习模型的NLIDB依赖于用作训练数据的NL到SQL映射的监督示例（NL-SQL对）。再次采购这些示例，使用专家，该专家通常涉及超过一次性相互作用。即，部署NLIDB的每个数据域都可能具有不同的特征，因此需要专用的启发式或域特定的培训示例。为此，我们提出了一种使用弱监管培训基于机器学习的NLIDB的替代方法。我们使用最近提出的问题分解表示称为qdmr，是NL和正式查询语言之间的中间。最近的工作表明，非专家通常在将NL转化为QDMR时是成功的。因此，我们使用NL-QDMR对以及问题答案，作为自动综合SQL查询的监督。然后使用NL问题和合成的SQL来培训NL-TO-SQL模型，我们在五个基准数据集中测试。广泛的实验表明，我们的解决方案需要零专家注释，竞争性地与专家注释数据培训的模型竞争地表现得很竞争。

Large pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limited, and hence on knowledge-intensive tasks, their performance lags behind task-specific architectures. Additionally, providing provenance for their decisions and updating their world knowledge remain open research problems. Pre-trained models with a differentiable access mechanism to explicit nonparametric memory can overcome this issue, but have so far been only investigated for extractive downstream tasks. We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) -models which combine pre-trained parametric and non-parametric memory for language generation. We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever. We compare two RAG formulations, one which conditions on the same retrieved passages across the whole generated sequence, and another which can use different passages per token. We fine-tune and evaluate our models on a wide range of knowledge-intensive NLP tasks and set the state of the art on three open domain QA tasks, outperforming parametric seq2seq models and task-specific retrieve-and-extract architectures. For language generation tasks, we find that RAG models generate more specific, diverse and factual language than a state-of-the-art parametric-only seq2seq baseline.

大型基于变压器的预训练的语言模型在各种知识密集的任务上取得了令人印象深刻的表现，并可以在其参数中捕获事实知识。我们认为，考虑到不断增长的知识和资源需求，在模型参数中存储大量知识是亚最佳选择。我们认为，更有效的替代方法是向模型提供对上下文相关的结构化知识的明确访问，并训练它以使用该知识。我们提出了LM核 - 实现这一目标的一般框架 - 允许从外部知识源对语言模型培训的\ textit {解耦}，并允许后者更新而不会影响已经训练的模型。实验结果表明，LM核心获得外部知识，在知识探索任务上的最先进的知识增强语言模型中实现了重要而强大的优于性能。可以有效处理知识更新；并在两个下游任务上表现良好。我们还提出了一个彻底的错误分析，突出了LM核的成功和失败。

我们使用神经语义解析方法解决对大知识图表的弱监督会议问题的问题。我们介绍了一种新的逻辑表单（LF）语法，可以在图中模拟各种查询，同时仍然足够简单以有效地生成监督数据。我们的变换器的模型将类似于输入的JSON的结构，允许我们轻松地结合知识图形和会话环境。该结构化输入转换为嵌入列表，然后馈送到标准注意图层。我们验证了我们的方法，无论是在语法覆盖范围和LF执行准确性方面，在两个公开可用的数据集，CSQA和Chamquestions，都在Wikidata接地。在CSQA上，我们的方法将覆盖范围从80美元的价格增加到96.2 \％$ 75.6 \％$ 75.6 \％$ 75.6 \％$，关于以前的最先进的结果。在CuncQuestions上，我们对最先进的竞争结果实现了竞争力。

使用从预先接受训练的语言模型（LMS）和知识图表（LMS）和知识图表（kgs）回答问题的问题提出了两个挑战：给定QA上下文（问答选择），方法需要（i）从大型千克识别相关知识，（ii）对QA上下文和kg进行联合推理。在这项工作中，我们提出了一种新的模型，QA-GNN，它通过两个关键创新解决了上述挑战：（i）相关评分，我们使用LMS来估计KG节点相对于给定的QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和kg连接到联合图，并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型（CommanSeaseQA，OpenBookQA）和生物医学（MedQa-USMLE）域名。QA-GNN优于现有的LM和LM + kg模型，并表现出可解释和结构化推理的能力，例如，正确处理问题的否定。

天然语言对代码模型学会生成具有自然语言（NL）意图的代码段。但是，由于每天引入新的库和功能，因此不可能使用培训示例来覆盖所有API的公开库和专有库和功能的快速增长。因此，现有模型本质上不能仅通过将它们纳入培训数据而概括地使用看不见的功能和库。相反，当人类程序员编写程序时，他们经常指文本资源，例如代码手册，文档和教程，以探索和理解可用的库功能。受此观察的启发，我们介绍了Doccoder：一种方法，该方法通过（1）检索给定NL意图的相关文档明确利用代码手册和文档，以及（2）基于NL意图和检索到的文档生成代码。我们的方法是一般的，可以应用于任何编程语言，并且对基础神经模型不可知。我们证明，Doccoder始终改善NL-TO-代码模型：DOCCODER在新的Bash数据集TLDR上的强基准比强基础高11倍；在受欢迎的Python Conala基准中，Doccoder在强大的基线上提高了1.65 BLEU。

Complex knowledge base question answering can be achieved by converting questions into sequences of predefined actions. However, there is a significant semantic and structural gap between natural language and action sequences, which makes this conversion difficult. In this paper, we introduce an alignment-enhanced complex question answering framework, called ALCQA, which mitigates this gap through question-to-action alignment and question-to-question alignment. We train a question rewriting model to align the question and each action, and utilize a pretrained language model to implicitly align the question and KG artifacts. Moreover, considering that similar questions correspond to similar action sequences, we retrieve top-k similar question-answer pairs at the inference stage through question-to-question alignment and propose a novel reward-guided action sequence selection strategy to select from candidate action sequences. We conduct experiments on CQA and WQSP datasets, and the results show that our approach outperforms state-of-the-art methods and obtains a 9.88\% improvements in the F1 metric on CQA dataset. Our source code is available at https://github.com/TTTTTTTTy/ALCQA.