When answering natural language questions over knowledge bases (KBs), incompleteness in the KB can naturally lead to many questions being unanswerable. While answerability has been explored in other QA settings, it has not been studied for QA over knowledge bases (KBQA). We first identify various forms of KB incompleteness that can result in a question being unanswerable. We then propose GrailQAbility, a new benchmark dataset, which systematically modifies GrailQA (a popular KBQA dataset) to represent all these incompleteness issues. Testing two state-of-the-art KBQA models (trained on original GrailQA as well as our GrailQAbility), we find that both models struggle to detect unanswerable questions, or sometimes detect them for the wrong reasons. Consequently, both models suffer significant loss in performance, underscoring the need for further research in making KBQA systems robust to unanswerability.

知识库问题的最现有的方法接听（KBQA）关注特定的基础知识库，原因是该方法的固有假设，或者因为在不同的知识库上评估它需要非琐碎的变化。然而，许多流行知识库在其潜在模式中的相似性份额可以利用，以便于跨知识库的概括。为了实现这一概念化，我们基于2级架构介绍了一个KBQA框架，该架构明确地将语义解析与知识库交互分开，促进了数据集和知识图中的转移学习。我们表明，具有不同潜在知识库的数据集预先灌注可以提供显着的性能增益并降低样本复杂性。我们的方法可实现LC-Quad（DBPedia），WEDQSP（FreeBase），简单问话（Wikidata）和MetaQA（WikiMovies-KG）的可比性或最先进的性能。

Parsing natural language questions into executable logical forms is a useful and interpretable way to perform question answering on structured data such as knowledge bases (KB) or databases (DB). However, existing approaches on semantic parsing cannot adapt to both modalities, as they suffer from the exponential growth of the logical form candidates and can hardly generalize to unseen data. In this work, we propose Uni-Parser, a unified semantic parser for question answering (QA) on both KB and DB. We introduce the primitive (relation and entity in KB, and table name, column name and cell value in DB) as an essential element in our framework. The number of primitives grows linearly with the number of retrieved relations in KB and DB, preventing us from dealing with exponential logic form candidates. We leverage the generator to predict final logical forms by altering and composing topranked primitives with different operations (e.g. select, where, count). With sufficiently pruned search space by a contrastive primitive ranker, the generator is empowered to capture the composition of primitives enhancing its generalization ability. We achieve competitive results on multiple KB and DB QA benchmarks more efficiently, especially in the compositional and zero-shot settings.

在知识库（KBQA）上回答的问题对语义解析研究提出了一个独特的挑战，这是由于两个相互交织的挑战：大大的搜索空间和模式链接中的歧义。基于常规排名的KBQA模型依靠候选枚举步骤来减少搜索空间，在预测复杂查询方面具有灵活性而挣扎并具有不切实际的运行时间。在本文中，我们提出了Arcaneqa，这是一个基于新的一代模型，它既解决统一框架中的大型搜索空间和架构将挑战联系起来的挑战，以及两种相互增强的成分：动态程序诱导，以解决大型搜索空间和动态上下文化的编码，以用于模式链接。多个流行KBQA数据集的实验结果证明了Arcaneqa在有效性和效率方面的竞争性能高。

从头开始解决复杂问题通常是有挑战性的，但如果我们可以访问其解决方案的其他类似问题，则更容易 - 一种称为基于案例的推理（CBR）的范式。我们提出了一种神经象征性的CBR方法（CBR-KBQA），用于在大知识库上应答。 CBR-KBQA由非参数内存组成，该内存存储案例（问题和逻辑表单）和参数模型，该参数模型可以通过检索与其相关的案例来为新问题生成逻辑表单。在包含复杂问题的几个KBQA数据集上，CBR-KBQA实现了竞争性能。例如，在ComplexWebQuestions数据集上，CBR-KBQA以11 \％的准确度优于当前最新状态。此外，我们表明CBR-KBQA能够使用新案例\ EMPH {没有}任何进一步的培训：通过在案例存储器中纳入一些人类标记的示例，CBR-KBQA能够成功地生成包含未经看线KB实体的逻辑表格以及关系。

知识图表（kg）作为从大型自然语言文本语料库中举行蒸馏信息的伟大工具。查询知识图表的自然语言问题对于这些信息的人类消费至关重要。通常通过将自然语言查询转换为结构化查询，然后在kg上触发结构化查询来解决此问题。在文献中的知识图中直接回答模型很少。查询转换模型和直接模型都需要与知识图表的域有关的特定培训数据。在这项工作中，我们将通过知识图表的自然语言问题转换为前提假设对的推理问题。使用培训的深度学习模型进行转换后的代理推理问题，我们为原始自然语言查询问题提供了解决方案。我们的方法在MetaQA数据集中实现了超过90％的准确性，击败现有的最先进。我们还提出了一种推论称为分层复发路径编码器（HRPE）的模型。可以微调推断模型以跨越跨越培训数据的域使用。我们的方法不需要大型域特定的培训数据来查询来自不同域的新知识图表。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

深度学习的最新进展极大地推动了语义解析的研究。此后，在许多下游任务中进行了改进，包括Web API的自然语言接口，文本到SQL的生成等。但是，尽管与这些任务有着密切的联系，但有关知识库的问题的研究（KBQA）的进展相对缓慢。我们将其确定并归因于KBQA的两个独特挑战，模式级的复杂性和事实级别的复杂性。在这项调查中，我们将KBQA放置在更广泛的语义解析文献中，并全面说明了现有的KBQA方法如何试图应对独特的挑战。无论面临什么独特的挑战，我们都认为我们仍然可以从语义解析的文献中汲取太大的灵感，这被现有的KBQA研究所忽略了。基于我们的讨论，我们可以更好地了解当前KBQA研究的瓶颈，并阐明KBQA的有希望的方向，以跟上语义解析的文献，尤其是在预训练的语言模型时代。

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HOTPOTQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HOTPOTQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

最近的开放式域问题回答表明，新颖的测试问题之间的模型性能和那些在很大程度上与培训问题重叠的模型性能存在很大差异。然而，目前尚不清楚新颖的问题的哪些方面使他们成为挑战。在进行系统泛化的研究时，我们根据三个类别介绍和注释问题，这些类别测量了不同的水平和概括的种类：培训设定重叠，组成泛化（Comp-Gen）和新颖的实体概括（新实体）。在评估六个流行的参数和非参数模型时，我们发现，对于既定的自然问题和TriviaQA数据集，即使是Comp-Gen /新颖实体的最强的模型性能也是13.1 / 5.4％和9.6 / 1.5％，而与此相比降低对于完整的测试集 - 表示这些类型的问题所带来的挑战。此外，我们表明，虽然非参数模型可以相对良好地处理含有新颖实体的问题，但它们与那些需要组成泛化的问题斗争。最后，我们发现关键问题是：来自检索组件的级联错误，问题模式的频率和实体的频率。

在知识库（复杂KBQA）上回答的复杂问题是具有挑战性的，因为它需要各种组成推理功能，例如多跳推断，属性比较，集合操作。现有的基准有一些缺点，这些缺点限制了复杂的KBQA的发展：1）它们仅提供质量检查对而没有明确的推理过程； 2）问题的多样性或规模很差。为此，我们介绍了KQA Pro，这是一个用于复杂KBQA的数据集，包括〜120k多样化的自然语言问题。我们引入了一种构图和可解释的编程语言KOPL，以表示复杂问题的推理过程。对于每个问题，我们都提供相应的KOPL程序和SPARQL查询，因此KQA Pro可用于KBQA和语义解析任务。实验结果表明，SOTA KBQA方法无法像当前数据集上的KQA Pro上实现有希望的结果，这表明KQA Pro具有挑战性，复杂的KBQA需要进一步的研究工作。我们还将KQA Pro视为用于测试多种推理技能的诊断数据集，对现有模型进行彻底评估，并讨论复杂KBQA的进一步说明。我们的代码和数据集可以从https://github.com/shijx12/kqapro_baselines获得。

每年国际语义网络会议组织一套语义网络挑战，以建立将在一些问题领域推进最先进的解决方案的竞争。语义答案类型和关系预测任务（SMART）任务是ISWC 2021语义网络挑战之一。这是在ISWC 2020成功智能2020后的挑战的第二年。今年的版本侧重于两个对知识库问题应答（KBQA）的非常重要的子任务：答案类型预测和关系预测。问题类型和答案类型预测可以在知识库问题应答系统中发挥关键作用，提供关于有助于生成正确查询或排名答案候选人的预期答案的见解。鉴于自然语言的问题更具体地说，第一个任务是使用目标本体预测答案类型（例如，DBPedia或Wikidata。类似地，第二个任务是识别自然语言查询中的关系并将它们链接到目标本体中的关系。本文讨论了任务描述，基准数据集和评估指标。有关更多信息，请访问https://smart-task.github.io/2021/。

访问公共知识库中可用的大量信息可能对那些不熟悉的SPARQL查询语言的用户可能很复杂。SPARQL中自然语言提出的问题的自动翻译有可能克服这个问题。基于神经机翻译的现有系统非常有效，但在识别出识别出训练集的词汇（OOV）的单词中很容易失败。查询大型本体的时，这是一个严重的问题。在本文中，我们将命名实体链接，命名实体识别和神经计算机翻译相结合，以将自然语言问题的自动转换为SPARQL查询。我们凭经验证明，我们的方法比在纪念碑，QALD-9和LC-QUAD V1上运行实验，我们的方法比现有方法更有效，并且对OOV单词进行了更有效的，并且是现有的方法，这些方法是众所周知的DBPedia的相关数据集。

Structured tabular data exist across nearly all fields. Reasoning task over these data aims to answer questions or determine the truthiness of hypothesis sentences by understanding the semantic meaning of a table. While previous works have devoted significant efforts to the tabular reasoning task, they always assume there are sufficient labeled data. However, constructing reasoning samples over tables (and related text) is labor-intensive, especially when the reasoning process is complex. When labeled data is insufficient, the performance of models will suffer an unendurable decline. In this paper, we propose a unified framework for unsupervised complex tabular reasoning (UCTR), which generates sufficient and diverse synthetic data with complex logic for tabular reasoning tasks, assuming no human-annotated data at all. We first utilize a random sampling strategy to collect diverse programs of different types and execute them on tables based on a "Program-Executor" module. To bridge the gap between the programs and natural language sentences, we design a powerful "NL-Generator" module to generate natural language sentences with complex logic from these programs. Since a table often occurs with its surrounding texts, we further propose novel "Table-to-Text" and "Text-to-Table" operators to handle joint table-text reasoning scenarios. This way, we can adequately exploit the unlabeled table resources to obtain a well-performed reasoning model under an unsupervised setting. Our experiments cover different tasks (question answering and fact verification) and different domains (general and specific), showing that our unsupervised methods can achieve at most 93% performance compared to supervised models. We also find that it can substantially boost the supervised performance in low-resourced domains as a data augmentation technique. Our code is available at https://github.com/leezythu/UCTR.

We present TriviaQA, a challenging reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K questionanswer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions. We show that, in comparison to other recently introduced large-scale datasets, TriviaQA (1) has relatively complex, compositional questions, (2) has considerable syntactic and lexical variability between questions and corresponding answer-evidence sentences, and (3) requires more cross sentence reasoning to find answers. We also present two baseline algorithms: a featurebased classifier and a state-of-the-art neural network, that performs well on SQuAD reading comprehension. Neither approach comes close to human performance (23% and 40% vs. 80%), suggesting that Trivi-aQA is a challenging testbed that is worth significant future study. 1

语义解析数据集可以收集昂贵。此外，即使是与给定域的相关问题，它是语义解析系统的输入，也可能不容易获得，尤其是跨域语义解析。这使得数据增强更具挑战性。现有方法综合新数据使用手工制作或诱导规则，需要大量的工程努力和语言专业知识来实现​​良好的覆盖和精度，这限制了可扩展性。在这项工作中，我们提出了一种纯粹的神经网络，用于语义解析的语义解析，完全消除对语法工程的需要，同时实现更高的语义解析精度。此外，我们的方法可以在零拍摄设置中合成，其中只有新域模式没有新域的任何输入输出示例。在蜘蛛跨域文本到SQL语义解析基准测试中，我们使用我们的零射击增强实现了开发集的最先进的性能（77.2％的准确性）。

在商业航空域中，有大量文件，例如事故报告（NTSB，ASRS）和监管指令（ADS）。有必要有效地访问这些多样化的存储库，以便在航空业中的服务需求，例如维护，合规性和安全性。在本文中，我们提出了一个基于深度学习的知识图（kg）基于深度学习（DL）的问题答案（QA）航空安全系统。我们从飞机事故报告中构建了知识图，并向研究人员社区贡献了这一资源。该资源的功效由上述质量保证系统测试和证明。根据上述文档构建的自然语言查询将转换为SPARQL（RDF图数据库的接口语言）查询并回答。在DL方面，我们有两个不同的质量检查模型：（i）BERT QA，它是通道检索（基于句子的）和问题答案（基于BERT）的管道，以及（ii）最近发布的GPT-3。我们根据事故报告创建的一系列查询评估系统。我们组合的QA系统在GPT-3上的准确性增长了9.3％，比Bert QA增加了40.3％。因此，我们推断出KG-DL的性能比单一表现更好。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

知识图形问题应答（kgqa）涉及使用自然语言查询从知识图（kg）中检索事实。 KG是由关系相关的实体组成的策划事实集。某些事实还包括形成时间kg（tkg）的时间信息。虽然许多自然问题涉及显式或隐含的时间限制，但TKGS上的问题应答（QA）是一个相对未开发的地区。现有解决方案主要是为简单的时间问题设计，可以通过单个TKG事实直接回答。本文提出了一种全面的嵌入式框架，用于回答TKGS的复杂问题。我们的方法被称为时间问题推理（TempoQR）利用TKG Embeddings将问题与其指的特定实体和时间范围进行地面。它通过使用三个专用模块增强与上下文，实体和时空信息的问题嵌入问题。第一个计算给定问题的文本表示，第二个将其与所涉及的实体的实体嵌入物组合，第三个生成特定于特定于问题的时间嵌入。最后，基于变换器的编码器学习用问题表示来融合生成的时间信息，该问题表示用于答案预测。广泛的实验表明，TempoQR在最先进的方法上通过25-45个百分点提高了25--45个百分点，并且它将更好地概括到未经说明的问题类型。