Answering complex questions over textual resources remains a challenging problem$\unicode{x2013}$especially when interpreting the fine-grained relationships among multiple entities that occur within a natural-language question or clue. Curated knowledge bases (KBs), such as YAGO, DBpedia, Freebase and Wikidata, have been widely used in this context and gained great acceptance for question-answering (QA) applications in the past decade. While current KBs offer a concise representation of structured knowledge, they lack the variety of formulations and semantic nuances as well as the context of information provided by the natural-language sources. With BigText-QA, we aim to develop an integrated QA system which is able to answer questions based on a more redundant form of a knowledge graph (KG) that organizes both structured and unstructured (i.e., "hybrid") knowledge in a unified graphical representation. BigText-QA thereby is able to combine the best of both worlds$\unicode{x2013}$a canonical set of named entities, mapped to a structured background KB (such as YAGO or Wikidata), as well as an open set of textual clauses providing highly diversified relational paraphrases with rich context information.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

基于本体的自然语言理解方法（NLU）处理允许改进对话系统中质量的问题。我们描述了我们的NLU发动机架构并评估其实施。该发动机将用户输入转换为SPARQL选择，询问或将查询插入由基于本体的数据虚拟化平台提供的知识图表。转型基于根据OntoLEX本体构建的知识图表的词汇水平。所描述的方法可以应用于图形数据群体任务和问题应答系统实现，包括聊天机器人。我们描述了聊天机器人的对话引擎，可以保持对话背景并提出澄清问题，模拟人类逻辑思维的一些方面。我们的方法使用基于图形的算法来避免在基于神经网络的方法中所需的数据集，并提供更好的可解释模型。使用问题应答引擎与公司数据源相结合的数据虚拟化层允许从结构化数据中提取事实以在会话中使用。

Wikidata是一个经常更新，社区驱动和多语言知识图形。因此，Wikidata是实体联系的一个有吸引力的基础，这是最近发表论文的增加显而易见的。该调查侧重于四个主题：（1）存在哪些Wikidata实体链接数据集，它们是多么广泛使用，它们是如何构建的？ （2）对实体联系数据集的设计进行Wikidata的特点，如果是的话，怎么样？ （3）当前实体链接方法如何利用Wikidata的特定特征？ （4）现有实体链接方法未开发哪种Wikidata特征？本次调查显示，当前的Wikidata特定实体链接数据集在其他知识图表中的方案中的注释方案中没有不同。因此，没有提升多语言和时间依赖数据集的可能性，是自然适合维基帽的数据集。此外，我们表明大多数实体链接方法使用Wikidata以与任何其他知识图相同的方式，因为任何其他知识图都缺少了利用Wikidata特定特征来提高质量的机会。几乎所有方法都使用标签等特定属性，有时是描述，而是忽略超关系结构等特征。因此，例如，通过包括超关系图嵌入或类型信息，仍有改进的余地。许多方法还包括来自维基百科的信息，这些信息很容易与Wikidata组合并提供有价值的文本信息，Wikidata缺乏。

在商业航空域中，有大量文件，例如事故报告（NTSB，ASRS）和监管指令（ADS）。有必要有效地访问这些多样化的存储库，以便在航空业中的服务需求，例如维护，合规性和安全性。在本文中，我们提出了一个基于深度学习的知识图（kg）基于深度学习（DL）的问题答案（QA）航空安全系统。我们从飞机事故报告中构建了知识图，并向研究人员社区贡献了这一资源。该资源的功效由上述质量保证系统测试和证明。根据上述文档构建的自然语言查询将转换为SPARQL（RDF图数据库的接口语言）查询并回答。在DL方面，我们有两个不同的质量检查模型：（i）BERT QA，它是通道检索（基于句子的）和问题答案（基于BERT）的管道，以及（ii）最近发布的GPT-3。我们根据事故报告创建的一系列查询评估系统。我们组合的QA系统在GPT-3上的准确性增长了9.3％，比Bert QA增加了40.3％。因此，我们推断出KG-DL的性能比单一表现更好。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

过去十年互联网上可用的信息和信息量增加。该数字化导致自动应答系统需要从冗余和过渡知识源中提取富有成效的信息。这些系统旨在利用自然语言理解（NLU）从此巨型知识源到用户查询中最突出的答案，从而取决于问题答案（QA）字段。问题答案涉及但不限于用户问题映射的步骤，以获取相关查询，检索相关信息，从检索到的信息等找到最佳合适的答案等。当前对深度学习模型的当前改进估计所有这些任务的令人信服的性能改进。在本综述工作中，根据问题的类型，答案类型，证据答案来源和建模方法进行分析QA场的研究方向。此细节随后是自动问题生成，相似性检测和语言的低资源可用性等领域的开放挑战。最后，提出了对可用数据集和评估措施的调查。

在该职位论文中，我们提出了一种新方法，以基于问题的产生和实体链接来生成文本的知识库（KB）。我们认为，所提出的KB类型具有传统符号KB的许多关键优势：尤其是由小型模块化组件组成，可以在组合上合并以回答复杂的查询，包括涉及“多跳跃”的关系查询和查询。“推论。但是，与传统的KB不同，该信息商店与常见的用户信息需求相符。

由于关键字相关互联网页面的返回，根据关键字检索的搜索引擎不再适应智能互联网时代的信息获取方式。如何快速，准确和有效地获取来自大规模互联网数据的用户所需的信息已成为迫切需要解决的关键问题之一。我们提出了一个基于结构化KB和非结构化数据的智能质疑答案系统，称为OpenQA，其中用户可以提供查询问题，并且模型可以快速向用户提供准确的答案。我们基于语义解析和深度表示学习的KBQA结构化问题回答，以及基于检索和神经机阅读理解的两级非结构化问题回答，并通过OpenQA中的变压器应答选择模块回归最高概率的最终答案。我们对我们构建的数据集进行了初步实验，实验结果证明了提出的智能问题应答系统的有效性。与此同时，OpenQA平台的每个模块的核心技术仍处于学术热点的最前沿，并基于这些学术热点进一步探索了OpenQA的理论本质和富集。

在过去的几年中，临床笔记中的问题回答（QA）引起了很多关注。临床领域中现有的机器阅读理解方法只能处理有关单个临床文本的问题，并且无法检索有关多个患者及其临床笔记的信息。为了处理更复杂的问题，我们旨在从临床注释中创建知识库，以将不同的患者和临床笔记联系起来，并进行知识基础问题答案（KBQA）。根据N2C2数据集中可用的专家注释，我们首先创建了ClinicalKBQA数据集，其中包括大约9K QA对，并使用300多个问题模板涵盖了有关七个医学主题的问题。然后，我们研究了KBQA的一种基于注意力的方面推理（AAR）方法，并分析了答案的不同方面（例如，实体，类型，路径和上下文）对预测的影响。由于设计精良的编码器和注意力机制，AAR方法可实现更好的性能。从我们的实验中，我们发现这两个方面，类型和路径都使模型能够识别满足一般条件的答案，并产生较低的精度和更高的回忆。另一方面，各个方面，实体和上下文通过特定于节点的信息限制答案，并导致更高的精度和较低的回忆。

关于概念及其属性的常识知识（CSK）有助于AI应用程序。诸如ConceptNet之类的先前作品已经编译了大型CSK集合。但是，它们的表现力限制在主题性 - 预处理（SPO）的三联元中，对p和o的s和字符串的简单概念。与先前的作品相比，CSK断言具有精致的表现力和更好的精度和回忆。 Ascent ++通过用子组和方面捕获复合概念，以及用语义方面的主张来捕获复合概念。后者对于表达断言和进一步预选赛的时间和空间有效性至关重要。此外，Ascent ++将开放信息提取（OpenIE）与典型性和显着性分数的明智清洁和排名相结合。对于高覆盖范围，我们的方法挖掘到具有广泛的Web内容的大规模爬网C4中。通过人类判断的评估显示了上升++ Kb的卓越质量，以及对QA支持任务的外部评估强调了Ascent ++的好处。可以在https://ascentpp.mpi-inf.mpg.de/上访问Web界面，数据和代码。

Across the financial domain, researchers answer complex questions by extensively "searching" for relevant information to generate long-form reports. This workshop paper discusses automating the construction of query-specific document and entity knowledge graphs (KGs) for complex research topics. We focus on the CODEC dataset, where domain experts (1) create challenging questions, (2) construct long natural language narratives, and (3) iteratively search and assess the relevance of documents and entities. For the construction of query-specific KGs, we show that state-of-the-art ranking systems have headroom for improvement, with specific failings due to a lack of context or explicit knowledge representation. We demonstrate that entity and document relevance are positively correlated, and that entity-based query feedback improves document ranking effectiveness. Furthermore, we construct query-specific KGs using retrieval and evaluate using CODEC's "ground-truth graphs", showing the precision and recall trade-offs. Lastly, we point to future work, including adaptive KG retrieval algorithms and GNN-based weighting methods, while highlighting key challenges such as high-quality data, information extraction recall, and the size and sparsity of complex topic graphs.

Relation extraction (RE) is a sub-discipline of information extraction (IE) which focuses on the prediction of a relational predicate from a natural-language input unit (such as a sentence, a clause, or even a short paragraph consisting of multiple sentences and/or clauses). Together with named-entity recognition (NER) and disambiguation (NED), RE forms the basis for many advanced IE tasks such as knowledge-base (KB) population and verification. In this work, we explore how recent approaches for open information extraction (OpenIE) may help to improve the task of RE by encoding structured information about the sentences' principal units, such as subjects, objects, verbal phrases, and adverbials, into various forms of vectorized (and hence unstructured) representations of the sentences. Our main conjecture is that the decomposition of long and possibly convoluted sentences into multiple smaller clauses via OpenIE even helps to fine-tune context-sensitive language models such as BERT (and its plethora of variants) for RE. Our experiments over two annotated corpora, KnowledgeNet and FewRel, demonstrate the improved accuracy of our enriched models compared to existing RE approaches. Our best results reach 92% and 71% of F1 score for KnowledgeNet and FewRel, respectively, proving the effectiveness of our approach on competitive benchmarks.

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

知识图表问题基于信息检索旨在通过从大型知识图表中检索答案来回答问题来回答（即，kgqa）。大多数现有方法首先粗略地检索可能包含候选答案的知识子图（KSG），然后搜索子图中的确切答案。然而，粗略检索的KSG可以包含数千个候选节点，因为查询中涉及的知识图通常是大规模的。为了解决这个问题，我们首先建议通过新的子图分区算法将检索到的ksg分区为几个较小的子ksgs，然后呈现一个图形增强学习，以便测量模型以从中选择排名的子ksgs。我们所提出的模型结合了新的子图匹配网络，以捕获问题和子图中的全局交互以及增强的双边多视角匹配模型，以捕获局部交互。最后，我们分别在全KSG和排名级分ksg上应用答案选择模型，以验证我们提出的图形增强学习的效果。多个基准数据集的实验结果表明了我们方法的有效性。

We present TriviaQA, a challenging reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K questionanswer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions. We show that, in comparison to other recently introduced large-scale datasets, TriviaQA (1) has relatively complex, compositional questions, (2) has considerable syntactic and lexical variability between questions and corresponding answer-evidence sentences, and (3) requires more cross sentence reasoning to find answers. We also present two baseline algorithms: a featurebased classifier and a state-of-the-art neural network, that performs well on SQuAD reading comprehension. Neither approach comes close to human performance (23% and 40% vs. 80%), suggesting that Trivi-aQA is a challenging testbed that is worth significant future study. 1

除了以实体为中心的知识之外，通常组织为知识图（千克），事件也是世界上的必不可少的知识，这触发了活动以kg（ekg）等事件为中心的知识表示形式的春天。它在许多机器学习和人工智能应用中起着越来越重要的作用，例如智能搜索，问答，推荐和文本生成。本文提供了历史，本体实例和应用视图的ekg综合调查。具体而言，要彻底地表征EKG，我们专注于其历史，定义，架构归纳，获取，相关代表图形/系统和应用程序。其中研究了发展过程和趋势。我们进一步总结了透视方向，以促进对EKG的未来研究。

外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。