深度学习模型在各种自然语言处理任务中设置了基准。然而，这些模型需要巨大的培训数据，这在许多实际问题中是不可行的。虽然各种技术如域适应，但是几个学习技术解决了这个问题，我们介绍了一种积极地将外部知识的新技术引入学习以解决低数据制度问题。我们提出了一种称为Actknow的技术，它基于知识图（KG）的“按需”在学习中，激发了知识图表（KG）的知识（QA）。通过从概念网络中注入世界知识，我们对基于文本的基于文本的变压器模型的临时挑战 - 在低数据制度中的变压器模型上显示了显着的改进。例如，通过仅使用20％的训练示例，我们分别证明了弧形挑战和OpenBookQA的准确性提高了4％。

知识图表（kg）作为从大型自然语言文本语料库中举行蒸馏信息的伟大工具。查询知识图表的自然语言问题对于这些信息的人类消费至关重要。通常通过将自然语言查询转换为结构化查询，然后在kg上触发结构化查询来解决此问题。在文献中的知识图中直接回答模型很少。查询转换模型和直接模型都需要与知识图表的域有关的特定培训数据。在这项工作中，我们将通过知识图表的自然语言问题转换为前提假设对的推理问题。使用培训的深度学习模型进行转换后的代理推理问题，我们为原始自然语言查询问题提供了解决方案。我们的方法在MetaQA数据集中实现了超过90％的准确性，击败现有的最先进。我们还提出了一种推论称为分层复发路径编码器（HRPE）的模型。可以微调推断模型以跨越跨越培训数据的域使用。我们的方法不需要大型域特定的培训数据来查询来自不同域的新知识图表。

今天的大部分AI系统都专注于使用自我关注机制和变压器架构在大量多样化的数据中实现令人印象深刻的性能收益。在本文中，我们建议使用外部注意机制增强变压器架构，以带来外部知识和背景。通过将外部信息集成到预测过程中，我们希望减少对更大的模型的需求，并增加AI系统的民主化。我们发现所提出的外部注意机制可以显着提高现有AI系统的性能，使从业者可以轻松地将基础AI模型自定义到许多不同的下游应用程序。特别是，我们专注于勤杂朗语推理的任务，展示所提出的外部注意机制可以增加现有的变压器模型，并显着提高模型的推理能力。拟议的系统，知识外部关注推理（Kear），达到了开放的铜商QA研究基准的人类奇偶校验，其准确性为89.4 \％，与人类准确性为88.9 \％。

现有的kg增强模型用于问题回答主要专注于设计精心图形神经网络（GNN）以模拟知识图（KG）。但是，它们忽略了（i）有效地融合和推理过问题上下文表示和kg表示，并且（ii）在推理期间自动从嘈杂的KG中选择相关节点。在本文中，我们提出了一种新颖的型号，其通过LMS和GNN的联合推理和动态KGS修剪机制解决了上述限制。具体而言，ConntLK通过新的密集双向注意模块在LMS和GNN之间执行联合推理，其中每个问题令牌参加KG节点，每个KG节点都会参加问题令牌，并且两个模态表示熔断和通过多次熔断和更新。步互动。然后，动态修剪模块使用通过联合推理产生的注意重量来递归修剪无关的kg节点。我们在CommanSENSEQA和OpenBookQA数据集上的结果表明，我们的模态融合和知识修剪方法可以更好地利用相关知识来推理。

这项工作调查了以知识图（kg）形式的外部知识来源的理解问题的学习和推理的挑战。我们提出了一种新型的图形神经网络体系结构，称为动态相关图形网络（DRGN）。 DRGN根据问题和答案实体在给定的KG子图上运行，并使用节点之间的相关得分来动态建立新的边缘，以在图形网络中学习节点表示。相关性的这种显式用法作为图表具有以下优点，a）模型可以利用现有关系，重新缩放节点权重，并影响邻里节点的表示方式在kg子图中汇总的方式，b）恢复推理所需的千克中缺失的边缘。此外，作为副产品，由于考虑了问题节点与图形实体之间的相关性，我们的模型改善了处理负面问题。与最新发布的结果相比，我们提出的方法在两个质量检查基准CommonSenseQA和OpenBookQA上显示了竞争性能。

使用从预先接受训练的语言模型（LMS）和知识图表（LMS）和知识图表（kgs）回答问题的问题提出了两个挑战：给定QA上下文（问答选择），方法需要（i）从大型千克识别相关知识，（ii）对QA上下文和kg进行联合推理。在这项工作中，我们提出了一种新的模型，QA-GNN，它通过两个关键创新解决了上述挑战：（i）相关评分，我们使用LMS来估计KG节点相对于给定的QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和kg连接到联合图，并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型（CommanSeaseQA，OpenBookQA）和生物医学（MedQa-USMLE）域名。QA-GNN优于现有的LM和LM + kg模型，并表现出可解释和结构化推理的能力，例如，正确处理问题的否定。

预训练的语言模型（PTLM）已显示出在自然语言任务上表现良好。许多先前的作品都以通过知识图（KGS）标记的关系链接的实体的形式利用结构性常识来协助PTLM。检索方法使用kg作为单独的静态模块，该模块限制了覆盖范围，因为kgs包含有限的知识。生成方法训练PTLMS kg三倍以提高获得知识的规模。但是，对符号KG实体的培训限制了其在涉及自然语言文本的任务中的适用性，在这些任务中，它们忽略了整体上下文。为了减轻这种情况，我们提出了一个以句子为条件的常识性上下文化器（COSE-CO）作为输入，以使其在生成与输入文本的整体上下文相关的任务中通常可用。为了训练Cose-Co，我们提出了一个新的数据集，其中包括句子和常识知识对。 COSE-CO推断出的知识是多种多样的，并且包含了基础KG中不存在的新实体。我们增强了在多选质量质量检查和开放式常识性推理任务中产生的知识，从而改善了CSQA，ARC，QASC和OBQA数据集的当前最佳方法。我们还展示了其在改善释义生成任务的基线模型方面的适用性。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

Question Answering (QA) is a task that entails reasoning over natural language contexts, and many relevant works augment language models (LMs) with graph neural networks (GNNs) to encode the Knowledge Graph (KG) information. However, most existing GNN-based modules for QA do not take advantage of rich relational information of KGs and depend on limited information interaction between the LM and the KG. To address these issues, we propose Question Answering Transformer (QAT), which is designed to jointly reason over language and graphs with respect to entity relations in a unified manner. Specifically, QAT constructs Meta-Path tokens, which learn relation-centric embeddings based on diverse structural and semantic relations. Then, our Relation-Aware Self-Attention module comprehensively integrates different modalities via the Cross-Modal Relative Position Bias, which guides information exchange between relevant entities of different modalities. We validate the effectiveness of QAT on commonsense question answering datasets like CommonsenseQA and OpenBookQA, and on a medical question answering dataset, MedQA-USMLE. On all the datasets, our method achieves state-of-the-art performance. Our code is available at http://github.com/mlvlab/QAT.

语言模型（LM）是否可以通过固有的关系推理能力在知识库中的地面问题解决方案（QA）任务？尽管以前仅使用LMS的模型在许多质量检查任务上都看到了一些成功，但最新的方法包括知识图（KG），以补充LMS的逻辑驱动的隐式知识。但是，有效从结构化数据（例如KGS）中提取信息，使LMS保持开放性问题，并且当前模型依靠图形技术来提取知识。在本文中，我们建议仅利用LMS将基于知识的问题的语言和知识与灵活性，覆盖范围和结构化推理相结合。具体而言，我们设计了一种知识构建方法，该方法可以通过动态跳跃来检索相关背景，该方法比传统的基于GNN的技术表达了更全面的。我们设计了一种深层融合机制，以进一步弥合语言和知识之间交换瓶颈的信息。广泛的实验表明，我们的模型始终证明了其对CommenSensenSENSENSESQA基准测试的最先进性能，从而展示了仅利用LMS将LMS稳健地质量质量质量质量质量固定到知识库的可能性。

Biomedical knowledge graphs (KG) are heterogenous networks consisting of biological entities as nodes and relations between them as edges. These entities and relations are extracted from millions of research papers and unified in a single resource. The goal of biomedical multi-hop question-answering over knowledge graph (KGQA) is to help biologist and scientist to get valuable insights by asking questions in natural language. Relevant answers can be found by first understanding the question and then querying the KG for right set of nodes and relationships to arrive at an answer. To model the question, language models such as RoBERTa and BioBERT are used to understand context from natural language question. One of the challenges in KGQA is missing links in the KG. Knowledge graph embeddings (KGE) help to overcome this problem by encoding nodes and edges in a dense and more efficient way. In this paper, we use a publicly available KG called Hetionet which is an integrative network of biomedical knowledge assembled from 29 different databases of genes, compounds, diseases, and more. We have enriched this KG dataset by creating a multi-hop biomedical question-answering dataset in natural language for testing the biomedical multi-hop question-answering system and this dataset will be made available to the research community. The major contribution of this research is an integrated system that combines language models with KG embeddings to give highly relevant answers to free-form questions asked by biologists in an intuitive interface. Biomedical multi-hop question-answering system is tested on this data and results are highly encouraging.

使用知识图（KGS）增强预培训的语言模型在各种型号推理任务方面取得了成功。但是，对于给定的任务实例，kg或kg的某些部分可能没有用。虽然kg-cugmented模型经常使用注意力集中在特定的kg组件上，但仍然始终使用kg，并且从未明确教授应该使用关注机制。同时，显着性方法可以测量kg特征（例如，图形，节点，路径）对模型进行正确预测的影响，从而解释了哪个kg特征是有用的。本文探讨了可用于提高kg增强模型的性能的显着性解释。首先，我们建议创建粗（是kg有用的？）和精细（kg中的节点/路径是有用的？）显着解释。其次，为了激励基于显着的监督，我们分析了Oracle kg-angimented模型，即直接使用显着解释作为引导他们注意的额外输入。第三，我们提出Salkg，kg-ug-anded模型的框架，以从粗糙和/或罚款解释中学习。给定从任务的培训集创建的显着解释，Salkg共同列举模型来预测解释，然后通过参加预测的解释突出显示的kg功能来解决任务。在三个型号QA基准（CSQA，OBQA，Codah）和一系列KG增强模型中，我们表明Salkg可以产生相当大的性能增益 - 对CSQA的绝对改善高达2.76％。

知识库问题的最现有的方法接听（KBQA）关注特定的基础知识库，原因是该方法的固有假设，或者因为在不同的知识库上评估它需要非琐碎的变化。然而，许多流行知识库在其潜在模式中的相似性份额可以利用，以便于跨知识库的概括。为了实现这一概念化，我们基于2级架构介绍了一个KBQA框架，该架构明确地将语义解析与知识库交互分开，促进了数据集和知识图中的转移学习。我们表明，具有不同潜在知识库的数据集预先灌注可以提供显着的性能增益并降低样本复杂性。我们的方法可实现LC-Quad（DBPedia），WEDQSP（FreeBase），简单问话（Wikidata）和MetaQA（WikiMovies-KG）的可比性或最先进的性能。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

预训练的语言模型（PLM）在各种自然语言理解任务上取得了巨大的成功。另一方面，对PLM的简单微调对于特定于领域的任务可能是次优的，因为它们不可能涵盖所有域中的知识。尽管PLM的自适应预培训可以帮助他们获得特定于领域的知识，但需要大量的培训成本。此外，自适应预训练可能会通过造成灾难性忘记其常识来损害PLM在下游任务上的表现。为了克服PLM适应性适应性预训练的这种局限性，我们提出了一个新颖的域名适应框架，用于将PLMS创造为知识增强语言模型适应性（KALA），该框架调节了PLM的中间隐藏表示与域中的中间隐藏表示，由实体和实体和实体和实体和实体构成他们的关系事实。我们验证了Kala在问题答案中的性能，并在各个域的多个数据集上命名实体识别任务。结果表明，尽管在计算上有效，但我们的Kala在很大程度上优于适应性预训练。代码可在以下网址获得：https：//github.com/nardien/kala/。

关于时间知识图（TKGQA）的问题回答最近发现兴趣越来越大。 TKGQA需要时间推理技术来从时间知识库中提取相关信息。唯一现有的TKGQA数据集，即cronquestions，由基于固定时间段内的事实组成，其中跨越同一时期的时间知识图（TKG）可以完全使用用于答案推断，允许使用TKGQA模型。即将根据过去事实回答问题的未来知识。但是，在现实世界的情况下，鉴于到目前为止的知识也很常见，我们希望TKGQA系统回答询问未来的问题。随着人类不断寻求未来计划，建立用于回答此类预测问题的TKGQA系统很重要。然而，这在先前的研究中仍未得到探索。在本文中，我们提出了一个新的任务：关于时间知识图的预测问题。我们还为此任务提出了一个大规模的TKGQA基准数据集，即预测。它包括三种类型的问题，即实体预测，不是和事实推理问题。对于我们数据集中的每个预测问题，QA模型只能在给定问题中注释的时间戳以进行答案推理之前访问TKG信息。我们发现，最先进的TKGQA方法在预测问题上的表现较差，并且他们无法回答不是问题和事实推理问题。为此，我们提出了一种TKGQA模型预测，该模型采用TKG预测模块进行未来推断，以回答所有三种类型的问题。实验结果表明，预测到实体预测问题的最新方法优于最近的TKGQA方法，并且在回答其他两种类型的问题方面也显示出很大的有效性。

本文介绍了DIFF解释器，这是可解释的多跳推断的第一个混合框架，该框架通过可区分的凸优化将明确的约束与神经体系结构集成在一起。具体而言，DIFF解释器允许在受限的优化框架内微调神经表示，以回答和解释自然语言的多跳问题。为了证明混合框架的功效，我们将现有的基于ILP的求解器与基于变压器的表示相结合。对科学和常识性质量检查任务的广泛经验评估表明，在端到端可区分框架中明确约束的整合可以显着改善非不同可差异ILP求解器的性能（8.91％-13.3％）。此外，其他分析表明，与独立的变压器和以前的多跳方法相比，DIFF解释器能够实现强大的性能，同时仍提供结构化解释以支持其预测。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。