近年来，在挑战的多跳QA任务方面有令人印象深刻的进步。然而，当面对输入文本中的一些干扰时，这些QA模型可能会失败，并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句，这对测试基于实体的多跳推理能力有限。在本文中，我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定，这使我们能够将问题对齐到每个推理跳跃，从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题，以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明，对答案和支持事实预测的显着性能降低，验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

多跳的推理需要汇总多个文档来回答一个复杂的问题。现有方法通常将多跳问题分解为更简单的单跳问题，以解决说明可解释的推理过程的问题。但是，他们忽略了每个推理步骤的支持事实的基础，这往往会产生不准确的分解。在本文中，我们提出了一个可解释的逐步推理框架，以在每个中间步骤中同时合并单跳支持句子识别和单跳问题生成，并利用当前跳跃的推断，直到推理最终结果。我们采用统一的读者模型来进行中级跳跃推理和最终的跳跃推理，并采用关节优化，以更准确，强大的多跳上推理。我们在两个基准数据集HOTPOTQA和2WIKIMULTIHOPQA上进行实验。结果表明，我们的方法可以有效地提高性能，并在不分解监督的情况下产生更好的解释推理过程。

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HOTPOTQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HOTPOTQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.

多跳问题回答（QA）需要对多个文档进行推理，以回答一个复杂的问题并提供可解释的支持证据。但是，提供支持证据不足以证明模型已经执行了所需的推理来达到正确的答案。大多数现有的多跳质量检查方法也无法回答大部分子问题，即使他们的父母问题得到了正确的回答。在本文中，我们为多跳QA提出了基于及时的保护学习（PCL）框架，该框架从多跳QA任务中获取了新知识，同时保留了在单跳QA任务上学习的旧知识，从而减轻了遗忘。具体来说，我们首先在现有的单跳质量检查任务上训练模型，然后冻结该模型，并通过为多跳质量检查任务分配其他子网络来扩展它。此外，为了调整预训练的语言模型以刺激特定多跳问题所需的推理类型，我们学习了新型子网络的软提示，以执行特定于类型的推理。 HOTPOTQA基准测试的实验结果表明，PCL具有多跳质量质量质量检查的竞争力，并且在相应的单跳子问题上保留了良好的性能，这表明PCL通过忘记通过忘记来减轻知识丧失的功效。

在本文中，我们提出了多跳问题回答的两个阶段模型。第一阶段是一个层次图网络，该网络用于对多跳问题进行推理，并能够使用文档的自然结构（即段落，问题，句子和实体）捕获不同级别的粒度。推理过程是转换为节点分类任务（即，段落节点和句子节点）。第二阶段是语言模型微调任务。在一句话中，第一阶段使用图形神经网络选择和连接支持句子作为一个段落，第二阶段在语言模型微调范式中找到答案跨度。

Multi-hop Machine reading comprehension is a challenging task with aim of answering a question based on disjoint pieces of information across the different passages. The evaluation metrics and datasets are a vital part of multi-hop MRC because it is not possible to train and evaluate models without them, also, the proposed challenges by datasets often are an important motivation for improving the existing models. Due to increasing attention to this field, it is necessary and worth reviewing them in detail. This study aims to present a comprehensive survey on recent advances in multi-hop MRC evaluation metrics and datasets. In this regard, first, the multi-hop MRC problem definition will be presented, then the evaluation metrics based on their multi-hop aspect will be investigated. Also, 15 multi-hop datasets have been reviewed in detail from 2017 to 2022, and a comprehensive analysis has been prepared at the end. Finally, open issues in this field have been discussed.

有效的多跳问答（QA）需要在多个分散的段落上进行推理，并提供答案的解释。大多数现有方法无法提供可解释的推理过程，以说明这些模型如何得出答案。在本文中，我们提出了一种基于多跳QA的抽象含义表示形式（QDAMR）的问题分解方法，该方法通过将多跳问题分解为更简单的子问题并按顺序回答它们来实现可解释的推理。由于注释分解很昂贵，因此我们首先将理解多跳问题的复杂性委托给AMR解析器。然后，我们通过基于所需的推理类型对相应的AMR图进行分割实现多跳问题的分解。最后，我们使用AMR到文本生成模型生成子问题，并使用现成的QA模型回答它们。 HOTPOTQA的实验结果表明，我们的方法在可解释的推理方面具有竞争力，并且QDAMR产生的子问题是良好的，表现优于现有的基于问题分解的多跳质量质量检查方法。

这项工作调查了以知识图（kg）形式的外部知识来源的理解问题的学习和推理的挑战。我们提出了一种新型的图形神经网络体系结构，称为动态相关图形网络（DRGN）。 DRGN根据问题和答案实体在给定的KG子图上运行，并使用节点之间的相关得分来动态建立新的边缘，以在图形网络中学习节点表示。相关性的这种显式用法作为图表具有以下优点，a）模型可以利用现有关系，重新缩放节点权重，并影响邻里节点的表示方式在kg子图中汇总的方式，b）恢复推理所需的千克中缺失的边缘。此外，作为副产品，由于考虑了问题节点与图形实体之间的相关性，我们的模型改善了处理负面问题。与最新发布的结果相比，我们提出的方法在两个质量检查基准CommonSenseQA和OpenBookQA上显示了竞争性能。

快捷方式学习的问题在NLP中广为人知，并且近年来一直是重要的研究重点。数据中的意外相关性使模型能够轻松地求解旨在表现出高级语言理解和推理能力的任务。在本调查论文中，我们关注机器阅读理解的领域（MRC），这是展示高级语言理解的重要任务，这也遭受了一系列快捷方式。我们总结了用于测量和减轻快捷方式的可用技术，并以捷径研究进一步进展的建议结论。最重要的是，我们强调了MRC中缓解快捷方式的两个主要问题：缺乏公共挑战集，有效和可重复使用的评估的必要组成部分以及在其他领域中缺乏某些缓解技术。

We present TriviaQA, a challenging reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K questionanswer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions. We show that, in comparison to other recently introduced large-scale datasets, TriviaQA (1) has relatively complex, compositional questions, (2) has considerable syntactic and lexical variability between questions and corresponding answer-evidence sentences, and (3) requires more cross sentence reasoning to find answers. We also present two baseline algorithms: a featurebased classifier and a state-of-the-art neural network, that performs well on SQuAD reading comprehension. Neither approach comes close to human performance (23% and 40% vs. 80%), suggesting that Trivi-aQA is a challenging testbed that is worth significant future study. 1

Multi-hop machine reading comprehension is a challenging task in natural language processing, which requires more reasoning ability across multiple documents. Spectral models based on graph convolutional networks grant inferring abilities and lead to competitive results. However, part of them still faces the challenge of analyzing the reasoning in a human-understandable way. Inspired by the concept of the Grandmother Cells in cognitive neuroscience, a spatial graph attention framework named ClueReader was proposed in this paper, imitating the procedure. This model is designed to assemble the semantic features in multi-level representations and automatically concentrate or alleviate information for reasoning via the attention mechanism. The name ClueReader is a metaphor for the pattern of the model: regard the subjects of queries as the start points of clues, take the reasoning entities as bridge points, consider the latent candidate entities as the grandmother cells, and the clues end up in candidate entities. The proposed model allows us to visualize the reasoning graph, then analyze the importance of edges connecting two entities and the selectivity in the mention and candidate nodes, which can be easier to be comprehended empirically. The official evaluations in the open-domain multi-hop reading dataset WikiHop and the Drug-drug Interactions dataset MedHop prove the validity of our approach and show the probability of the application of the model in the molecular biology domain.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

在该职位论文中，我们提出了一种新方法，以基于问题的产生和实体链接来生成文本的知识库（KB）。我们认为，所提出的KB类型具有传统符号KB的许多关键优势：尤其是由小型模块化组件组成，可以在组合上合并以回答复杂的查询，包括涉及“多跳跃”的关系查询和查询。“推论。但是，与传统的KB不同，该信息商店与常见的用户信息需求相符。

Label smoothing is a regularization technique widely used in supervised learning to improve the generalization of models on various tasks, such as image classification and machine translation. However, the effectiveness of label smoothing in multi-hop question answering (MHQA) has yet to be well studied. In this paper, we systematically analyze the role of label smoothing on various modules of MHQA and propose F1 smoothing, a novel label smoothing technique specifically designed for machine reading comprehension (MRC) tasks. We evaluate our method on the HotpotQA dataset and demonstrate its superiority over several strong baselines, including models that utilize complex attention mechanisms. Our results suggest that label smoothing can be effective in MHQA, but the choice of smoothing strategy can significantly affect performance.

使用从预先接受训练的语言模型（LMS）和知识图表（LMS）和知识图表（kgs）回答问题的问题提出了两个挑战：给定QA上下文（问答选择），方法需要（i）从大型千克识别相关知识，（ii）对QA上下文和kg进行联合推理。在这项工作中，我们提出了一种新的模型，QA-GNN，它通过两个关键创新解决了上述挑战：（i）相关评分，我们使用LMS来估计KG节点相对于给定的QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和kg连接到联合图，并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型（CommanSeaseQA，OpenBookQA）和生物医学（MedQa-USMLE）域名。QA-GNN优于现有的LM和LM + kg模型，并表现出可解释和结构化推理的能力，例如，正确处理问题的否定。

在现实世界中的问题回答场景中，将表格和文本内容均结合的混合形式吸引了越来越多的关注，其中数值推理问题是最典型和最具挑战性的问题之一。现有方法通常采用编码器框架来表示混合内容并生成答案。但是，它无法捕获编码器侧数值，表格架构和文本信息之间的丰富关系。解码器使用一个简单的预定义运算符分类器，该分类器的灵活性不足以处理具有不同表达式的数值推理过程。为了解决这些问题，本文提出了一个\ textbf {re} lational \ textbf {g} raph增强\ textbf {h} ybrid table-text \ textbf {n}带有\ textbf {t textbf {t text} ree decoder（\ textbff recoder（\ textbf） {reghnt}）。它模拟了对表 - 文本混合内容的回答的数值问题，作为表达树的生成任务。此外，我们提出了一种新颖的关系图建模方法，该方法模拟了问题，表和段落之间的对齐方式。我们验证了公开可用的Table-Text混合质量质量质量标准（TAT-QA）的模型。拟议的reghnt显着胜过基线模型，并实现最新结果\脚注{我们在〜\ url {https://github.com/lfy79001/reghnt}}}〜（20222）公开发布了源代码和数据-05-05）。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

大多数阅读理解的研究都集中在基于单个文档甚至单一段落的问题上回答问题。我们介绍了一个神经模型，该神经模型集成和理由依赖于文档中和跨多个文档中的信息传播。我们将其作为图表上的推理问题构图。提及实体是该图的节点，而边缘编码不同提及（例如，内部和跨文档的共同参考）之间的关系。图形卷积网络（GCN）应用于这些图形，并经过训练以执行多步电推理。我们的实体-GCN方法是可扩展的，紧凑的，它可以在答案数据集的多文件问题上获得最新的结果，Wikihop（Welbl等，2018）。

Standard accuracy metrics indicate that reading comprehension systems are making rapid progress, but the extent to which these systems truly understand language remains unclear.To reward systems with real language understanding abilities, we propose an adversarial evaluation scheme for the Stanford Question Answering Dataset (SQuAD). Our method tests whether systems can answer questions about paragraphs that contain adversarially inserted sentences, which are automatically generated to distract computer systems without changing the correct answer or misleading humans. In this adversarial setting, the accuracy of sixteen published models drops from an average of 75% F1 score to 36%; when the adversary is allowed to add ungrammatical sequences of words, average accuracy on four models decreases further to 7%. We hope our insights will motivate the development of new models that understand language more precisely. Article: Super Bowl 50 Paragraph: "Peyton Manning became the first quarterback ever to lead two different teams to multiple Super Bowls. He is also the oldest quarterback ever to play in a Super Bowl at age 39. The past record was held by John Elway, who led the Broncos to victory in Super Bowl XXXIII at age 38 and is currently Denver's Executive Vice President of Football Operations and General Manager. Quarterback Jeff Dean had jersey number 37 in Champ Bowl XXXIV." Question: "What is the name of the quarterback who was 38 in Super Bowl XXXIII?"