Label smoothing is a regularization technique widely used in supervised learning to improve the generalization of models on various tasks, such as image classification and machine translation. However, the effectiveness of label smoothing in multi-hop question answering (MHQA) has yet to be well studied. In this paper, we systematically analyze the role of label smoothing on various modules of MHQA and propose F1 smoothing, a novel label smoothing technique specifically designed for machine reading comprehension (MRC) tasks. We evaluate our method on the HotpotQA dataset and demonstrate its superiority over several strong baselines, including models that utilize complex attention mechanisms. Our results suggest that label smoothing can be effective in MHQA, but the choice of smoothing strategy can significantly affect performance.
translated by 谷歌翻译
多跳问题回答（QA）需要对多个文档进行推理，以回答一个复杂的问题并提供可解释的支持证据。但是，提供支持证据不足以证明模型已经执行了所需的推理来达到正确的答案。大多数现有的多跳质量检查方法也无法回答大部分子问题，即使他们的父母问题得到了正确的回答。在本文中，我们为多跳QA提出了基于及时的保护学习（PCL）框架，该框架从多跳QA任务中获取了新知识，同时保留了在单跳QA任务上学习的旧知识，从而减轻了遗忘。具体来说，我们首先在现有的单跳质量检查任务上训练模型，然后冻结该模型，并通过为多跳质量检查任务分配其他子网络来扩展它。此外，为了调整预训练的语言模型以刺激特定多跳问题所需的推理类型，我们学习了新型子网络的软提示，以执行特定于类型的推理。 HOTPOTQA基准测试的实验结果表明，PCL具有多跳质量质量质量检查的竞争力，并且在相应的单跳子问题上保留了良好的性能，这表明PCL通过忘记通过忘记来减轻知识丧失的功效。
translated by 谷歌翻译
Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.
translated by 谷歌翻译
Multi-hop Machine reading comprehension is a challenging task with aim of answering a question based on disjoint pieces of information across the different passages. The evaluation metrics and datasets are a vital part of multi-hop MRC because it is not possible to train and evaluate models without them, also, the proposed challenges by datasets often are an important motivation for improving the existing models. Due to increasing attention to this field, it is necessary and worth reviewing them in detail. This study aims to present a comprehensive survey on recent advances in multi-hop MRC evaluation metrics and datasets. In this regard, first, the multi-hop MRC problem definition will be presented, then the evaluation metrics based on their multi-hop aspect will be investigated. Also, 15 multi-hop datasets have been reviewed in detail from 2017 to 2022, and a comprehensive analysis has been prepared at the end. Finally, open issues in this field have been discussed.
translated by 谷歌翻译
多跳的推理需要汇总多个文档来回答一个复杂的问题。现有方法通常将多跳问题分解为更简单的单跳问题，以解决说明可解释的推理过程的问题。但是，他们忽略了每个推理步骤的支持事实的基础，这往往会产生不准确的分解。在本文中，我们提出了一个可解释的逐步推理框架，以在每个中间步骤中同时合并单跳支持句子识别和单跳问题生成，并利用当前跳跃的推断，直到推理最终结果。我们采用统一的读者模型来进行中级跳跃推理和最终的跳跃推理，并采用关节优化，以更准确，强大的多跳上推理。我们在两个基准数据集HOTPOTQA和2WIKIMULTIHOPQA上进行实验。结果表明，我们的方法可以有效地提高性能，并在不分解监督的情况下产生更好的解释推理过程。
translated by 谷歌翻译
Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HOTPOTQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HOTPOTQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.
translated by 谷歌翻译
问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。
translated by 谷歌翻译
远程变压器模型取得了令人鼓舞的令人鼓舞的结果，即长上下文问题应答（QA）任务。这些任务通常需要超过一个长文件的推理，并且他们受益于识别一组证据跨度（例如，句子），为解决问题提供支持证据。在这项工作中，我们提出了一种用于装备远程变压器的新方法，其具有额外的序列级目标，以便更好地识别支持证据跨度。我们通过提出FineTuning的额外对比监督信号来实现这一目标，鼓励模型通过最大化问题证据相似性来明确歧视来自消极的证据句。拟议的额外损失表现出三种不同强大的长情绪变压器模型的一致改进，跨两个具有挑战性的问题回答基准 - 热杆菌和Qasper。
translated by 谷歌翻译
Machine Reading Comprehension has become one of the most advanced and popular research topics in the fields of Natural Language Processing in recent years. The classification of answerability questions is a relatively significant sub-task in machine reading comprehension; however, there haven't been many studies. Retro-Reader is one of the studies that has solved this problem effectively. However, the encoders of most traditional machine reading comprehension models in general and Retro-Reader, in particular, have not been able to exploit the contextual semantic information of the context completely. Inspired by SemBERT, we use semantic role labels from the SRL task to add semantics to pre-trained language models such as mBERT, XLM-R, PhoBERT. This experiment was conducted to compare the influence of semantics on the classification of answerability for the Vietnamese machine reading comprehension. Additionally, we hope this experiment will enhance the encoder for the Retro-Reader model's Sketchy Reading Module. The improved Retro-Reader model's encoder with semantics was first applied to the Vietnamese Machine Reading Comprehension task and obtained positive results.
translated by 谷歌翻译
使用来自表格（TableQA）的信息回答自然语言问题是最近的兴趣。在许多应用程序中，表未孤立，但嵌入到非结构化文本中。通常，通过将其部分与表格单元格内容或非结构化文本跨度匹配，并从任一源中提取答案来最佳地回答问题。这导致了HybridQA数据集引入的TextableQA问题的新空间。现有的表格表示对基于变换器的阅读理解（RC）架构的适应性未通过单个系统解决两个表示的不同模式。培训此类系统因对遥远监督的需求而进一步挑战。为了降低认知负担，培训实例通常包括问题和答案，后者匹配多个表行和文本段。这导致嘈杂的多实例培训制度不仅涉及表的行，而且涵盖了链接文本的跨度。我们通过提出Mitqa来回应这些挑战，这是一个新的TextableQA系统，明确地模拟了表行选择和文本跨度选择的不同但密切相关的概率空间。与最近的基线相比，我们的实验表明了我们的方法的优越性。该方法目前在HybridQA排行榜的顶部，并进行了一个试验集，在以前公布的结果上实现了对em和f1的21％的绝对改善。
translated by 谷歌翻译
2020-04-20
在本文中，我们提出了多跳问题回答的两个阶段模型。第一阶段是一个层次图网络，该网络用于对多跳问题进行推理，并能够使用文档的自然结构（即段落，问题，句子和实体）捕获不同级别的粒度。推理过程是转换为节点分类任务（即，段落节点和句子节点）。第二阶段是语言模型微调任务。在一句话中，第一阶段使用图形神经网络选择和连接支持句子作为一个段落，第二阶段在语言模型微调范式中找到答案跨度。
translated by 谷歌翻译
大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。
translated by 谷歌翻译
在开放的书本回答（OBQA）任务中，从分散注意力的信息中选择相关段落和句子对于推理问题的答案至关重要。 HOTPOTQA数据集旨在教授和评估系统以进行段落排名和句子选择。许多现有框架使用单独的模型分别选择相关段落和句子。这样的系统不仅在模型的参数方面具有很高的复杂性，而且还无法将训练这两个任务训练在一起的优势，因为一项任务可能对另一个任务有益。在这项工作中，我们提出了一个简单而有效的框架，可以通过共同排名段落和选择句子来解决这些限制。此外，我们提出一致性和相似性约束，以促进段落排名和句子选择之间的相关性和相互作用。实验表明，我们的框架可以与以前的系统实现竞争性结果，并就相关句子的确切匹配而优于28 \％在HOTPOTQA数据集上。
translated by 谷歌翻译
近年来，在挑战的多跳QA任务方面有令人印象深刻的进步。然而，当面对输入文本中的一些干扰时，这些QA模型可能会失败，并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句，这对测试基于实体的多跳推理能力有限。在本文中，我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定，这使我们能够将问题对齐到每个推理跳跃，从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题，以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明，对答案和支持事实预测的显着性能降低，验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。
translated by 谷歌翻译
我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。
translated by 谷歌翻译
有效的多跳问答（QA）需要在多个分散的段落上进行推理，并提供答案的解释。大多数现有方法无法提供可解释的推理过程，以说明这些模型如何得出答案。在本文中，我们提出了一种基于多跳QA的抽象含义表示形式（QDAMR）的问题分解方法，该方法通过将多跳问题分解为更简单的子问题并按顺序回答它们来实现可解释的推理。由于注释分解很昂贵，因此我们首先将理解多跳问题的复杂性委托给AMR解析器。然后，我们通过基于所需的推理类型对相应的AMR图进行分割实现多跳问题的分解。最后，我们使用AMR到文本生成模型生成子问题，并使用现成的QA模型回答它们。 HOTPOTQA的实验结果表明，我们的方法在可解释的推理方面具有竞争力，并且QDAMR产生的子问题是良好的，表现优于现有的基于问题分解的多跳质量质量检查方法。
translated by 谷歌翻译
问题回答（QA）是信息检索和信息提取领域内的一项自然理解任务，由于基于机器阅读理解的模型的强劲发展，近年来，近年来，近年来的计算语言学和人工智能研究社区引起了很多关注。基于读者的质量检查系统是一种高级搜索引擎，可以使用机器阅读理解（MRC）技术在开放域或特定领域特定文本中找到正确的查询或问题的答案。 MRC和QA系统中的数据资源和机器学习方法的大多数进步尤其是在两种资源丰富的语言中显着开发的，例如英语和中文。像越南人这样的低资源语言见证了关于质量检查系统的稀缺研究。本文介绍了XLMRQA，这是第一个在基于Wikipedia的文本知识源（使用UIT-Viquad语料库）上使用基于变压器的读取器的越南质量检查系统，使用深层神经网络模型优于DRQA和BERTSERINI，优于两个可靠的QA系统分别为24.46％和6.28％。从三个系统获得的结果中，我们分析了问题类型对质量检查系统性能的影响。
translated by 谷歌翻译
检索增强的代表在许多知识密集型的NLP任务中表现出最先进的表现，例如打开问题应答和事实验证。考虑到检索到的段落，这些模型训练以产生最终输出，这可能与原始查询无关，导致学习虚假线索或回答记忆。这项工作介绍了一种融入通道的证据性的方法 - 是否段落包含正确的证据来支持输出 - 培训发电机。我们介绍了一个多任务学习框架，共同生成最终输出并预测每个段落的证据性，利用新的任务不可行方法来获得{\ IT Silver}分证分性标签进行监督。我们在三个知识密集型任务中的五个数据集的实验表明，我们的新的证据引导发电机具有相同尺寸模型的直接对应的直接对应，并使Faviq-Ambig的最先进。我们将这些改进归因于辅助多任务学习和银证处分性挖掘技术。
translated by 谷歌翻译
由于低资源语言缺乏培训数据，交叉语言机器阅读理解（XMRC）是挑战。最近的方法仅使用培训数据，以资源丰富的语言，如英语到微调大规模的跨语法预训练的语言模型。由于语言之间的巨大差异，仅由源语言微调的模型可能无法对目标语言表现良好。有趣的是，我们观察到，虽然先前方法预测的前1个结果可能经常无法达到地面真理答案，但是正确的答案通常包含在Top-K预测结果中。基于这种观察，我们开发了一种两级方法来提高模型性能。召回的第一阶段目标：我们设计一个艰难的学习（HL）算法，以最大化顶级预测包含准确答案的可能性。第二阶段专注于精确：开发了答案感知对比学习（AA-CL）机制，以了解准确答案和其他候选者之间的细差异。我们的广泛实验表明，我们的模型在两个交叉语言MRC基准数据集上显着优于一系列强大的基线。
translated by 谷歌翻译
多跳的推理（即跨两个或多个文档的推理）是NLP模型的关键要素，该模型利用大型语料库表现出广泛的知识。为了检索证据段落，多跳模型必须与整个啤酒花的快速增长的搜索空间抗衡，代表结合多个信息需求的复杂查询，并解决有关在训练段落之间跳出的最佳顺序的歧义。我们通过Baleen解决了这些问题，Baleen可以提高多跳检索的准确性，同时从多跳的训练信号中学习强大的训练信号的准确性。为了驯服搜索空间，我们提出了凝结的检索，该管道总结了每个跃点后检索到单个紧凑型上下文的管道。为了建模复杂的查询，我们引入了一个重点的后期相互作用检索器，该检索器允许同一查询表示的不同部分匹配不同的相关段落。最后，为了推断无序的训练段落中的跳跃依赖性，我们设计了潜在的跳跃订购，这是一种弱者的策略，在该策略中，受过训练的检索员本身选择了啤酒花的顺序。我们在检索中评估Baleen的两跳问答和多跳的要求验证，并确定最先进的绩效。
translated by 谷歌翻译