除局部相关性外，开放域的Factoid问题回答的段落排名还需要一个段落以包含答案（答案）。尽管最近的一些研究将一些阅读能力纳入了排名者以说明答复性，但排名仍然受到该领域通常可用的训练数据的嘈杂性质的阻碍，这将考虑任何包含答案实体作为正样本的段落。但是，段落中的答案实体不一定与给定的问题有关。为了解决该问题，我们提出了一种基于生成对抗性神经网络的通道重新管理的方法，称为\ ttt {pregan}，除了局部相关性外，还结合了关于答复性的歧视者。目的是强迫发电机对局部相关的段落进行排名，并包含答案。五个公共数据集的实验表明，\ ttt {pregan}可以更好地对适当的段落进行排名，从而提高质量检查系统的有效性，并在不使用外部数据的情况下优于现有方法。
translated by 谷歌翻译
Open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de facto method. In this work, we show that retrieval can be practically implemented using dense representations alone, where embeddings are learned from a small number of questions and passages by a simple dualencoder framework. When evaluated on a wide range of open-domain QA datasets, our dense retriever outperforms a strong Lucene-BM25 system greatly by 9%-19% absolute in terms of top-20 passage retrieval accuracy, and helps our end-to-end QA system establish new state-of-the-art on multiple open-domain QA benchmarks. 1 * Equal contribution 1 The code and trained models have been released at https://github.com/facebookresearch/DPR.
translated by 谷歌翻译
当前的密集文本检索模型面临两个典型的挑战。首先，他们采用暹罗双重编码架构来独立编码查询和文档，以快速索引和搜索，同时忽略了较细粒度的术语互动。这导致了次优的召回表现。其次，他们的模型培训高度依赖于负面抽样技术，以在其对比损失中构建负面文档。为了应对这些挑战，我们提出了对抗猎犬速率（AR2），它由双重编码猎犬加上跨编码器等级组成。这两种模型是根据最小群体对手的共同优化的：检索员学会了检索负面文件以欺骗排名者，而排名者学会了对包括地面和检索的候选人进行排名，并提供渐进的直接反馈对双编码器检索器。通过这款对抗性游戏，猎犬逐渐生产出更难的负面文件来训练更好的排名者，而跨编码器排名者提供了渐进式反馈以改善检索器。我们在三个基准测试基准上评估AR2。实验结果表明，AR2始终如一地胜过现有的致密回收者方法，并在所有这些方法上实现了新的最新结果。这包括对自然问题的改进R@5％至77.9％（+2.1％），Triviaqa R@5％至78.2％（+1.4）和MS-Marco MRR@10％至39.5％（+1.3％）。代码和型号可在https://github.com/microsoft/ar2上找到。
translated by 谷歌翻译
问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。
translated by 谷歌翻译
大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。
translated by 谷歌翻译
本文介绍了学习迭代查询细化的元策略的设计代理的首先成功步骤。我们的方法使用机器读取来指导从聚合搜索结果中选择细化项。然后，使用简单但有效的搜索操作员能够赋予代理，以对查询和搜索结果发挥细粒度和透明控制。我们开发一种新颖的方式来发电综合搜索会话，它通过（自我）监督学习来利用基于变压器的语言模型的力量。我们还提出了一种强化学习代理，具有动态约束的动作，从划痕中了解互动搜索策略。我们使用传统的基于术语的BM25排名函数获得与最近神经方法相当的检索和回答质量性能。我们对搜索政策进行了深入的分析。
translated by 谷歌翻译
We present SpaceQA, to the best of our knowledge the first open-domain QA system in Space mission design. SpaceQA is part of an initiative by the European Space Agency (ESA) to facilitate the access, sharing and reuse of information about Space mission design within the agency and with the public. We adopt a state-of-the-art architecture consisting of a dense retriever and a neural reader and opt for an approach based on transfer learning rather than fine-tuning due to the lack of domain-specific annotated data. Our evaluation on a test set produced by ESA is largely consistent with the results originally reported by the evaluated retrievers and confirms the need of fine tuning for reading comprehension. As of writing this paper, ESA is piloting SpaceQA internally.
translated by 谷歌翻译
信息检索的任务是许多自然语言处理系统的重要组成部分，例如开放式域问题回答。尽管传统方法是基于手工制作的功能，但基于神经网络的连续表示最近获得了竞争结果。使用此类方法的一个挑战是获取监督数据以训练回猎犬模型，该模型对应于一对查询和支持文档。在本文中，我们提出了一种技术，以学习以知识蒸馏的启发，并不需要带注释的查询和文档对。我们的方法利用读者模型的注意分数，用于根据检索文档解决任务，以获取猎犬的合成标签。我们评估我们的方法回答，获得最新结果。
translated by 谷歌翻译
使用来自表格（TableQA）的信息回答自然语言问题是最近的兴趣。在许多应用程序中，表未孤立，但嵌入到非结构化文本中。通常，通过将其部分与表格单元格内容或非结构化文本跨度匹配，并从任一源中提取答案来最佳地回答问题。这导致了HybridQA数据集引入的TextableQA问题的新空间。现有的表格表示对基于变换器的阅读理解（RC）架构的适应性未通过单个系统解决两个表示的不同模式。培训此类系统因对遥远监督的需求而进一步挑战。为了降低认知负担，培训实例通常包括问题和答案，后者匹配多个表行和文本段。这导致嘈杂的多实例培训制度不仅涉及表的行，而且涵盖了链接文本的跨度。我们通过提出Mitqa来回应这些挑战，这是一个新的TextableQA系统，明确地模拟了表行选择和文本跨度选择的不同但密切相关的概率空间。与最近的基线相比，我们的实验表明了我们的方法的优越性。该方法目前在HybridQA排行榜的顶部，并进行了一个试验集，在以前公布的结果上实现了对em和f1的21％的绝对改善。
translated by 谷歌翻译
我们介绍了Art，这是一种新的语料库级自动编码方法，用于培训密集检索模型，不需要任何标记的培训数据。密集的检索是开放域任务（例如Open QA）的核心挑战，在该任务中，最先进的方法通常需要大量的监督数据集，并具有自定义的硬性采矿和肯定式示例。相反，艺术品仅需要访问未配对的投入和输出（例如问题和潜在的答案文件）。它使用新的文档 - 重新定义自动编码方案，其中（1）输入问题用于检索一组证据文档，并且（2）随后使用文档来计算重建原始问题的概率。基于问题重建的检索培训可以有效地学习文档和问题编码器，以后可以将其纳入完整的QA系统中，而无需任何进一步的填充。广泛的实验表明，ART在多个QA检索基准测试基准上获得最先进的结果，并且仅来自预训练的语言模型的一般初始化，从而消除了对标记的数据和特定于任务的损失的需求。
translated by 谷歌翻译
最近的开放式域问题的作品应答使用检索器模型引用外部知识库，可选地重新映射与单独的重新编制模型，并使用另一个读取器模型生成答案。尽管执行相关任务，但模型具有单独的参数，并且在训练期间略微耦合。在这项工作中，我们建议将猎犬和重新划分为依次应用于变压器架构内的硬注视机制，并将所产生的计算表示给读者送入。在这个奇异模型架构中，隐藏的表示从搬运者逐渐改进到Reranker到读者，这更有效地利用模型容量，并且当我们以端到端的方式训练时，还导致更好的梯度流动。我们还提出了一种预先训练的方法，以有效地培训这种架构。我们评估我们的自然问题和TriviaQA Open DataSets的模型以及固定参数预算，我们的模型优于以前的最先进模型1.0和0.7精确匹配分数。
translated by 谷歌翻译
我们在11个类型的类型不同语言中展示了一个用于单语言检索的多语言基准数据集的Tydi先生，旨在评估与学习的密集表示的排名。该资源的目标是以非英语语言的密集检索技术进行培训，最近的观察结果是当应用于分发超出数据时的表示学习的现有技术表现不佳。作为一个起点，我们基于我们称之为“MDPR”的多语言调整，为此新数据集提供零拍摄线。实验表明，尽管MDPR的有效性远低于BM25，但仍然似乎提供了有价值的相关信号，改善了BM25导致稀疏致密的杂种。除了对我们的结果分析外，我们还讨论了未来的挑战，并在多语言密集检索中展示了一个研究议程。Tydi先生可以在https://github.com/castorini/mr.tydi下载。
translated by 谷歌翻译
我们提出了一种用于在生成答案时将信息与多个检索文件中的信息组合的可检索增强的开放式开放式开放式开放域问题训练方法。我们将检索决策模拟作为相关文件集的潜在变量。由于通过对所检索的文件集的边缘化，因此使用期望最大化算法估计这一点。我们迭代地估计我们的潜在变量的价值（给定问题的这些相关文档集），然后使用此估计来更新检索器和读取器参数。我们假设这种端到端的训练允许训练信号流到读者，然后比上演明智的训练更好地流到猎犬。这导致检索器能够为问题和读者选择更多相关文档，这些文件在更准确的文档中培训以生成答案。三个基准数据集的实验表明，我们所提出的方法优于所有现有的相当大小的方法2-3％绝对精确匹配点，实现了新的最先进的结果。我们的结果还展示了学习检索以改善答复的可行性，而无明确监督检索决策。
translated by 谷歌翻译
Recent developments of dense retrieval rely on quality representations of queries and contexts coming from pre-trained query and context encoders. In this paper, we introduce TouR (test-time optimization of query representations), which further optimizes instance-level query representations guided by signals from test-time retrieval results. We leverage a cross-encoder re-ranker to provide fine-grained pseudo labels over retrieval results and iteratively optimize query representations with the gradient descent method. Our theoretical analysis reveals that TouR can be viewed as a generalization of the classical Rocchio's algorithm for pseudo relevance feedback, and we present two variants leveraging psuedo labels as either hard binary or soft continuous labels. We first apply TouR on phrase retrieval with our proposed phrase re-ranker. On passage retrieval, we demonstrate its effectiveness with an off-the-shelf re-ranker. TouR improves the end-to-end open-domain QA accuracy significantly, as well as passage retrieval performance. Compared to re-ranker, TouR requires a smaller number of candidates, and achieves consistently better performance and runs up to 4x faster with our efficient implementation.
translated by 谷歌翻译
预审前的语言模型通过提供高质量的上下文化单词嵌入来显着改善了下游语言理解任务（包括提取性问题）的性能。但是，培训问答模型仍然需要大量特定域的注释数据。在这项工作中，我们提出了一个合作的自我训练框架RGX，用于自动生成更非平凡的问题 - 解答对以提高模型性能。 RGX建立在带有答案实体识别器，问题生成器和答案提取器的交互式学习环境的蒙版答案提取任务上。给定带有蒙版实体的段落，生成器会在实体周围生成一个问题，并培训了提取器，以提取蒙面实体，并使用生成的问题和原始文本。该框架允许对任何文本语料库的问题产生和回答模型进行培训，而无需注释。实验结果表明，RGX优于最先进的语言模型（SOTA）的语言模型，并在标准提问基准的基准上采用转移学习方法，并在给定的模型大小和传输学习设置下产生新的SOTA性能。
translated by 谷歌翻译
Often questions provided to open-domain question answering systems are ambiguous. Traditional QA systems that provide a single answer are incapable of answering ambiguous questions since the question may be interpreted in several ways and may have multiple distinct answers. In this paper, we address multi-answer retrieval which entails retrieving passages that can capture majority of the diverse answers to the question. We propose a re-ranking based approach using Determinantal point processes utilizing BERT as kernels. Our method jointly considers query-passage relevance and passage-passage correlation to retrieve passages that are both query-relevant and diverse. Results demonstrate that our re-ranking technique outperforms state-of-the-art method on the AmbigQA dataset.
translated by 谷歌翻译
知识密集型任务，例如开放域问题答案（QA），需要访问大量的世界知识或领域知识。知识密集型任务的一种常见方法是采用检索到阅读的管道，该管道首先从诸如Wikipedia之类的外部语料库中检索少数相关的上下文文档，然后预测在检索文档的条件下得到答案。在本文中，我们提出了一种新的观点，可以通过用大型语言模型生成器代替文档检索器来解决知识密集型任务。我们称我们的方法生成-Read Read（GenRead），该方法首先提示大型语言模型根据给定问题生成上下文文档，然后读取生成的文档以产生最终答案。此外，我们提出了一种基于聚类的提示方法，该方法选择了不同的提示，从而产生了涵盖不同观点的生成文档，从而更好地回忆了可接受的答案。我们对三个不同的知识密集任务进行了广泛的实验，包括开放域质量检查，事实检查和对话系统。值得注意的是，GenRead在Triviaqa和WebQ上实现了71.6和54.4的精确匹配分数，显着超过了最先进的检索到+4.0和+3.9的最先进的dpr-fid，而无需从任何外部知识源中检索任何文档。最后，我们证明可以通过结合检索和生成来进一步提高模型性能。
translated by 谷歌翻译
问题回答（QA）是信息检索和信息提取领域内的一项自然理解任务，由于基于机器阅读理解的模型的强劲发展，近年来，近年来，近年来的计算语言学和人工智能研究社区引起了很多关注。基于读者的质量检查系统是一种高级搜索引擎，可以使用机器阅读理解（MRC）技术在开放域或特定领域特定文本中找到正确的查询或问题的答案。 MRC和QA系统中的数据资源和机器学习方法的大多数进步尤其是在两种资源丰富的语言中显着开发的，例如英语和中文。像越南人这样的低资源语言见证了关于质量检查系统的稀缺研究。本文介绍了XLMRQA，这是第一个在基于Wikipedia的文本知识源（使用UIT-Viquad语料库）上使用基于变压器的读取器的越南质量检查系统，使用深层神经网络模型优于DRQA和BERTSERINI，优于两个可靠的QA系统分别为24.46％和6.28％。从三个系统获得的结果中，我们分析了问题类型对质量检查系统性能的影响。
translated by 谷歌翻译
自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。
translated by 谷歌翻译
本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。
translated by 谷歌翻译