最近，几种密集的检索（DR）模型已经证明了在搜索系统中无处不在的基于术语的检索的竞争性能。与基于术语的匹配相反，DR将查询和文档投影到密集的矢量空间中，并通过（大约）最近的邻居搜索检索结果。部署新系统（例如DR）不可避免地涉及其性能方面的权衡。通常，建立的检索系统按照效率和成本（例如查询延迟，索引吞吐量或存储要求）对其进行了良好的理解。在这项工作中，我们提出了一个具有一组标准的框架，这些框架超出了简单的有效性措施，可以彻底比较两个检索系统，并明确目标是评估一个系统的准备就绪，以取代另一个系统。这包括有效性和各种成本因素之间的仔细权衡考虑。此外，我们描述了护栏标准，因为即使是平均而言更好的系统，也可能会对少数查询产生系统性故障。护栏检查某些查询特性和新型故障类型的故障，这些故障仅在密集检索系统中才有可能。我们在网络排名方案上演示了我们的决策框架。在这种情况下，最先进的DR模型的结果令人惊讶，不仅是平均表现，而且通过一系列广泛的护栏测试，表现出不同的查询特性，词汇匹配，概括和回归次数的稳健性。无法预测将来博士是否会变得无处不在，但是这是一种可能的方法是通过重复应用决策过程（例如此处介绍的过程）。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

神经信息检索（IR）具有极大的搜索和其他知识密集型语言任务。虽然许多神经IR方法将查询和文档编码为单载表示，但后期交互模型在每个令牌的粒度下产生多向量表示，并将相关性建模分解为可伸缩的令牌级计算。这种分解已被证明可以使迟到的交互更有效，但它以幅度的数量级膨胀这些模型的空间占地面积。在这项工作中，我们介绍了Colbertv2，这是一种猎犬，其与去噪的监督策略相结合的侵略性的残余压缩机制，同时提高晚期互动的质量和空间足迹。我们在各种基准中评估COLBertv2，在培训域内和外部建立最先进的质量，同时减少了晚期互动模型的空间足迹5-8 $ \ times $。

本文概述了了解信息检索和自然语言处理中最近的发展的概念框架，试图集成密集和稀疏检索方法。我提出了一种代表性方法，将核心文本检索问题与逻辑评分模型和物理检索模型中断。评分模型在编码器方面定义，将查询和文档映射到代表空间，以及计算查询文档分数的比较函数。物理检索模型定义了系统如何从关于查询的任意大语料库产生顶级k $ Scoring文档。分别沿两个维度进一步分析得分模型：密集与稀疏表示和监督（学习）与无监督的方法。我展示了许多最近提出的检索方法，包括多级排名设计，可以看作是本框架中的不同参数化，并且统一视图表明了许多开放的研究问题，为未来的工作提供了路线图。作为奖金，这种概念框架在计算时建立了与自然语言处理和信息访问“技术”中的句子相似任务的连接。

检索演示的生成模型比独立语言模型提供了许多好处：除了对给定查询的文字答案外，它们还提供了从可更新知识库中检索到的出处项目。但是，它们也是更复杂的系统，需要处理长输入。在这项工作中，我们介绍了FID Light，以强烈提高最先进的检索功能模型的效率，同时保持相同的有效性。我们的FID光模型将信息流从编码器（分别编码段落）限制为解码器（使用串联编码表示）。此外，我们通过文本源指针通过重新排列的功能调整FID光，以提高排名最高的出处精度。我们对七个知识密集任务（KILT）的各种实验表明，FID光线始终改善了查询潜伏期和有效性之间的帕累托前沿。带有源指向的FID光设置为六个苏格兰短裙任务的新最新结果，用于合并文本生成和出处检索评估，同时保持合理的效率。

在本文中，我们提出了一个新的密集检索模型，该模型通过深度查询相互作用学习了各种文档表示。我们的模型使用一组生成的伪Queries编码每个文档，以获取查询信息的多视文档表示。它不仅具有较高的推理效率，例如《香草双编码模型》，而且还可以在文档编码中启用深度查询文档的交互，并提供多方面的表示形式，以更好地匹配不同的查询。几个基准的实验证明了所提出的方法的有效性，表现出色的双重编码基准。

我们提出了Drboost，一个受升压启发的密集检索合奏。Drboost在阶段接受培训：通过仅关注当前合奏制作的检索错误来依次学习和专注于每个组件模型。最终的表示是所有组件模型的输出矢量的串联，使其成为测试时间标准密集检索器的替代品。与标准密集检索模型相比，Drboost享有几个优点。它产生的表示是4x更紧凑，同时提供可比的检索结果。它还在具有粗量化的近似搜索下进行令人惊讶的良好，从而减少另一个4x的延迟和带宽需求。在实践中，这可以在从内存中服务索引之间的服务指数之间的区别，为更便宜的部署铺平道路。

我们对13个最近的模型进行了全面评估，用于使用两个流行的收藏（MS MARCO文档和Robust04）排名长期文档。我们的模型动物园包括两个专门的变压器模型（例如longformer），它们可以处理长文档而无需分配它们。一路上，我们记录了有关培训和比较此类模型的几个困难。有些令人惊讶的是，我们发现简单的第一个基线（满足典型变压器模型的输入序列约束的截断文档）非常有效。我们分析相关段落的分布（内部文档），以解释这种现象。我们进一步认为，尽管它们广泛使用，但Robust04和MS Marco文档对于基准长期模型并不是特别有用。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

在根据多个硬件和软件测试方案的原因评估IR模型时，通常会忽略潜伏期和效率问题。然而，效率是此类系统的重要组成部分，不应被忽视。在本文中，我们专注于提高SPLADE模型的效率，因为它已经在TREC收集方面取得了最新的零击性能和竞争成果。可以通过正则化因子来控制SPADE效率，但仅控制这种正则化的效率不够有效。为了减少Splade和传统检索系统之间的延迟差距，我们提出了几种技术，包括查询的L1正则化，文档/查询编码器的分离，由FLOPS进行了调节的中间训练以及使用更快的查询编码器的使用。我们的基准表明，我们可以大大提高这些模型的效率，同时增加对内域数据的性能指标。据我们所知，{我们提出了第一个神经模型，在相同的计算约束下，\ textit {实现与传统bm25}相似的延迟（小于4ms差异），而具有\ textit {相似的性能（小于10 \％MRR） @10减少）}作为最新的单阶段神经排名者在域中数据}。

我们认为当前的红外标准，用于优化用户体验，测量太窄的IR空间的一部分。如果IR系统较弱，这些指标缺乏或完全过滤出需要改进的更深层次的文件。如果IR系统相对强，则这些指标欠更深的相关文档，这些文档可以在用户可消化的层次结构或文本摘要中呈现出甚至更强大的IR系统，这些文件甚至可以呈现来自数十或数百个相关文档的内容。我们从过去28年重新分析了超过70个TREC曲目，显示大约一半的欠压排名的文件，几乎所有的缺乏尾部文件。我们展示在2020年的深度学习轨道中，神经系统在排名第一的文件中实际上是近乎最佳的，而在尾部文件上只有BM25的适度增益相比。我们的分析基于简单的新系统导向度量，“雾化搜索长度”，它能够在任何深度准确且均匀地测量所有相关文档。

Open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de facto method. In this work, we show that retrieval can be practically implemented using dense representations alone, where embeddings are learned from a small number of questions and passages by a simple dualencoder framework. When evaluated on a wide range of open-domain QA datasets, our dense retriever outperforms a strong Lucene-BM25 system greatly by 9%-19% absolute in terms of top-20 passage retrieval accuracy, and helps our end-to-end QA system establish new state-of-the-art on multiple open-domain QA benchmarks. 1 * Equal contribution 1 The code and trained models have been released at https://github.com/facebookresearch/DPR.

Neural information retrieval (IR) systems have progressed rapidly in recent years, in large part due to the release of publicly available benchmarking tasks. Unfortunately, some dimensions of this progress are illusory: the majority of the popular IR benchmarks today focus exclusively on downstream task accuracy and thus conceal the costs incurred by systems that trade away efficiency for quality. Latency, hardware cost, and other efficiency considerations are paramount to the deployment of IR systems in user-facing settings. We propose that IR benchmarks structure their evaluation methodology to include not only metrics of accuracy, but also efficiency considerations such as a query latency and the corresponding cost budget for a reproducible hardware setting. For the popular IR benchmarks MS MARCO and XOR-TyDi, we show how the best choice of IR system varies according to how these efficiency considerations are chosen and weighed. We hope that future benchmarks will adopt these guidelines toward more holistic IR evaluation.

Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to ne-tuning deep language models (LMs) for document ranking.While remarkably e ective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for e cient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their ne-grained similarity. By delaying and yet retaining this negranular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations o ine, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's e ectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.

Word Embeddings于2013年在2013年宣传了Word2Vec，已成为NLP工程管道的主流。最近，随着BERT的发布，Word Embeddings已经从基于术语的嵌入空间移动到上下文嵌入空间 - 每个术语不再由单个低维向量表示，而是每个术语，而是\ \ EMPH {其上下文}。确定矢量权重。 BERT的设置和架构已被证明足以适用于许多自然语言任务。重要的是，对于信息检索（IR），与IR问题的先前深度学习解决方案相比，需要在神经净架构和培训制度的显着调整，“Vanilla BERT”已被证明以广泛的余量优于现有的检索算法，包括任务在传统的IR基线（如Robust04）上有很长的抵抗检索有效性的Corpora。在本文中，我们采用了最近提出的公理数据集分析技术 - 即，我们创建了每个诊断数据集，每个诊断数据集都满足检索启发式（术语匹配和语义） - 探索BERT能够学习的是什么。与我们的期望相比，我们发现BERT，当应用于最近发布的具有ad-hoc主题的大规模Web语料库时，\ emph {否}遵守任何探索的公理。与此同时，BERT优于传统的查询似然检索模型40 \％。这意味着IR的公理方法（及其为检索启发式创建的诊断数据集的扩展）可能无法适用于大型语料库。额外的 - 需要不同的公理。

我们为最近发布的TripClick Health Ad-Hoc检索集收集提供了强大的变压器的重新排名和密集的检索基线。我们完善了 - 最初的训练数据，具有简单的负面抽样政策。在TripClick的重新排名任务中，我们在重新排名任务中获得了大幅提升，这是用原始基线实现的。此外，我们研究不同域特定的预训练模型在TripClick上的影响。最后，我们表明密集检索优于BM25，即使是简单的训练程序。

本文介绍了学习迭代查询细化的元策略的设计代理的首先成功步骤。我们的方法使用机器读取来指导从聚合搜索结果中选择细化项。然后，使用简单但有效的搜索操作员能够赋予代理，以对查询和搜索结果发挥细粒度和透明控制。我们开发一种新颖的方式来发电综合搜索会话，它通过（自我）监督学习来利用基于变压器的语言模型的力量。我们还提出了一种强化学习代理，具有动态约束的动作，从划痕中了解互动搜索策略。我们使用传统的基于术语的BM25排名函数获得与最近神经方法相当的检索和回答质量性能。我们对搜索政策进行了深入的分析。

两个关键假设塑造了排名检索的通常视图：（1）搜索者可以为他们希望看到的文档中的疑问选择单词，并且（2）排名检索的文档就足以，因为搜索者将足够就足够了能够认识到他们希望找到的那些。当要搜索的文档处于搜索者未知的语言时，既不是真的。在这种情况下，需要跨语言信息检索（CLIR）。本章审查了艺术技术的交流信息检索，并概述了一些开放的研究问题。

Deave Learning模型命名为变形金刚实现了最先进的导致绝大多数NLP任务，以增加计算复杂性和高记忆消耗。在实时推理中使用变压器模型成为在生产中实施时的重大挑战，因为它需要昂贵的计算资源。需要更频率的吞吐量执行变压器的执行越大，并且切换到较小的编码器导致精度降低。我们的论文致力于如何为信息检索管道排名步骤选择合适架构的问题，以便更改变压器编码器的所需呼叫的数量最小，最大可实现的排名质量。我们调查了多种延迟交互模型，如COLBert和Poly-Concoder架构以及它们的修改。此外，我们负责搜索索引的内存占用空间，并尝试应用学习 - 哈希方法，以二值从变压器编码器二值化。使用TREC 2019-2021和MARCO DEV数据集提供评估结果。

已经表明，在一个域上训练的双编码器经常概括到其他域以获取检索任务。一种广泛的信念是，一个双编码器的瓶颈层，其中最终得分仅仅是查询向量和通道向量之间的点产品，它过于局限，使得双编码器是用于域外概括的有效检索模型。在本文中，我们通过缩放双编码器模型的大小{\ em同时保持固定的瓶颈嵌入尺寸固定的瓶颈的大小来挑战这一信念。令人惊讶的是，令人惊讶的是，缩放模型尺寸会对各种缩放提高检索任务，特别是对于域外泛化。实验结果表明，我们的双编码器，\ textbf {g} enovalizable \ textbf {t} eTrievers（gtr），优先级％colbert〜\ cite {khattab2020colbertt}和现有的稀疏和密集的索取Beir DataSet〜\ Cite {Thakur2021Beir}显着显着。最令人惊讶的是，我们的消融研究发现，GTR是非常数据的高效，因为它只需要10 \％MARCO监督数据，以实现最佳域的性能。所有GTR模型都在https://tfhub.dev/google/collections/gtr/1发布。