Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

最近的工作表明，小型蒸馏语言模型是强大的竞争对手，这些模型是在广泛的信息检索任务中更大且较慢的数量级。由于潜伏期的限制，这使蒸馏而密集的模型是在现实世界检索应用程序中部署的首选选择。在这项工作中，我们通过证明参数和早期查询文档互动的数量在检索模型的概括能力中起着重要作用来质疑这种做法。我们的实验表明，增加模型大小会导致内域测试集的边际增长，但是在微调过程中从未见过的新领域的增长幅度更大。此外，我们表明，在几个任务中，Rerankers在很大程度上都超过了相似大小的密集。我们最大的重读者在基准-IR（BEIR）的18个数据集中的12个数据集中达到了最新技术，并超过了先前的最新水平。最后，我们确认内域的有效性不是零弹性有效性的良好指标。代码可从https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git获得。

已经表明，在一个域上训练的双编码器经常概括到其他域以获取检索任务。一种广泛的信念是，一个双编码器的瓶颈层，其中最终得分仅仅是查询向量和通道向量之间的点产品，它过于局限，使得双编码器是用于域外概括的有效检索模型。在本文中，我们通过缩放双编码器模型的大小{\ em同时保持固定的瓶颈嵌入尺寸固定的瓶颈的大小来挑战这一信念。令人惊讶的是，令人惊讶的是，缩放模型尺寸会对各种缩放提高检索任务，特别是对于域外泛化。实验结果表明，我们的双编码器，\ textbf {g} enovalizable \ textbf {t} eTrievers（gtr），优先级％colbert〜\ cite {khattab2020colbertt}和现有的稀疏和密集的索取Beir DataSet〜\ Cite {Thakur2021Beir}显着显着。最令人惊讶的是，我们的消融研究发现，GTR是非常数据的高效，因为它只需要10 \％MARCO监督数据，以实现最佳域的性能。所有GTR模型都在https://tfhub.dev/google/collections/gtr/1发布。

We present Hybrid Infused Reranking for Passages Retrieval (HYRR), a framework for training rerankers based on a hybrid of BM25 and neural retrieval models. Retrievers based on hybrid models have been shown to outperform both BM25 and neural models alone. Our approach exploits this improved performance when training a reranker, leading to a robust reranking model. The reranker, a cross-attention neural model, is shown to be robust to different first-stage retrieval systems, achieving better performance than rerankers simply trained upon the first-stage retrievers in the multi-stage systems. We present evaluations on a supervised passage retrieval task using MS MARCO and zero-shot retrieval tasks using BEIR. The empirical results show strong performance on both evaluations.

关于信息检索的许多最新研究集中在如何从一项任务（通常具有丰富的监督数据）转移到有限的其他各种任务，并隐含地假设可以从一个任务概括到所有其余的任务。但是，这忽略了这样一个事实，即有许多多样化和独特的检索任务，每个任务都针对不同的搜索意图，查询和搜索域。在本文中，我们建议使用几乎没有散热的检索，每个任务都有一个简短的描述和一些示例。为了扩大一些示例的功能，我们提出了针对检索器（即将到来）的及时基本查询生成，该查询将大型语言模型（LLM）作为几个弹片查询生成器，并根据生成的数据创建特定于任务的检索器。通过LLM的概括能力提供动力，即要来源使得可以仅基于一些示例{没有自然问题或MS MARCO来训练％问题生成器或双重编码器，就可以仅基于一些示例{没有}来创建特定于任务的端到端检索。出乎意料的是，LLM提示不超过8个示例，允许双重编码器在MARCO（例如Colbert V2）上训练的大量工程模型平均在11个检索套件中超过1.2 NDCG。使用相同生成数据的进一步培训标准尺寸的重新级别可获得5.0点NDCG的改进。我们的研究确定，查询产生比以前观察到的更有效，尤其是在给出少量特定于任务知识的情况下。

密集的检索方法可以克服词汇差距并导致显着改善的搜索结果。但是，它们需要大量的培训数据，这些数据不适用于大多数域。如前面的工作所示（Thakur等，2021b），密集检索的性能在域移位下严重降低。这限制了密集检索方法的使用，只有几个具有大型训练数据集的域。在本文中，我们提出了一种新颖的无监督域适配方法生成伪标签（GPL），其将查询发生器与来自跨编码器的伪标记相结合。在六种代表性域专用数据集中，我们发现所提出的GPL可以优于箱子外的最先进的密集检索方法，最高可达8.9点NDCG @ 10。 GPL需要来自目标域的少（未标记）数据，并且在其培训中比以前的方法更强大。我们进一步调查了六种最近训练方法在检索任务的域改编方案中的作用，其中只有三种可能会产生改善的结果。最好的方法，Tsdae（Wang等，2021）可以与GPL结合，在六个任务中产生了1.0点NDCG @ 10的另一个平均改善。

神经信息检索模型保持替代词汇匹配模型的承诺，例如，取代词汇匹配模型。 BM25，在现代搜索引擎中。虽然它们的功能完全在Marco MS MS MS Ms Ms的域名数据集上完全闪过域名数据集，但他们最近在域外零射击设置（Beir基准）上受到质疑，并质疑与单词袋方法相比的实际泛化能力。特别是，我们想知道这些缺点是否可以（部分）是神经红外模型无法执行词法匹配的结果。在这项工作中，我们提出了任何（神经的词汇匹配之间的差异差异）模型和“理想”一。基于此，我们研究了不同最先进的神经IR模型的行为，重点是它们是否能够在实际上有用时执行词法匹配，即重要术语。总的来说，我们表明神经红外模型未能正确地概括域名收集或术语在培训期间几乎看不见的术语

解码器变压器的规模继续增加，达到了数千亿个参数。由于其比例，相同的解码器通过提示或微调来设置各种语言任务的最新结果。然而，对于语义搜索和句子嵌入的相关领域，这些大型基础模型仍然无法使用。这样可以防止新的最新结果，并迫使组织训练和维护单独的模型。为此，我们建议SGPT通过提示或微调使用解码器来嵌入句子和语义搜索。在58亿个参数的情况下，SGPT在先前最佳的句子嵌入中提高了7％的余量，并且在Beir Search基准上测量的1750亿参数的并发方法优于同时使用方法。代码，模型和结果文件可在https://github.com/muennighoff/sgpt上免费获得。

信息检索是自然语言处理中的重要组成部分，用于知识密集型任务，如问题应答和事实检查。最近，信息检索已经看到基于神经网络的密集检索器的出现，作为基于术语频率的典型稀疏方法的替代方案。这些模型在数据集和任务中获得了最先进的结果，其中提供了大型训练集。但是，它们不会很好地转移到没有培训数据的新域或应用程序，并且通常因未经监督的术语 - 频率方法（例如BM25）的术语频率方法而言。因此，自然问题是如果没有监督，是否有可能训练密集的索取。在这项工作中，我们探讨了对比学习的限制，作为培训无人监督的密集检索的一种方式，并表明它导致强烈的检索性能。更确切地说，我们在15个数据集中出现了我们的模型胜过BM25的Beir基准测试。此外，当有几千例的示例可用时，我们显示微调我们的模型，与BM25相比，这些模型导致强大的改进。最后，当在MS-Marco数据集上微调之前用作预训练时，我们的技术在Beir基准上获得最先进的结果。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

由于高注重成本，充分利用现有的人类创建的培训数据是一个重要的研究方向。因此，我们对五个英语数据集进行了对伯特的神经排名模式的可转移性的系统评估。以前的研究主要集中在零拍摄和几秒钟从一个大型数据集转移到具有少量查询的数据集。相比之下，我们的每个集合都具有大量的查询，可以实现全拍评估模式并提高结果的可靠性。此外，由于源数据集许可证通常禁止商业用途，因此我们比较转移学习以对BM25得分手产生的伪标签培训。我们发现对伪标签的培训 - 可能使用适度的注释查询的后续调整 - 与转移学习相比，可以产生竞争或更好的模型。然而，有必要提高几次拍摄训练的稳定性和/或有效性，有时可以降低预磨料模型的性能。

We study the problem of retrieval with instructions, where users of a retrieval system explicitly describe their intent along with their queries. We aim to develop a general-purpose task-aware retrieval system using multi-task instruction tuning, which can follow human-written instructions to find the best documents for a given query. We introduce the first large-scale collection of approximately 40 retrieval datasets with instructions, BERRI, and present TART, a multi-task retrieval system trained on BERRI with instructions. TART shows strong capabilities to adapt to a new retrieval task via instructions and advances the state of the art on two zero-shot retrieval benchmarks, BEIR and LOTTE, outperforming models up to three times larger. We further introduce a new evaluation setup, X^2-Retrieval to better reflect real-world scenarios, where diverse domains and tasks are pooled and a system needs to find documents aligning users' intents. In this setup, TART significantly outperforms competitive baselines, further demonstrating the effectiveness of guiding retrieval with instructions.

在本文中，我们提出了一个新的密集检索模型，该模型通过深度查询相互作用学习了各种文档表示。我们的模型使用一组生成的伪Queries编码每个文档，以获取查询信息的多视文档表示。它不仅具有较高的推理效率，例如《香草双编码模型》，而且还可以在文档编码中启用深度查询文档的交互，并提供多方面的表示形式，以更好地匹配不同的查询。几个基准的实验证明了所提出的方法的有效性，表现出色的双重编码基准。

While dense retrieval has been shown effective and efficient across tasks and languages, it remains difficult to create effective fully zero-shot dense retrieval systems when no relevance label is available. In this paper, we recognize the difficulty of zero-shot learning and encoding relevance. Instead, we propose to pivot through Hypothetical Document Embeddings~(HyDE). Given a query, HyDE first zero-shot instructs an instruction-following language model (e.g. InstructGPT) to generate a hypothetical document. The document captures relevance patterns but is unreal and may contain false details. Then, an unsupervised contrastively learned encoder~(e.g. Contriever) encodes the document into an embedding vector. This vector identifies a neighborhood in the corpus embedding space, where similar real documents are retrieved based on vector similarity. This second step ground the generated document to the actual corpus, with the encoder's dense bottleneck filtering out the incorrect details. Our experiments show that HyDE significantly outperforms the state-of-the-art unsupervised dense retriever Contriever and shows strong performance comparable to fine-tuned retrievers, across various tasks (e.g. web search, QA, fact verification) and languages~(e.g. sw, ko, ja).

本文概述了了解信息检索和自然语言处理中最近的发展的概念框架，试图集成密集和稀疏检索方法。我提出了一种代表性方法，将核心文本检索问题与逻辑评分模型和物理检索模型中断。评分模型在编码器方面定义，将查询和文档映射到代表空间，以及计算查询文档分数的比较函数。物理检索模型定义了系统如何从关于查询的任意大语料库产生顶级k $ Scoring文档。分别沿两个维度进一步分析得分模型：密集与稀疏表示和监督（学习）与无监督的方法。我展示了许多最近提出的检索方法，包括多级排名设计，可以看作是本框架中的不同参数化，并且统一视图表明了许多开放的研究问题，为未来的工作提供了路线图。作为奖金，这种概念框架在计算时建立了与自然语言处理和信息访问“技术”中的句子相似任务的连接。

MARCO排名数据集已广泛用于培训IR任务的深度学习模型，在不同的零射击方案上实现了相当大的效果。但是，这种类型的资源是英语以外的语言的稀缺。在这项工作中，我们呈现MMARCO，MS Marco段落的多语言版本，该数据集包括使用机器翻译创建的13种语言。我们通过微调单语和多语言重新排名模型以及此数据集的密集多语言模型进行了评估。实验结果表明，在我们翻译的数据集上微调微调的多语言模型可以单独对原始英文版的模型进行微调的卓越效果。我们蒸馏的多语言RE-RANKER与非蒸馏模型具有竞争力，而参数较少的5.4倍。最后，我们展现了翻译质量和检索效果之间的正相关性，提供了证据，即翻译方法的改进可能导致多语言信息检索的改进。翻译的数据集和微调模型可在https://github.com/unicamp-dl/mmarco.git上获得。

Medical systematic reviews typically require assessing all the documents retrieved by a search. The reason is two-fold: the task aims for ``total recall''; and documents retrieved using Boolean search are an unordered set, and thus it is unclear how an assessor could examine only a subset. Screening prioritisation is the process of ranking the (unordered) set of retrieved documents, allowing assessors to begin the downstream processes of the systematic review creation earlier, leading to earlier completion of the review, or even avoiding screening documents ranked least relevant. Screening prioritisation requires highly effective ranking methods. Pre-trained language models are state-of-the-art on many IR tasks but have yet to be applied to systematic review screening prioritisation. In this paper, we apply several pre-trained language models to the systematic review document ranking task, both directly and fine-tuned. An empirical analysis compares how effective neural methods compare to traditional methods for this task. We also investigate different types of document representations for neural methods and their impact on ranking performance. Our results show that BERT-based rankers outperform the current state-of-the-art screening prioritisation methods. However, BERT rankers and existing methods can actually be complementary, and thus, further improvements may be achieved if used in conjunction.

Systems for knowledge-intensive tasks such as open-domain question answering (QA) usually consist of two stages: efficient retrieval of relevant documents from a large corpus and detailed reading of the selected documents to generate answers. Retrievers and readers are usually modeled separately, which necessitates a cumbersome implementation and is hard to train and adapt in an end-to-end fashion. In this paper, we revisit this design and eschew the separate architecture and training in favor of a single Transformer that performs Retrieval as Attention (ReAtt), and end-to-end training solely based on supervision from the end QA task. We demonstrate for the first time that a single model trained end-to-end can achieve both competitive retrieval and QA performance, matching or slightly outperforming state-of-the-art separately trained retrievers and readers. Moreover, end-to-end adaptation significantly boosts its performance on out-of-domain datasets in both supervised and unsupervised settings, making our model a simple and adaptable solution for knowledge-intensive tasks. Code and models are available at https://github.com/jzbjyb/ReAtt.

可区分的搜索索引（DSI）是一个新的新兴范式，用于信息检索。与索引和检索是两个不同且独立的组件的传统检索体系结构不同，DSI使用单个变压器模型执行索引和检索。在本文中，我们确定并解决了当前DSI模型的重要问题：DSI索引和检索过程之间发生的数据分布不匹配。具体而言，我们认为，在索引时，当前的DSI方法学会学会在长文档文本及其标识之间建立连接，但是在检索中，向DSI模型提供了简短的查询文本以执行文档标识符的检索。当使用DSI进行跨语言检索时，此问题进一步加剧，其中文档文本和查询文本使用不同的语言。为了解决当前DSI模型的这个基本问题，我们为DSI称为DSI-QG的简单而有效的索引框架。在DSI-QG中，文档由索引时间的查询生成模型生成的许多相关查询表示。这允许DSI模型在索引时将文档标识符连接到一组查询文本，因此减轻索引和检索阶段之间存在的数据分布不匹配。流行的单语言和跨语性通过基准数据集的经验结果表明，DSI-QG明显优于原始DSI模型。

Deave Learning模型命名为变形金刚实现了最先进的导致绝大多数NLP任务，以增加计算复杂性和高记忆消耗。在实时推理中使用变压器模型成为在生产中实施时的重大挑战，因为它需要昂贵的计算资源。需要更频率的吞吐量执行变压器的执行越大，并且切换到较小的编码器导致精度降低。我们的论文致力于如何为信息检索管道排名步骤选择合适架构的问题，以便更改变压器编码器的所需呼叫的数量最小，最大可实现的排名质量。我们调查了多种延迟交互模型，如COLBert和Poly-Concoder架构以及它们的修改。此外，我们负责搜索索引的内存占用空间，并尝试应用学习 - 哈希方法，以二值从变压器编码器二值化。使用TREC 2019-2021和MARCO DEV数据集提供评估结果。