IR models using a pretrained language model significantly outperform lexical approaches like BM25. In particular, SPLADE, which encodes texts to sparse vectors, is an effective model for practical use because it shows robustness to out-of-domain datasets. However, SPLADE still struggles with exact matching of low-frequency words in training data. In addition, domain shifts in vocabulary and word frequencies deteriorate the IR performance of SPLADE. Because supervision data are scarce in the target domain, addressing the domain shifts without supervision data is necessary. This paper proposes an unsupervised domain adaptation method by filling vocabulary and word-frequency gaps. First, we expand a vocabulary and execute continual pretraining with a masked language model on a corpus of the target domain. Then, we multiply SPLADE-encoded sparse vectors by inverse document frequency weights to consider the importance of documents with lowfrequency words. We conducted experiments using our method on datasets with a large vocabulary gap from a source domain. We show that our method outperforms the present stateof-the-art domain adaptation method. In addition, our method achieves state-of-the-art results, combined with BM25.

密集的检索方法可以克服词汇差距并导致显着改善的搜索结果。但是，它们需要大量的培训数据，这些数据不适用于大多数域。如前面的工作所示（Thakur等，2021b），密集检索的性能在域移位下严重降低。这限制了密集检索方法的使用，只有几个具有大型训练数据集的域。在本文中，我们提出了一种新颖的无监督域适配方法生成伪标签（GPL），其将查询发生器与来自跨编码器的伪标记相结合。在六种代表性域专用数据集中，我们发现所提出的GPL可以优于箱子外的最先进的密集检索方法，最高可达8.9点NDCG @ 10。 GPL需要来自目标域的少（未标记）数据，并且在其培训中比以前的方法更强大。我们进一步调查了六种最近训练方法在检索任务的域改编方案中的作用，其中只有三种可能会产生改善的结果。最好的方法，Tsdae（Wang等，2021）可以与GPL结合，在六个任务中产生了1.0点NDCG @ 10的另一个平均改善。

稀疏的词汇表现学习已经证明了在近期模型中提高通道检索效果，例如Deepumact，Unicoil和Splade。本文介绍了一种简单而有效的方法，用于通过引入稀疏屏蔽方案来控制稀疏性和自学方法来控制诽谤和自学方法来模拟脱锁表示模拟缺陷表示来缩小通道检索的词汇表格的简单但有效的方法。我们模型的基本实施具有更精致的方法，实现了有效性和效率之间的良好平衡。我们的方法简单地为未来的词汇表达学习探索开辟了门，以便检索。

Dual encoders are now the dominant architecture for dense retrieval. Yet, we have little understanding of how they represent text, and why this leads to good performance. In this work, we shed light on this question via distributions over the vocabulary. We propose to interpret the vector representations produced by dual encoders by projecting them into the model's vocabulary space. We show that the resulting distributions over vocabulary tokens are intuitive and contain rich semantic information. We find that this view can explain some of the failure cases of dense retrievers. For example, the inability of models to handle tail entities can be explained via a tendency of the token distributions to forget some of the tokens of those entities. We leverage this insight and propose a simple way to enrich query and passage representations with lexical information at inference time, and show that this significantly improves performance compared to the original model in out-of-domain settings.

This paper presents a pre-training technique called query-as-context that uses query prediction to improve dense retrieval. Previous research has applied query prediction to document expansion in order to alleviate the problem of lexical mismatch in sparse retrieval. However, query prediction has not yet been studied in the context of dense retrieval. Query-as-context pre-training assumes that the predicted query is a special context for the document and uses contrastive learning or contextual masked auto-encoding learning to compress the document and query into dense vectors. The technique is evaluated on large-scale passage retrieval benchmarks and shows considerable improvements compared to existing strong baselines such as coCondenser and CoT-MAE, demonstrating its effectiveness. Our code will be available at https://github.com/caskcsg/ir/tree/main/cotmae-qc .

在本文中，我们提出了一个新的密集检索模型，该模型通过深度查询相互作用学习了各种文档表示。我们的模型使用一组生成的伪Queries编码每个文档，以获取查询信息的多视文档表示。它不仅具有较高的推理效率，例如《香草双编码模型》，而且还可以在文档编码中启用深度查询文档的交互，并提供多方面的表示形式，以更好地匹配不同的查询。几个基准的实验证明了所提出的方法的有效性，表现出色的双重编码基准。

在根据多个硬件和软件测试方案的原因评估IR模型时，通常会忽略潜伏期和效率问题。然而，效率是此类系统的重要组成部分，不应被忽视。在本文中，我们专注于提高SPLADE模型的效率，因为它已经在TREC收集方面取得了最新的零击性能和竞争成果。可以通过正则化因子来控制SPADE效率，但仅控制这种正则化的效率不够有效。为了减少Splade和传统检索系统之间的延迟差距，我们提出了几种技术，包括查询的L1正则化，文档/查询编码器的分离，由FLOPS进行了调节的中间训练以及使用更快的查询编码器的使用。我们的基准表明，我们可以大大提高这些模型的效率，同时增加对内域数据的性能指标。据我们所知，{我们提出了第一个神经模型，在相同的计算约束下，\ textit {实现与传统bm25}相似的延迟（小于4ms差异），而具有\ textit {相似的性能（小于10 \％MRR） @10减少）}作为最新的单阶段神经排名者在域中数据}。

对于开放式域问题的密集检索已被证明通过在问题通道对的大型数据集上培训来实现令人印象深刻的性能。我们调查是否可以以自我监督的方式学习密集的检索，并有效地应用没有任何注释。我们观察到这种情况下的检索斗争的现有借用模型，并提出了一种设计用于检索的新预制方案：重复跨度检索。我们在文档中使用经常性跨度来创建用于对比学习的伪示例。由此产生的模型 - 蜘蛛 - 在广泛的ODQA数据集上没有任何示例，并且与BM25具有竞争力，具有强烈的稀疏基线。此外，蜘蛛通常优于DPR在其他数据集的问题上培训的DPR培训的强大基线。我们将蜘蛛与BM25结合的混合猎犬改进了所有数据集的组件，并且通常与域中DPR模型具有竞争力，这些模型培训数万例培训。

本文概述了了解信息检索和自然语言处理中最近的发展的概念框架，试图集成密集和稀疏检索方法。我提出了一种代表性方法，将核心文本检索问题与逻辑评分模型和物理检索模型中断。评分模型在编码器方面定义，将查询和文档映射到代表空间，以及计算查询文档分数的比较函数。物理检索模型定义了系统如何从关于查询的任意大语料库产生顶级k $ Scoring文档。分别沿两个维度进一步分析得分模型：密集与稀疏表示和监督（学习）与无监督的方法。我展示了许多最近提出的检索方法，包括多级排名设计，可以看作是本框架中的不同参数化，并且统一视图表明了许多开放的研究问题，为未来的工作提供了路线图。作为奖金，这种概念框架在计算时建立了与自然语言处理和信息访问“技术”中的句子相似任务的连接。

Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to ne-tuning deep language models (LMs) for document ranking.While remarkably e ective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for e cient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their ne-grained similarity. By delaying and yet retaining this negranular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations o ine, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's e ectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.

已经表明，在一个域上训练的双编码器经常概括到其他域以获取检索任务。一种广泛的信念是，一个双编码器的瓶颈层，其中最终得分仅仅是查询向量和通道向量之间的点产品，它过于局限，使得双编码器是用于域外概括的有效检索模型。在本文中，我们通过缩放双编码器模型的大小{\ em同时保持固定的瓶颈嵌入尺寸固定的瓶颈的大小来挑战这一信念。令人惊讶的是，令人惊讶的是，缩放模型尺寸会对各种缩放提高检索任务，特别是对于域外泛化。实验结果表明，我们的双编码器，\ textbf {g} enovalizable \ textbf {t} eTrievers（gtr），优先级％colbert〜\ cite {khattab2020colbertt}和现有的稀疏和密集的索取Beir DataSet〜\ Cite {Thakur2021Beir}显着显着。最令人惊讶的是，我们的消融研究发现，GTR是非常数据的高效，因为它只需要10 \％MARCO监督数据，以实现最佳域的性能。所有GTR模型都在https://tfhub.dev/google/collections/gtr/1发布。

We present Hybrid Infused Reranking for Passages Retrieval (HYRR), a framework for training rerankers based on a hybrid of BM25 and neural retrieval models. Retrievers based on hybrid models have been shown to outperform both BM25 and neural models alone. Our approach exploits this improved performance when training a reranker, leading to a robust reranking model. The reranker, a cross-attention neural model, is shown to be robust to different first-stage retrieval systems, achieving better performance than rerankers simply trained upon the first-stage retrievers in the multi-stage systems. We present evaluations on a supervised passage retrieval task using MS MARCO and zero-shot retrieval tasks using BEIR. The empirical results show strong performance on both evaluations.

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，由于其高计算需求，在这种情况下，诸如BERT的预先培训的语言变压器型号难以使用。我们向文档排名问题提供了利用基于BERT的暹罗建筑的实时方法。该模型已经部署在商业搜索引擎中，它将生产性能提高3％以上。为了进一步研究和评估，我们释放Dareczech，一个独特的数据集，一个160万捷克用户查询文档对，手动分配相关性级别。我们还释放了小型电子捷克语，这是一个在大型捷克语中预先培训的电动小语言模型。我们认为，此数据将支持努力，搜索相关性和多语言集中的研究社区。

近年来，在应用预训练的语言模型（例如Bert）上，取得了巨大进展，以获取信息检索（IR）任务。在网页中通常使用的超链接已被利用用于设计预训练目标。例如，超链接的锚文本已用于模拟查询，从而构建了巨大的查询文档对以进行预训练。但是，作为跨越两个网页的桥梁，尚未完全探索超链接的潜力。在这项工作中，我们专注于建模通过超链接连接的两个文档之间的关系，并为临时检索设计一个新的预训练目标。具体而言，我们将文档之间的关系分为四组：无链接，单向链接，对称链接和最相关的对称链接。通过比较从相邻组采样的两个文档，该模型可以逐渐提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测（{php}）框架，以探索预训练中超链接的利用。对两个大规模临时检索数据集和六个提问数据集的实验结果证明了其优于现有的预训练方法。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

我们对13个最近的模型进行了全面评估，用于使用两个流行的收藏（MS MARCO文档和Robust04）排名长期文档。我们的模型动物园包括两个专门的变压器模型（例如longformer），它们可以处理长文档而无需分配它们。一路上，我们记录了有关培训和比较此类模型的几个困难。有些令人惊讶的是，我们发现简单的第一个基线（满足典型变压器模型的输入序列约束的截断文档）非常有效。我们分析相关段落的分布（内部文档），以解释这种现象。我们进一步认为，尽管它们广泛使用，但Robust04和MS Marco文档对于基准长期模型并不是特别有用。

Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git

信息检索是自然语言处理中的重要组成部分，用于知识密集型任务，如问题应答和事实检查。最近，信息检索已经看到基于神经网络的密集检索器的出现，作为基于术语频率的典型稀疏方法的替代方案。这些模型在数据集和任务中获得了最先进的结果，其中提供了大型训练集。但是，它们不会很好地转移到没有培训数据的新域或应用程序，并且通常因未经监督的术语 - 频率方法（例如BM25）的术语频率方法而言。因此，自然问题是如果没有监督，是否有可能训练密集的索取。在这项工作中，我们探讨了对比学习的限制，作为培训无人监督的密集检索的一种方式，并表明它导致强烈的检索性能。更确切地说，我们在15个数据集中出现了我们的模型胜过BM25的Beir基准测试。此外，当有几千例的示例可用时，我们显示微调我们的模型，与BM25相比，这些模型导致强大的改进。最后，当在MS-Marco数据集上微调之前用作预训练时，我们的技术在Beir基准上获得最先进的结果。

基于语义空间中密集表示的检索模型已成为第一阶段检索的必不可少的分支。这些检索员受益于代表学习朝着压缩全球序列级嵌入的进步。但是，它们很容易忽略本地的显着短语和实体在文本中提到的，这些短语通常在第一阶段的检索中扮演枢轴角色。为了减轻这种弱点，我们提议使一个密集的检索器对齐一个表现出色的词典意识代表模型。对齐方式是通过弱化的知识蒸馏来实现的，以通过两个方面来启发猎犬 - 1）词汇扬声的对比目标，以挑战密集编码器和2）一个配对的等级正规化，以使密集的模型的行为倾向于其他人的行为。我们在三个公共基准上评估了我们的模型，这表明，凭借可比的词典觉得回收犬作为老师，我们提议的密集人可以带来一致而重大的改进，甚至超过教师。此外，我们发现我们对密集猎犬的改进是与标准排名蒸馏的补充，这可以进一步提高最先进的性能。