本地引文建议的目标是推荐从本地引文上下文中缺少的参考，也可以从全球背景下选择。为了在大规模纸质数据库的背景下平衡引文建议的速度和准确性之间的权衡，一种可行的方法是使用有效的排名方法来预先取代有限数量的相关文件，然后使用更多复杂的模型。在那种静脉中，BM25已被发现是一种艰难的预取方法，这就是为什么最近的工作主要集中在重新登记的步骤中。即便如此，我们探讨了由分层注意网络构造的文本嵌入的最近邻南搜索的预取。当耦合与速度regered在本地引文推荐任务上进行微调时，我们的分层关注编码器（Hatten）实现了高预备回忆，以便重新登记给定数量的候选候选者。因此，我们的Reranker需要重新命名更少的预取候选者，但仍然在各种本地引文推荐数据集上实现最先进的性能，例如ACL-200，FullTextPeerread，Refse和Arxiv。
translated by 谷歌翻译
我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。
translated by 谷歌翻译
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此，由于其高计算需求，在这种情况下，诸如BERT的预先培训的语言变压器型号难以使用。我们向文档排名问题提供了利用基于BERT的暹罗建筑的实时方法。该模型已经部署在商业搜索引擎中，它将生产性能提高3％以上。为了进一步研究和评估，我们释放Dareczech，一个独特的数据集，一个160万捷克用户查询文档对，手动分配相关性级别。我们还释放了小型电子捷克语，这是一个在大型捷克语中预先培训的电动小语言模型。我们认为，此数据将支持努力，搜索相关性和多语言集中的研究社区。
translated by 谷歌翻译
分布式文档表示是自然语言处理中的基本问题之一。目前分布式文档表示方法主要考虑单词或句子的上下文信息。这些方法不考虑文件作为整体的一致性，例如文档之间的关系，文档中的纸张标题和抽象，标题和描述或相邻机构之间的关系。一致性显示文档是否有意义，逻辑和句法，尤其是科学文档（论文或专利等）。在本文中，我们提出了一个耦合文本对嵌入（CTPE）模型来学习科学文档的表示，其通过分割文档来维护文档与耦合文本对的相干性。首先，我们将文档划分为构造耦合文本对的两个部分（例如，标题和抽象等）。然后，我们采用负面采样来构建两个部分来自不同文档的未耦合文本对。最后，我们训练模型以判断文本对是否被耦合或解耦并使用所获得的耦合文本对的嵌入作为嵌入文档。我们在三个数据集上执行实验，以获得一个信息检索任务和两个推荐任务。实验结果验证了所提出的CTPE模型的有效性。
translated by 谷歌翻译
排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。
translated by 谷歌翻译
最近引入的基于变压器的文章编码器（TAES）旨在为相关的科学文章生成类似的矢量表示，已在基准数据集上表现出强烈的性能，以供科学文章建议。但是，现有的基准数据集主要集中在单个域上，在某些情况下，在小型候选池中包含易于负面因素。评估此类基准测试的表示可能会掩盖TAE在候选池中成千上万篇文章的设置中的现实性能。在这项工作中，我们评估了具有更具挑战性候选池的大型基准的TAE。我们将TAE的性能与词汇检索基线模型BM25进行了比较，该模型在引文建议的任务中进行了比较，该模型在给定输入文章中产生了引用的建议列表。我们发现，BM25仍然与最先进的神经检索器具有非常有竞争力的竞争，这一发现令人惊讶，鉴于TAE在小型基准上的强劲表现。作为对现有基准测试的局限性的补救措施，我们提出了一个新的基准数据集来评估科学文章表示：多域引文建议数据集（MDCR），该数据集（MDCR）涵盖了不同的科学领域，并包含具有挑战性的候选池。
translated by 谷歌翻译
我们渴望基于匹配的细粒度方面的新的科学文档相似模式。我们的模型采用了将相关论文方面描述为一种新颖的文本监督形式的共同引用上下文培训。我们使用多向量文档表示，最近在设置中探讨了短查询文本，但在具有挑战性的文档文件设置中探索。我们呈现了一种快速方法，涉及仅匹配单句对，以及一种具有最佳传输的稀疏多匹配的方法。我们的模型在四个数据集中提高了文档相似任务的性能。此外，我们的快速单匹赛方法实现了竞争力的结果，开辟了将细粒度的文档相似性模型应用于大型科学集团的可能性。
translated by 谷歌翻译
现有以查询为中心的摘要数据集的大小有限，使培训数据驱动的摘要模型提出了挑战。同时，以查询为重点的摘要语料库的手动构造昂贵且耗时。在本文中，我们使用Wikipedia自动收集超过280，000个示例的大型以查询为中心的摘要数据集（名为Wikiref），这可以用作数据增强的手段。我们还开发了一个基于BERT的以查询为重点的摘要模型（Q-bert），以从文档中提取句子作为摘要。为了更好地调整包含数百万个参数的巨大模型，我们仅识别和微调一个稀疏的子网络，这对应于整个模型参数的一小部分。三个DUC基准测试的实验结果表明，在Wikiref中预先培训的模型已经达到了合理的性能。在对特定基准数据集进行了微调后，具有数据增强的模型优于强大比较系统。此外，我们提出的Q-Bert模型和子网微调都进一步改善了模型性能。该数据集可在https://aka.ms/wikiref上公开获取。
translated by 谷歌翻译
考虑到迅速越来越多的学术论文，在纸张接线期间寻找和引用适当的参考资料已成为非审判任务。在出版物之前推荐给手稿的少数候选文件可以缓解作者的负担，并帮助审阅者检查所引用的资源的完整性。引文建议的常规方法通常考虑从输入稿件中建议一个地面真理引用查询上下文，但缺乏对共同引用建议的思考。然而，两种或更多的共同引用对通常需要支持的背景。在这里，我们提出了一种用于引用建议的新型科学纸张建模，即引文推荐的多正面BERT模型（MP-BERT4CR），符合一系列多阳性三联网目标，以推荐用于查询上下文的多个积极引用。建议的方法具有以下优势：首先，拟议的多积极目标是有效推荐多个积极候选人。其次，我们采用基于历史共同引用频率构建的噪声分布，因此MP-BERT4CR不仅有效地对推荐高频繁的共同传递对有效;但是，检索低频率的表演得到了显着改善。第三，我们提出了一种动态的上下文采样策略，它从手稿中捕获了piking意图的“宏观范围”，并赋予引文嵌入来依赖于内容，这允许算法进一步提高性能。单个和多个正面推荐实验证明了MP-BERT4CR提供了显着的改进。此外，MP-BERT4CR还有效地检索与先前作品相比检索共同引用的全部列表，历史低频的共同传递对。
translated by 谷歌翻译
学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。
translated by 谷歌翻译
随着网络和在线百科全书的可访问性的增加，要管理的数据量正在不断增加。例如，在Wikipedia中，有数百万页用多种语言编写。这些页面包含通常缺乏文本上下文的图像，在概念上保持浮动，因此很难找到和管理。在这项工作中，我们介绍了我们设计的系统，用于参加Kaggle上的Wikipedia图像捕捉匹配挑战，其目的是使用与图像（URL和视觉数据）相关的数据来在大量可用图像中找到正确的标题。能够执行此任务的系统将改善大型在线百科全书上多媒体内容的可访问性和完整性。具体而言，我们提出了一个由最近的变压器模型提供支持的两个模型的级联，能够有效地推断出查询图像数据和字幕之间的相关得分。我们通过广泛的实验来验证，提出的两模型方法是处理大量图像和标题的有效方法，同时保持了推理时的整体计算复杂性。我们的方法取得了显着的结果，在Kaggle Challenge的私人排行榜上获得了0.53的归一化折扣累积增益（NDCG）值。
translated by 谷歌翻译
例如，查询是一个众所周知的信息检索任务，其中由用户选择文档作为搜索查询，目标是从大集合中检索相关文档。但是，文档通常涵盖主题的多个方面。要解决此方案，我们将通过示例介绍面位查询的任务，其中用户还可以指定除输入查询文档之外的更精细的粗体方面。我们专注于在科学文献搜索中的应用。我们设想能够沿着专门选择的修辞结构元素作为对此问题的一种解决方案来检索类似于查询科学纸的科学论文。在这项工作中，我们称之为方面的修辞结构元素，表明了科学论文的目标，方法或结果。我们介绍并描述了一个专家注释的测试集合，以评估培训的型号以执行此任务。我们的测试收集包括一个不同的50套英文查询文件，从计算语言学和机器学习场所绘制。我们仔细遵循TREC用于深度-K池（k = 100或250）使用的注释指南，结果数据收集包括具有高注释协议的分级相关性分数。在我们的数据集中评估的最先进模型显示出进一步的工作中的显着差距。可以在此处访问我们的数据集：https://github.com/iesl/csfcube
translated by 谷歌翻译
预训练的模型（PTM）已成为自然语言处理和计算机视觉下游任务的基本骨干。尽管通过在BAIDU地图上将通用PTM应用于与地理相关的任务中获得的最初收益，但随着时间的流逝，表现平稳。造成该平稳的主要原因之一是缺乏通用PTM中的可用地理知识。为了解决这个问题，在本文中，我们介绍了Ernie-Geol，这是一个地理和语言预培训模型，设计和开发了用于改善Baidu Maps的地理相关任务。 Ernie-Geol经过精心设计，旨在通过预先培训从包含丰富地理知识的异质图生成的大规模数据来学习地理语言的普遍表示。大规模现实数据集进行的广泛定量和定性实验证明了Ernie-Geol的优势和有效性。自2021年4月以来，Ernie-Geol已经在百度地图上部署在生产中，这显着受益于各种下游任务的性能。这表明Ernie-Geol可以作为各种与地理有关的任务的基本骨干。
translated by 谷歌翻译
建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。
translated by 谷歌翻译
在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。
translated by 谷歌翻译
当医学研究人员进行系统审查（SR）时，筛查研究是最耗时的过程：研究人员阅读了数千个医学文献，手动标记它们相关或无关紧要。筛选优先级排序（即，文件排名）是通过提供相关文件的排名来协助研究人员的方法，其中相关文件的排名高于无关。种子驱动的文档排名（SDR）使用已知的相关文档（即，种子）作为查询并生成这些排名。以前的SDR工作试图在查询文档中识别不同术语权重，并在检索模型中使用它们来计算排名分数。或者，我们将SDR任务制定为查询文档的类似文档，并根据相似度得分生成排名。我们提出了一个名为Mirror匹配的文件匹配度量，通过结合常见的书写模式来计算医疗摘要文本之间的匹配分数，例如背景，方法，结果和结论。我们对2019年克利夫氏素母电子邮件进行实验2 TAR数据集，并且经验结果表明这种简单的方法比平均精度和精密的度量标准的传统和神经检索模型实现了更高的性能。
translated by 谷歌翻译
传送消息的时间是许多实际自然语言处理任务的重要元数据，例如主题检测和跟踪（TDT）。 TDT系统旨在通过事件培养新闻文章的语料库，并且在这种情况下，描述相同事件的故事可能在同一时间写入。对TDT的时间建模之前的工作将其考虑在内，但并不能很好地捕获时间与事件的语义性质相互作用。例如，关于热带风暴的故事可能在短时间内写入短时间内，而关于电影发布的故事可能出现超过数周或数月。在我们的工作中，我们设计了一种神经方法，可以将时间和文本信息融入到事件检测的新闻文档的单个表示中。我们微调这些时间感知文件嵌入具有三态损耗架构，将模型集成到下游TDT系统中，并在英语中评估两个基准TDT数据集的系统。在回顾性设置中，我们将聚类算法应用于时间感知嵌入物，并在新闻2013数据集上显示基本电池的大量改进。在线流设置中，我们将文档编码器添加到现有的最先进的TDT管道，并证明它可以使整体性能有益。我们对时代表示和融合算法策略进行消融研究，表明我们所提出的模型优于替代策略。最后，我们探讨模型以检查它如何比以前的TDT系统更有效地处理重复事件。
translated by 谷歌翻译
文档检索使用户能够准确，快速找到所需的文档。为了满足检索效率的要求，普遍的深神经方法采用了基于表示的匹配范式，该范式通过离线预先存储文档表示节省了在线匹配时间。但是，上述范式会消耗庞大的本地存储空间，尤其是将文档存储为单词元素表示时。为了解决这个问题，我们提出了TGTR，这是一种基于主题的文本表示模型，用于文档检索。遵循基于表示的匹配范式，TGTR将文档表示脱机存储以确保检索效率，而通过使用新颖的主题格式表示，而不是传统的单词元素，则大大降低了存储要求。实验结果表明，与单词粒度的基线相比，TGTR在检索准确性方面始终在TREC CAR和MS MARCO上竞争，但其所需的存储空间的少于1/10。此外，TGTR绝大多数在检索准确性方面超过了全球粒度的基线。
translated by 谷歌翻译
生物医学问题的回答旨在从生物医学领域获得对给定问题的答案。由于其对生物医学领域知识的需求很高，因此模型很难从有限的培训数据中学习域知识。我们提出了一种上下文嵌入方法，该方法结合了在生物医学域数据上预先训练的开放域QA模型\ AOA和\ biobert模型。我们对大型生物医学语料库采用无监督的预培训，并在生物医学问题答案数据集上进行了微调。此外，我们采用基于MLP的模型加权层自动利用两个模型的优势以提供正确的答案。由PubMed语料库构建的公共数据集\ BIOMRC用于评估我们的方法。实验结果表明，我们的模型以大幅度优于最先进的系统。
translated by 谷歌翻译
多标签文本分类是指从标签集中分配其最相关标签的问题。通常，在现实世界应用中提供给定文件的元数据和标签的层次结构。然而，大多数现有的研究专注于仅建模文本信息，几次尝试利用元数据或层次结构，而不是它们都是。在本文中，我们通过在大型标签层次结构中正式化Metadata感知文本分类问题来弥合差距（例如，数万个标签）。为了解决这个问题，我们介绍了匹配解决方案 - 一个端到端的框架，它利用元数据和层次结构。为了合并元数据，我们预先培训了同一空间中的文本和元数据的嵌入，并且还利用完全连接的关注来捕获它们之间的相互关系。要利用标签层次结构，我们提出了不同的方法来规范其父母每个子标签的参数和输出概率。在具有大规模标签层次结构的两个大规模文本数据集上的广泛实验证明了匹配最先进的深度学习基线的有效性。
translated by 谷歌翻译