我们为交互式数据探索设置中的下一个查询建议提出了一种算法，例如信息收集的知识发现。最先进的查询建议算法基于利用历史交互数据的顺序到序列学习方法。由于学习过程中涉及的监督，这种方法无法适应立即的用户反馈。我们建议使用基于变压器的因果语言模型来查询建议，以适应使用多臂强盗（MAB）框架的直接用户反馈。我们使用来自流行的在线文献发现服务中的日志文件进行大规模的实验研究，并证明我们的算法在基于最先进的变压器的查询建议模型方面大大改善了每轮遗憾，该模型不要使用立即的用户反馈。我们的数据模型和源代码可从https://github.com/shampp/exp3_ss获得
translated by 谷歌翻译
电子商务查询通常简短而模棱两可。因此，查询理解通常使用查询重写来消除用户输入查询。在使用电子商务搜索工具时，用户倾向于在购买之前输入多个搜索，我们称之为上下文。这些历史搜索包含有关用户真正购物意图的上下文见解。因此，对此类上下文信息进行建模对于更好的查询重写模型至关重要。但是，现有的查询重写模型忽略了用户的历史行为，而仅考虑即时搜索查询，这通常是一个简短的字符串，提供有关真实购物意图的有限信息。我们建议一个端到端的上下文感知查询重写模型来弥合此差距，从而考虑了搜索上下文。具体而言，我们的模型使用历史记录搜索查询及其包含的单词构建了会话图。然后，我们采用图形注意机制，该机制对交叉关系进行建模并计算会话的上下文信息。随后，模型通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。然后将会话表示形式解码以生成重写的查询。从经验上讲，我们证明了我们方法对各种指标下最先进的方法的优越性。在从线购物平台的内部数据上，通过介绍上下文信息，我们的模型在MRR（平均值等级）指标下取得了11.6％的改善，并在HIT@16度量指标（命中率指标）下提高了20.1％使用最佳基线方法（基于变压器的模型）。
translated by 谷歌翻译
我们研究了标准匪徒问题的扩展，其中有很多专家。多层专家按一层进行选择，只有最后一层的专家才能发挥作用。学习政策的目的是最大程度地减少该等级专家环境中的遗憾。我们首先分析了总遗憾随着层数线性增长的案例。然后，我们关注的是所有专家都在施加上层信心（UCB）策略，并在不同情况下给出了几个子线上界限。最后，我们设计了一些实验，以帮助对分层UCB结构的一般情况进行遗憾分析，并显示我们理论结果的实际意义。本文提供了许多有关合理层次决策结构的见解。
translated by 谷歌翻译
我们考虑一个多武装的强盗设置，在每一轮的开始时，学习者接收嘈杂的独立，并且可能偏见，\ emph {评估}每个臂的真正奖励，它选择$ k $武器的目标累积尽可能多的奖励超过$ $ rounds。在假设每轮在每个臂的真正奖励从固定分发中汲取的，我们得出了不同的算法方法和理论保证，具体取决于评估的生成方式。首先，在观察功能是真正奖励的遗传化线性函数时，我们在一般情况下展示$ \ widetilde {o}（t ^ {2/3}）$后悔。另一方面，当观察功能是真正奖励的嘈杂线性函数时，我们就可以派生改进的$ \ widetilde {o}（\ sqrt {t}）$后悔。最后，我们报告了一个实证验证，确认我们的理论发现，与替代方法进行了彻底的比较，并进一步支持在实践中实现这一环境的兴趣。
translated by 谷歌翻译
多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。
translated by 谷歌翻译
当使用任意异质数据流提供时，我们如何收集最有用的标签来学习模型选择策略？在本文中，我们将此任务制定为一个在线上下文的活动模型选择问题，在每个回合中，学习者在上下文中都会收到一个未标记的数据点以及上下文。目的是在任何给定上下文中输出最佳模型，而不会获得过多的标签。特别是，我们专注于选择预训练的分类器的任务，并提出一种上下文活动模型选择算法（CAM），该算法依赖于在给定策略类别上定义的新型不确定性采样查询标准用于自适应模型选择。与先前的ART相比，我们的算法不假定全球最佳模型。我们提供严格的理论分析，以实现对抗和随机设置下的遗憾和查询复杂性。我们对几个基准分类数据集的实验证明了该算法在遗憾和查询复杂性方面的有效性。值得注意的是，与CIFAR10上最佳的在线型号选择基线相比，CAMS的标签成本少于标签成本的10％。
translated by 谷歌翻译
由于其可扩展性，两阶段推荐人被今天的许多最大的在线平台使用，包括YouTube，Linkedin和Pinterest。这些系统以两个步骤产生建议：（i）多个提名者调整为低预测延迟，从整个项目池中预先选择一个小候选者的小组; （ii）较慢但更准确的排名进一步缩小指定项目，并为用户服务。尽管他们受欢迎，但两级推荐人的文献相对稀缺，算法经常被视为他们的部分的总和。这种治疗假定了通过单独组分的行为解释了两级性能。事实并非如此：使用综合性和现实世界数据，我们证明了排名人员和提名人之间的互动大大影响了整体性能。通过这些调查结果，我们推出了概括下限，表明独立提名培训可能导致均匀随机建议的表现。我们发现，仔细设计项目池，每个项目池分配给不同的提名人，减轻了这些问题。随着手动搜索良好的池分配很难，我们建议使用基于专家的混合方法来学习一个。这显着改善了K的精度和召回。
translated by 谷歌翻译
随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。
translated by 谷歌翻译
查询聚焦的文本摘要（QFTS）任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中，我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功，我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应，我们使用预先训练的变压器的摘要模型应用了各种技术，包括转移学习，弱监督学习和远程监督。六个数据集的广泛实验表明，我们所提出的方法非常有效地为QFTS任务产生抽象摘要，同时在一组自动和人类评估指标上设置新的最先进的结果。
translated by 谷歌翻译
我们考虑了个性化新闻推荐的问题，每个用户都以顺序消费新闻。现有的个性化新闻推荐方法的重点是利用用户兴趣，而忽略了推荐中的探索，从而导致反馈循环并长期损害了建议质量。我们基于上下文土匪推荐策略，自然可以解决剥削 - 探索权衡取舍。主要挑战是探索大规模项目空间并利用不确定性的深层表示的计算效率。我们提出了一个两阶段的分层主题，新的深层上下文强盗框架，以在有许多新闻项目时有效地学习用户偏好。我们为用户和新闻使用深度学习表示形式，并将神经上限限制（UCB）策略推广到广义添加剂UCB和BILINEAR UCB。大规模新闻建议数据集的经验结果表明，我们提出的政策是有效的，并且表现优于基线匪徒政策。
translated by 谷歌翻译
本文介绍了寻求信息（是）任务，概念和算法的信息重新分类。拟议的分类系统提供了新的维度，以研究寻求任务和方法的信息。新尺寸包括搜索迭代，搜索目标类型和程序的数量，以实现这些目标。寻求任务的信息沿着这些尺寸呼叫合适的计算解决方案的差异。然后，该文章评论了符合每个新类别的机器学习解决方案。该论文结束了对系统的评估活动进行了审查。
translated by 谷歌翻译
到目前为止，大多数关于推荐系统的研究专注于通过促进相关和个性化内容维持长期用户参与和满足感。但是，评估这种内容的质量和可靠性仍然非常具有挑战性。在本文中，我们提出了FEBR（基于专家的建议框架），是评估在线平台上建议内容的质量的学徒学习框架。该框架在推荐评估环境中挖掘专家（假设可靠）的演示轨迹，以恢复未知的实用程序功能。此功能用于学习描述专家行为的最佳策略，然后在框架中使用，以提供高质量和个性化的建议。我们通过用户兴趣模拟环境（使用RECSIM）评估我们的解决方案的性能。我们模拟了上述专家政策下的互动，以进行视频推荐，并将其效率与标准推荐方法进行比较。结果表明，我们的方法在内容质量方面提供了显着的收益，由专家评估并由用户观察，同时保持与基线方法几乎相同的表格。
translated by 谷歌翻译
推荐系统在市场中使用时发挥了双重作用：它们可以帮助用户从大型游泳池中选择最需要的物品，并有助于将有限数量的物品分配给最想要它们的用户。尽管在许多现实世界中的推荐设置中，能力限制的流行率普遍存在，但缺乏将它们纳入这些系统设计的原则性方式。在此激励的情况下，我们提出了一个交互式框架，系统提供商可以通过机会主义探索分配来提高向用户的建议质量，从而最大程度地利用用户奖励并使用适当的定价机制尊重容量约束。我们将问题建模为低排名组合的多臂匪徒问题的实例，并在手臂上进行了选择约束。我们采用一种集成方法，使用协作过滤，组合匪徒和最佳资源分配中的技术，以提供一种算法，可证明可以实现次线性遗憾，即$ \ tilde {\ mathcal {\ sqrt {o}}（\ sqrt {\ sqrt {n+m（n+m）{n+m（n+m） ）rt}）$ in $ t $ rounds，用于$ n $用户，$ m $项目和排名$ r $ ney奖励矩阵的问题。关于合成和现实世界数据的实证研究也证明了我们方法的有效性和性能。
translated by 谷歌翻译
我们研究了一个顺序决策问题，其中学习者面临$ k $武装的随机匪徒任务的顺序。对手可能会设计任务，但是对手受到限制，以在$ m $ and的较小（但未知）子集中选择每个任务的最佳组。任务边界可能是已知的（强盗元学习设置）或未知（非平稳的强盗设置）。我们设计了一种基于Burnit subsodular最大化的减少的算法，并表明，在大量任务和少数最佳武器的制度中，它在两种情况下的遗憾都比$ \ tilde {o}的简单基线要小。 \ sqrt {knt}）$可以通过使用为非平稳匪徒问题设计的标准算法获得。对于固定任务长度$ \ tau $的强盗元学习问题，我们证明该算法的遗憾被限制为$ \ tilde {o}（nm \ sqrt {m \ tau}+n^{2/3} m \ tau）$。在每个任务中最佳武器的可识别性的其他假设下，我们显示了一个带有改进的$ \ tilde {o}（n \ sqrt {m \ tau}+n^{1/2} {1/2} \ sqrt的强盗元学习算法{m k \ tau}）$遗憾。
translated by 谷歌翻译
富达匪徒问题是$ k $的武器问题的变体，其中每个臂的奖励通过提供额外收益的富达奖励来增强，这取决于播放器如何对该臂进行“忠诚”在过去。我们提出了两种忠诚的模型。在忠诚点模型中，额外奖励的数量取决于手臂之前播放的次数。在订阅模型中，额外的奖励取决于手臂的连续绘制的当前数量。我们考虑随机和对抗问题。由于单臂策略在随机问题中并不总是最佳，因此对抗性环境中遗憾的概念需要仔细调整。我们介绍了三个可能的遗憾和调查，这可以是偏执的偏执。我们详细介绍了增加，减少和优惠券的特殊情况（玩家在手臂的每辆M $播放后获得额外的奖励）保真奖励。对于不一定享受载体遗憾的模型，我们提供了最糟糕的下限。对于那些展示Sublinear遗憾的模型，我们提供算法并绑定他们的遗憾。
translated by 谷歌翻译
建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。
translated by 谷歌翻译
近年来，在应用预训练的语言模型（例如Bert）上，取得了巨大进展，以获取信息检索（IR）任务。在网页中通常使用的超链接已被利用用于设计预训练目标。例如，超链接的锚文本已用于模拟查询，从而构建了巨大的查询文档对以进行预训练。但是，作为跨越两个网页的桥梁，尚未完全探索超链接的潜力。在这项工作中，我们专注于建模通过超链接连接的两个文档之间的关系，并为临时检索设计一个新的预训练目标。具体而言，我们将文档之间的关系分为四组：无链接，单向链接，对称链接和最相关的对称链接。通过比较从相邻组采样的两个文档，该模型可以逐渐提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测（{php}）框架，以探索预训练中超链接的利用。对两个大规模临时检索数据集和六个提问数据集的实验结果证明了其优于现有的预训练方法。
translated by 谷歌翻译
诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。
translated by 谷歌翻译
可以将相当多的现实问题提出为决策问题，其中必须反复从一组替代方案中做出适当的选择。多次专家判断，无论是人为的还是人为的，都可以帮助做出正确的决定，尤其是在探索替代解决方案的昂贵时。由于专家意见可能会偏离，因此可以通过汇总独立判断来解决找到正确的替代方案的问题作为集体决策问题（CDM）。当前的最新方法集中于有效地找到最佳专家，因此如果所有专家均不合格或过于偏见，则表现不佳，从而可能破坏决策过程。在本文中，我们提出了一种基于上下文多臂匪徒问题（CMAB）的新算法方法，以识别和抵消这种偏见的专业知识。我们探索同质，异质和两极分化的专家小组，并表明这种方法能够有效利用集体专业知识，优于最先进的方法，尤其是当提供的专业知识质量降低时。我们的新型CMAB启发方法实现了更高的最终表现，并且在收敛的同时比以前的自适应算法更快。
translated by 谷歌翻译
在潜在的强盗问题中，学习者可以访问奖励分布，并且 - 对于非平稳的变体 - 环境的过渡模型。奖励分布在手臂和未知的潜在状态下进行条件。目的是利用奖励历史来识别潜在状态，从而使未来的武器选择最佳。潜在的匪徒设置将自己适用于许多实际应用，例如推荐人和决策支持系统，其中丰富的数据允许在线学习的环境模型的离线估算仍然是关键组成部分。在这种情况下，以前的解决方案始终根据代理商对国家的信念选择最高的奖励组，而不是明确考虑信息收集臂的价值。这种信息收集的武器不一定会提供最高的奖励，因此永远不会选择始终选择最高奖励武器的代理商选择。在本文中，我们提出了一种潜在土匪信息收集的方法。鉴于特殊的奖励结构和过渡矩阵，我们表明，鉴于代理商对国家的信念，选择最好的手臂会产生更高的遗憾。此外，我们表明，通过仔细选择武器，我们可以改善对国家分布的估计，从而通过将来通过更好的手臂选择来降低累积后悔。我们在合成和现实世界数据集上评估了我们的方法，显示出对最新方法的遗憾显着改善。
translated by 谷歌翻译