如今，数据驱动的深度神经模式已经在点击率（CTR）预测上已经显示出显着的进展。不幸的是，当数据不足时，这种模型的有效性可能会失败。为了处理这个问题，研究人员经常采用勘探战略来审查基于估计奖励的项目，例如UCB或汤普森采样。在CTR预测的开发和探索的背景下，最近的研究已经尝试利用预测不确定性以及模型预测作为奖励得分。但是，我们认为这种方法可以使最终排名分数偏离原始分布，从而影响在线系统中的模型性能。在本文中，我们提出了一种名为\ textbf {a} dversarial \ textbf {g} vlient driven \ textbf {e} xploration（年龄）的新颖探索方法。具体地，我们提出了一个伪探索模块来模拟渐变更新过程，其可以近似模型的探索项目的样本的影响。此外，为了更好的探索效率，我们提出了一种动态阈值单元，以消除具有低电位CTR的样本的效果。在开放式学术数据集上证明了我们方法的有效性。同时，年龄也部署在现实世界展示广告平台中，所有在线指标都得到了显着改善。

我们考虑了个性化新闻推荐的问题，每个用户都以顺序消费新闻。现有的个性化新闻推荐方法的重点是利用用户兴趣，而忽略了推荐中的探索，从而导致反馈循环并长期损害了建议质量。我们基于上下文土匪推荐策略，自然可以解决剥削 - 探索权衡取舍。主要挑战是探索大规模项目空间并利用不确定性的深层表示的计算效率。我们提出了一个两阶段的分层主题，新的深层上下文强盗框架，以在有许多新闻项目时有效地学习用户偏好。我们为用户和新闻使用深度学习表示形式，并将神经上限限制（UCB）策略推广到广义添加剂UCB和BILINEAR UCB。大规模新闻建议数据集的经验结果表明，我们提出的政策是有效的，并且表现优于基线匪徒政策。

推荐系统（RS）是一个重要的在线应用程序，每天都会影响数十亿个用户。主流RS排名框架由两个部分组成：多任务学习模型（MTL），该模型可预测各种用户反馈，即点击，喜欢，分享和多任务融合模型（MTF），该模型（MTF）结合了多任务就用户满意度而言，输出分为最终排名得分。关于融合模型的研究并不多，尽管它对最终建议作为排名的最后一个关键过程有很大的影响。为了优化长期用户满意度，而不是贪婪地获得即时回报，我们将MTF任务作为Markov决策过程（MDP），并在推荐会话中提出，并建议基于批处理加固学习（RL）基于多任务融合框架（BATCHRL-MTF）包括批处理RL框架和在线探索。前者利用批处理RL从固定的批处理数据离线学习最佳推荐政策，以达到长期用户满意度，而后者则探索了潜在的高价值动作在线，以突破本地最佳难题。通过对用户行为的全面调查，我们通过从用户粘性和用户活动性的两个方面的微妙启发式方法对用户满意度进行了建模。最后，我们对十亿个样本级别的现实数据集进行了广泛的实验，以显示模型的有效性。我们建议保守的离线政策估计器（保守 - 访问器）来测试我们的模型离线。此外，我们在真实推荐环境中进行在线实验，以比较不同模型的性能。作为成功在MTF任务中应用的少数批次RL研究之一，我们的模型也已部署在一个大规模的工业短视频平台上，为数亿用户提供服务。

组合推荐人（CR）系统一次在结果页面中一次将项目列表馈送给用户，其中用户行为受到上下文信息和项目的影响。 CR被称为组合优化问题，目的是最大程度地提高整个列表的建议奖励。尽管它很重要，但由于在线环境中的效率，动态和个性化要求，建立实用的CR系统仍然是一个挑战。特别是，我们将问题分为两个子问题，即列表生成和列表评估。新颖和实用的模型体系结构是为这些子问题设计的，旨在共同优化有效性和效率。为了适应在线案例，给出了形成参与者批判性增强框架的自举算法，以探索在长期用户互动中更好的推荐模式。离线和在线实验结果证明了拟议的JDREC框架的功效。 JDREC已应用于在线JD建议中，将点击率提高了2.6％，平台的合成价值提高了5.03％。我们将发布本研究中使用的大规模数据集，以为研究界做出贡献。

工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上，每个子系统都使用自己的反馈数据进行了优化，以避免不同子系统之间的干扰。但是，我们认为，由于\ textit {数据稀疏}，此类数据使用可能会导致次优的在线性能。为了减轻此问题，我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识，并进一步协助在线推荐任务（下游任务）。为此，我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging（\ textbf {keep}）框架，这是一个两阶段的框架其中包括1）超级域上有监督的预训练知识提取模块，以及2）将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外，我们设计了一种有效的经验方法，用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明，保持可以实现有希望的结果。值得注意的是，Keep也已部署在阿里巴巴的展示广告系统上，带来了$+5.4 \％$ CTR和$+4.7 \％\％$ rpm的提升。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

工业推荐系统处理极大的行动空间 - 许多数百万的项目推荐。此外，他们需要为数十亿用户服务，他们在任何时间点都是独一无止的，制作复杂的用户状态空间。幸运的是，可以学习大量记录的隐式反馈（例如，用户点击，停留时间）。然而，从记录的反馈中学习，才受到仅通过以前版本的推荐器选择的建议的反馈而导致的偏差。在这项工作中，我们展示了在YouTube的生产Top-K推荐系统中解决此类偏差的一般配方，以策略梯度为基础的算法，即加强。本文的贡献是：（1）缩放到生产推荐系统，以数百万的订单为行动空间; （2）申请违规纠正以解决从多种行为策略收集的记录反馈中学习数据偏差; （3）提出新的Top-K违规纠正，以占我们的政策一次推荐多个项目; （4）展示勘探的价值。我们展示了我们通过一系列模拟和youtube上的多个实时实验的方法。

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

虚拟支持代理商已经普及，作为企业提供更好，更可访问的客户服务的一种方式。此域中的一些挑战包括模糊的用户查询以及更改支持主题和用户行为（非实用性）。但是，我们这样做可以访问用户提供的部分反馈（点击，调查和其他事件），这些反馈可以利用来改善用户体验。适应的学习技术，如上下文匪徒，是对这个问题设置的自然拟合。在本文中，我们讨论了Microsoft Virtual代理的上下文匪徒（CB）的实际实现。它包括基于神经线性匪徒（NLB）和基于多武装匪徒（MAB）集合的内容建议的意图消歧。我们的解决方案已部署到生产并改进了Microsoft虚拟代理的关键业务指标，由A / B实验确认。结果包括问题分辨率的相对增加12％，并且对人类运营商的升级相对减少超过4％。虽然我们目前的用例侧重于Intent消费歧义和支持机器人的上下文建议，但我们认为我们的方法可以扩展到其他域。

Thompson sampling is one of oldest heuristic to address the exploration / exploitation trade-off, but it is surprisingly unpopular in the literature. We present here some empirical results using Thompson sampling on simulated and real data, and show that it is highly competitive. And since this heuristic is very easy to implement, we argue that it should be part of the standard baselines to compare against.

最近，在线广告客户使用推荐系统（RSS）来显示广告来改善用户的参与度。上下文强盗模型是一种广泛使用的RS，可利用和探索用户的参与度并最大化长期奖励，例如点击或转换。但是，当前的模型旨在仅在特定域中优化一组广告，并且不与多个域中的其他模型共享信息。在本文中，我们提出了动态协作过滤汤普森采样（DCTS），这是新颖而简单的模型，以在多个强盗模型之间传递知识。 DCT利用用户和广告之间的相似性来估计汤普森采样的先前分布。这种相似性是根据用户和广告的上下文功能获得的。相似性使模型在没有太多数据的域中通过传输知识来更快地收敛。此外，DCT结合了用户的时间动态，以跟踪用户最近的偏好变化。我们首先显示传递知识并结合时间动力学改善了合成数据集上基线模型的性能。然后，我们对现实世界数据集进行了经验分析，结果表明，与最先进的模型相比，DCTS的点击率提高了9.7％。我们还分析了调整时间动力学和相似性的超参数，并显示最大化CTR的最佳参数。

瀑布推荐系统（RS）是移动应用程序中RS的流行形式，是推荐的项目流，这些项目由连续页面组成，可以通过滚动浏览。在Waterfall RS中，当用户完成浏览页面时，Edge（例如，手机）将向Cloud Server发送请求，以获取新的建议页面，称为分页请求机制。 RSS通常将大量项目放入一页中，以减少众多分页请求中的过度资源消耗，但是，这将降低RSS根据用户的实时兴趣及时续订建议的能力，并导致贫穷的用户。经验。直观地，在页面内插入其他请求以更新频率的建议可以减轻问题。但是，以前的尝试，包括非自适应策略（例如，统一插入请求）最终会导致资源过度消费。为此，我们设想了一项名为智能请求策略设计（IRSD）的Edge Intelligence的新学习任务。它旨在通过根据用户的实时意图确定请求插入的适当情况来提高瀑布RSS的有效性。此外，我们提出了一种新的自适应请求插入策略的范式，名为基于Uplift的On-Ending Smart请求框架（AdareQuest）。 AdareQuest 1）通过将实时行为与基于基于注意力的神经网络相匹配的历史兴趣来捕获用户意图的动态变化。 2）估计根据因果推理插入的请求带来的用户购买的反事实提升。 3）通过在在线资源约束下最大化效用功能来确定最终请求插入策略。我们在离线数据集和在线A/B测试上进行了广泛的实验，以验证AdareQuest的有效性。

在隐性反馈推荐中，将短期偏好纳入推荐系统近年来引起了不断的关注。但是，在历史交互中的意外行为，如偶然点击一些物品，也不能反映用户固有的偏好。现有研究未能模拟意外行为的影响，从而实现劣等的推荐性能。在本文中，我们提出了一种多偏好模型（MPM）来消除意外行为的影响。 MPM首先通过细粒度的偏好模块从最近的历史交互中提取用户的即时偏好。然后，培训意外行为检测器以判断这些即时偏好是否由意外行为偏置。我们还将用户的一般偏好集成在MPM中。最后，执行输出模块以消除意外行为的影响，并集成所有信息以进行最终推荐。我们在电影的两个数据集和电子零售中进行广泛的实验，展示了我们在最先进的方法上的模型的显着改进。实验结果表明，MPM在HR @ 10和NDCG @ 10中获得了大规模的改善，平均与斯trec模型相比相对增加了3.643％和4.107％。我们在https://github.com/chenjie04/mpm/发布我们的代码。

为了成功推荐（SR）成功，最近的作品着重于设计有效的顺序编码器，融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态，因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果，该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的，因为内容的负面项目与动态变化的兴趣和模型参数相关（并且抽样过程也应该是有效的）。为此，我们建议为SR（Genni）生成负样本（项目）。根据当前SR模型对项目的学习用户偏好，在每个时间步骤中都采样了负项目。提出了有效的实施，以进一步加速生成过程，使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性，并证明了Genni的有效性和效率。

Recommender systems aim to answer the following question: given the items that a user has interacted with, what items will this user likely interact with next? Historically this problem is often framed as a predictive task via (self-)supervised learning. In recent years, we have seen more emphasis placed on approaching the recommendation problem from a policy optimization perspective: learning a policy that maximizes some reward function (e.g., user engagement). However, it is commonly the case in recommender systems that we are only able to train a new policy given data collected from a previously-deployed policy. The conventional way to address such a policy mismatch is through importance sampling correction, which unfortunately comes with its own limitations. In this paper, we suggest an alternative approach, which involves the use of local policy improvement without off-policy correction. Drawing from a number of related results in the fields of causal inference, bandits, and reinforcement learning, we present a suite of methods that compute and optimize a lower bound of the expected reward of the target policy. Crucially, this lower bound is a function that is easy to estimate from data, and which does not involve density ratios (such as those appearing in importance sampling correction). We argue that this local policy improvement paradigm is particularly well suited for recommender systems, given that in practice the previously-deployed policy is typically of reasonably high quality, and furthermore it tends to be re-trained frequently and gets continuously updated. We discuss some practical recipes on how to apply some of the proposed techniques in a sequential recommendation setting.

我们在这里采用贝叶斯非参数混合模型，以将多臂匪徒扩展到尤其是汤普森采样，以扩展到存在奖励模型不确定性的场景。在随机的多臂强盗中，播放臂的奖励是由未知分布产生的。奖励不确定性，即缺乏有关奖励生成分布的知识，引起了探索 - 开发权的权衡：强盗代理需要同时了解奖励分布的属性，并顺序决定下一步要采取哪种操作。在这项工作中，我们通过采用贝叶斯非参数高斯混合模型来进行奖励模型不确定性，将汤普森的抽样扩展到场景中，以进行灵活的奖励密度估计。提出的贝叶斯非参数混合物模型汤普森采样依次学习了奖励模型，该模型最能近似于真实但未知的每臂奖励分布，从而实现了成功的遗憾表现。我们基于基于后验分析的新颖的分析得出的，这是一种针对该方法的渐近遗憾。此外，我们从经验上评估了其在多样化和以前难以捉摸的匪徒环境中的性能，例如，在指数级的家族中，奖励不受异常值和不同的每臂奖励分布。我们表明，拟议的贝叶斯非参数汤普森取样优于表现，无论是平均累积的遗憾和遗憾的波动，最先进的替代方案。在存在强盗奖励模型不确定性的情况下，提出的方法很有价值，因为它避免了严格的逐案模型设计选择，但提供了重要的遗憾。

随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。

Personalized web services strive to adapt their services (advertisements, news articles, etc.) to individual users by making use of both content and user information. Despite a few recent advances, this problem remains challenging for at least two reasons. First, web service is featured with dynamically changing pools of content, rendering traditional collaborative filtering methods inapplicable. Second, the scale of most web services of practical interest calls for solutions that are both fast in learning and computation.In this work, we model personalized recommendation of news articles as a contextual bandit problem, a principled approach in which a learning algorithm sequentially selects articles to serve users based on contextual information about the users and articles, while simultaneously adapting its article-selection strategy based on user-click feedback to maximize total user clicks.The contributions of this work are three-fold. First, we propose a new, general contextual bandit algorithm that is computationally efficient and well motivated from learning theory. Second, we argue that any bandit algorithm can be reliably evaluated offline using previously recorded random traffic. Finally, using this offline evaluation method, we successfully applied our new algorithm to a Yahoo! Front Page Today Module dataset containing over 33 million events. Results showed a 12.5% click lift compared to a standard context-free bandit algorithm, and the advantage becomes even greater when data gets more scarce.

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。