在基于学术和行业的研究中，在线评估方法都被视为推荐系统等交互式应用程序的黄金标准。自然，这样做的原因是，我们可以直接测量依赖干预措施的实用程序指标，这是向用户显示的建议。然而，由于多种原因，在线评估方法是昂贵的，并且对于可靠的离线评估程序仍然存在明确的需求。在行业中，离线指标通常被用作一线评估，以生成有前途的候选模型来在线评估。在学术工作中，对在线系统的有限访问使离线指标是验证新方法的事实上的方法。存在两个类别的离线指标：基于代理的方法和反事实方法。头等舱通常与我们关心的在线指标相关，而后一类仅根据在现实世界中无法实现的假设提供理论保证。在这里，我们表明基于模拟的比较为离线指标提供了前进的方向，并认为它们是可取的评估手段。

我们介绍了概率等级和奖励模型（PRR），这是一个可扩展的概率模型，用于个性化的Slate建议。我们的模型允许在以下无处不在的推荐系统方案中对用户兴趣的最新估计：向用户显示了k个建议的板岩，用户最多可以选择这些K项目中的一个。推荐系统的目标是找到用户最感兴趣的K项目，以最大程度地提高用户与Slate交互的可能性。我们的贡献是表明，我们可以通过结合奖励（无论是否单击板岩，以及等级）而更有效地学习建议成功的可能性。我们的方法比仅使用奖励和仅使用等级的用户偏好方法的盗销方法更有效地学习。它还提供了与独立的逆点分数方法相似或更好的估计性能，并且更可扩展。我们的方法是在大量数据集中的速度和准确性方面的最高速度，最多100万个项目。最后，我们的方法允许快速交付由最大内部产品搜索（MIPS）提供动力的建议，使其适用于极低的延迟域，例如计算广告。

工业推荐系统处理极大的行动空间 - 许多数百万的项目推荐。此外，他们需要为数十亿用户服务，他们在任何时间点都是独一无止的，制作复杂的用户状态空间。幸运的是，可以学习大量记录的隐式反馈（例如，用户点击，停留时间）。然而，从记录的反馈中学习，才受到仅通过以前版本的推荐器选择的建议的反馈而导致的偏差。在这项工作中，我们展示了在YouTube的生产Top-K推荐系统中解决此类偏差的一般配方，以策略梯度为基础的算法，即加强。本文的贡献是：（1）缩放到生产推荐系统，以数百万的订单为行动空间; （2）申请违规纠正以解决从多种行为策略收集的记录反馈中学习数据偏差; （3）提出新的Top-K违规纠正，以占我们的政策一次推荐多个项目; （4）展示勘探的价值。我们展示了我们通过一系列模拟和youtube上的多个实时实验的方法。

在这项工作中，我们提出了一种使用位置偏差模型来确定性记录策略的新型方法。该技术大大扩大了可以使用OPE的策略。我们使用有关行业规模数据的两个不同的实验来验证该技术。OPE结果显然与在线结果密切相关，并且存在一些持续的偏见。估算器要求检查模型是对真实用户行为的合理准确近似。

Recommender systems aim to answer the following question: given the items that a user has interacted with, what items will this user likely interact with next? Historically this problem is often framed as a predictive task via (self-)supervised learning. In recent years, we have seen more emphasis placed on approaching the recommendation problem from a policy optimization perspective: learning a policy that maximizes some reward function (e.g., user engagement). However, it is commonly the case in recommender systems that we are only able to train a new policy given data collected from a previously-deployed policy. The conventional way to address such a policy mismatch is through importance sampling correction, which unfortunately comes with its own limitations. In this paper, we suggest an alternative approach, which involves the use of local policy improvement without off-policy correction. Drawing from a number of related results in the fields of causal inference, bandits, and reinforcement learning, we present a suite of methods that compute and optimize a lower bound of the expected reward of the target policy. Crucially, this lower bound is a function that is easy to estimate from data, and which does not involve density ratios (such as those appearing in importance sampling correction). We argue that this local policy improvement paradigm is particularly well suited for recommender systems, given that in practice the previously-deployed policy is typically of reasonably high quality, and furthermore it tends to be re-trained frequently and gets continuously updated. We discuss some practical recipes on how to apply some of the proposed techniques in a sequential recommendation setting.

这项调查旨在全面概述用户与推荐系统之间的相互作用和M＆S应用程序之间的相互作用的最新趋势（M＆S），以改善工业推荐引擎的性能。我们从实施模拟器的框架开发的动机开始，以及它们用于培训和测试不同类型（包括强化学习）的推荐系统的使用。此外，我们根据现有模拟器的功能，认可和工业有效性提供了新的一致分类，并总结了研究文献中发现的模拟器。除其他事情外，我们还讨论了模拟器的构建块：合成数据（用户，项目，用户项目响应）的生成，用于模拟质量评估的方法和数据集（包括监视的方法）和/或关闭可能的模拟到现实差距），以及用于汇总实验仿真结果的方法。最后，这项调查考虑了该领域的新主题和开放问题。

In an era of countless content offerings, recommender systems alleviate information overload by providing users with personalized content suggestions. Due to the scarcity of explicit user feedback, modern recommender systems typically optimize for the same fixed combination of implicit feedback signals across all users. However, this approach disregards a growing body of work highlighting that (i) implicit signals can be used by users in diverse ways, signaling anything from satisfaction to active dislike, and (ii) different users communicate preferences in different ways. We propose applying the recent Interaction Grounded Learning (IGL) paradigm to address the challenge of learning representations of diverse user communication modalities. Rather than taking a fixed, human-designed reward function, IGL is able to learn personalized reward functions for different users and then optimize directly for the latent user satisfaction. We demonstrate the success of IGL with experiments using simulations as well as with real-world production traces.

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

虚拟支持代理商已经普及，作为企业提供更好，更可访问的客户服务的一种方式。此域中的一些挑战包括模糊的用户查询以及更改支持主题和用户行为（非实用性）。但是，我们这样做可以访问用户提供的部分反馈（点击，调查和其他事件），这些反馈可以利用来改善用户体验。适应的学习技术，如上下文匪徒，是对这个问题设置的自然拟合。在本文中，我们讨论了Microsoft Virtual代理的上下文匪徒（CB）的实际实现。它包括基于神经线性匪徒（NLB）和基于多武装匪徒（MAB）集合的内容建议的意图消歧。我们的解决方案已部署到生产并改进了Microsoft虚拟代理的关键业务指标，由A / B实验确认。结果包括问题分辨率的相对增加12％，并且对人类运营商的升级相对减少超过4％。虽然我们目前的用例侧重于Intent消费歧义和支持机器人的上下文建议，但我们认为我们的方法可以扩展到其他域。

个性化交互式系统（例如推荐系统）需要选择取决于上下文的相关项目。生产系统需要从非常大的目录中迅速识别这些项目，这些目录可以使用最大的内部产品搜索技术有效地解决。通过放松离散问题，可以实现最大内部产品搜索的离线优化，从而导致政策学习或增强样式学习算法。不幸的是，这种放松步骤需要在整个目录上计算一个总和，从而使梯度评估的复杂性（因此每个随机梯度下降迭代）在目录大小中线性线性。在许多现实世界中，该计算是站不住脚的示例，例如大型目录推荐系统严重限制了该方法在实践中的实用性。在本文中，我们展示了如何产生这些政策学习算法的出色近似值，以对数与目录大小进行对数。我们的贡献是基于结合三个新颖想法的结合：对政策梯度，自我正常化的重要性采样估计器以及在训练时使用快速最大内部产品搜索的新蒙特卡洛估计。广泛的实验表明，我们的算法比幼稚的方法更快，但产生同样好的策略。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

推荐系统（RS）向用户显示的内容会影响他们。 Therefore, when choosing a recommender to deploy, one is implicitly also choosing to induce specific internal states in users.更重要的是，通过长匹马优化培训的系统将有直接的激励措施来操纵用户：在这项工作中，我们专注于转移用户偏好的动力，因此他们更容易满足。我们认为 - 在部署之前 - 系统设计师应：估计推荐人会引起的转变；评估这种转变是否是不受欢迎的；也许甚至可以积极优化以避免有问题的转变。这些步骤涉及两种具有挑战性的成分：估算需要预测假设算法如何影响用户偏好，如果部署 - 我们通过使用历史用户交互数据来训练隐含其偏好动态的预测用户模型来实现此操作；评估和优化另外需要指标来评估这种影响是操纵还是其他不必要的 - 我们使用“安全转移”的概念，该概念定义了行为安全的信任区域：例如，用户无需移动的自然方式而无需使用系统的干扰可以被视为“安全”。在模拟实验中，我们表明我们学习的偏好动力学模型可有效估计用户偏好以及它们如何对新推荐人的反应。此外，我们表明，在信托区域中优化的推荐人可以避免在仍在产生参与的同时避免操纵行为。

With information systems becoming larger scale, recommendation systems are a topic of growing interest in machine learning research and industry. Even though progress on improving model design has been rapid in research, we argue that many advances fail to translate into practice because of two limiting assumptions. First, most approaches focus on a transductive learning setting which cannot handle unseen users or items and second, many existing methods are developed for static settings that cannot incorporate new data as it becomes available. We argue that these are largely impractical assumptions on real-world platforms where new user interactions happen in real time. In this survey paper, we formalize both concepts and contextualize recommender systems work from the last six years. We then discuss why and how future work should move towards inductive learning and incremental updates for recommendation model design and evaluation. In addition, we present best practices and fundamental open challenges for future research.

大多数用于边缘计算的强化学习（RL）推荐系统必须在推荐选择期间同步，或者依赖于算法的未经警告拼凑集合。在这项工作中，我们构建了异步凝固策略梯度算法\ citep {kostas2020aSynchronchronous}，为此问题提出了一个原则的解决方案。我们提出的算法类可以通过Internet分发，并实时地运行。当给定边缘无法响应具有足够速度的数据请求时，这不是问题;该算法旨在在边缘设置中函数和学习，网络问题是此设置的一部分。结果是一个原则性的理论地接地的RL算法，旨在分布在该异步环境中并学习。在这项工作中，我们详细描述了这种算法和建议的架构类，并且证明它们在异步设置中的实践中运行良好，即使网络质量降低。

在本文中，我们为游戏制定了一个推荐系统，该游戏为基于他们的互动行为来说潜在的物品，以最大限度地为游戏提供商的收入最大限度地提高。我们的方法是基于强化学习的技术构建，并在IEEE大数据杯挑战上公开可用的离线数据集培训。离线数据集的限制和高维数的诅咒构成解决这个问题的重要障碍。我们所提出的方法侧重于通过解决这些主要困难来提高全面奖励和表现。更具体地，我们利用稀疏PCA来提取用户行为的重要特征。然后，我们的Q学习系统从已加工的离线数据集培训。要利用所提供的数据集中的所有可能的信息，我们将用户功能群集到不同的组，并为每个组构建一​​个独立的Q-table。此外，为了解决评估指标的未知公式的挑战，我们设计了根据游戏提供商可能实现的潜在价值和我们从Live评分环境获得的实际评估指标的小集合的潜在价值自我评估的公制。我们的实验表明，我们的拟议度量标准与挑战组织者发表的结果一致。我们已经实施了拟议的培训管道，结果表明，我们的方法在总奖励和训练速度方面优于当前最先进的方法。通过解决主要挑战并利用最先进的技术，我们已经取得了最佳的公共排行榜导致挑战。此外，我们所提出的方法达到估计得分约为20％，并且可以比当前最先进的方法的最佳最佳方法更快地培训30倍。

移动通知系统在各种应用程序中起着重要作用，以通信，向用户发送警报和提醒，以告知他们有关新闻，事件或消息的信息。在本文中，我们将近实时的通知决策问题制定为马尔可夫决策过程，在该过程中，我们对奖励中的多个目标进行了优化。我们提出了一个端到端的离线增强学习框架，以优化顺序通知决策。我们使用基于保守的Q学习的双重Q网络方法来应对离线学习的挑战，从而减轻了分配转移问题和Q值高估。我们说明了完全部署的系统，并通过离线和在线实验证明了拟议方法的性能和好处。

到目前为止，大多数关于推荐系统的研究专注于通过促进相关和个性化内容维持长期用户参与和满足感。但是，评估这种内容的质量和可靠性仍然非常具有挑战性。在本文中，我们提出了FEBR（基于专家的建议框架），是评估在线平台上建议内容的质量的学徒学习框架。该框架在推荐评估环境中挖掘专家（假设可靠）的演示轨迹，以恢复未知的实用程序功能。此功能用于学习描述专家行为的最佳策略，然后在框架中使用，以提供高质量和个性化的建议。我们通过用户兴趣模拟环境（使用RECSIM）评估我们的解决方案的性能。我们模拟了上述专家政策下的互动，以进行视频推荐，并将其效率与标准推荐方法进行比较。结果表明，我们的方法在内容质量方面提供了显着的收益，由专家评估并由用户观察，同时保持与基线方法几乎相同的表格。

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

由于需要捕捉用户的不断发展的兴趣并优化他们的长期体验，越来越多的推荐系统已经开始模拟推荐作为马尔可夫决策过程，并采用加强学习来解决问题。不应该研究推荐系统的公平性遵循静态评估的相同趋势和一次性干预动态监测和不间断控制吗？在本文中，我们首先描绘了最新的推荐系统的发展，然后讨论了如何烘焙进入强化学习技术以供推荐。此外，我们认为，为了进一步进一步进展，建议公平，我们可能希望考虑多方代（游戏理论）优化，多目标（Pareto）优化和基于仿真的优化，在随机的一般框架中游戏。

推荐系统（RS）是一个重要的在线应用程序，每天都会影响数十亿个用户。主流RS排名框架由两个部分组成：多任务学习模型（MTL），该模型可预测各种用户反馈，即点击，喜欢，分享和多任务融合模型（MTF），该模型（MTF）结合了多任务就用户满意度而言，输出分为最终排名得分。关于融合模型的研究并不多，尽管它对最终建议作为排名的最后一个关键过程有很大的影响。为了优化长期用户满意度，而不是贪婪地获得即时回报，我们将MTF任务作为Markov决策过程（MDP），并在推荐会话中提出，并建议基于批处理加固学习（RL）基于多任务融合框架（BATCHRL-MTF）包括批处理RL框架和在线探索。前者利用批处理RL从固定的批处理数据离线学习最佳推荐政策，以达到长期用户满意度，而后者则探索了潜在的高价值动作在线，以突破本地最佳难题。通过对用户行为的全面调查，我们通过从用户粘性和用户活动性的两个方面的微妙启发式方法对用户满意度进行了建模。最后，我们对十亿个样本级别的现实数据集进行了广泛的实验，以显示模型的有效性。我们建议保守的离线政策估计器（保守 - 访问器）来测试我们的模型离线。此外，我们在真实推荐环境中进行在线实验，以比较不同模型的性能。作为成功在MTF任务中应用的少数批次RL研究之一，我们的模型也已部署在一个大规模的工业短视频平台上，为数亿用户提供服务。