随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

我们研究在上下文多臂强盗（MAB）中识别用户簇。上下文mAB是许多真实应用程序的有效工具，例如内容建议和在线广告。实际上，用户依赖性在用户的操作以及奖励中起着至关重要的作用。聚类相似的用户可以提高奖励估计的质量，从而导致更有效的内容建议和有针对性的广告。与传统的聚类设置不同，我们基于未知的匪徒参数聚类用户，该参数将逐步估算。特别是，我们在上下文mAB中定义了群集检测的问题，并提出了一种带有局部聚类过程的Bandit算法，LocB，LocB。而且，我们就聚类的正确性和效率及其遗憾束缚的理论分析提供了有关LICB的理论分析。最后，我们从各个方面评估了提出的算法，这些算法的表现优于最先进的基准。

捆绑式推荐系统向用户推荐一组物品（例如裤子，衬衫和鞋子），但他们经常遇到两个问题：重大的互动稀疏性和大型输出空间。在这项工作中，我们扩展了多轮对话建议（MCR）以减轻这些问题。 MCR是使用对话范式通过询问标签（例如类别或属性）的用户偏好来引起用户兴趣的MCR，并在多个回合中处理用户反馈，是一个新兴的建议设置，以获取用户反馈并缩小输出空间，但具有缩小的输出空间没有在捆绑建议的背景下探索。在这项工作中，我们提出了一个名为Bundle MCR的新颖推荐任务。我们首先提出了一个新框架，以将MCR作为Markov决策过程（MDP），其中有多个代理，用于用户建模，咨询和反馈处理。在此框架下，我们向（1）推荐项目，（2）提出问题和（3）基于捆绑感的对话状态来管理对话。此外，要有效地训练Bunt，我们提出了两阶段的培训策略。在离线预训练阶段，Bunt使用多个披肩任务进行训练，以模仿对话中的捆绑互动。然后，在在线微调阶段，用户交互增强了Bunt代理。我们在多个离线数据集以及人类评估上进行的实验显示了将MCR框架扩展到捆绑设置的价值以及我们的Bunt设计的有效性。

推荐系统在市场中使用时发挥了双重作用：它们可以帮助用户从大型游泳池中选择最需要的物品，并有助于将有限数量的物品分配给最想要它们的用户。尽管在许多现实世界中的推荐设置中，能力限制的流行率普遍存在，但缺乏将它们纳入这些系统设计的原则性方式。在此激励的情况下，我们提出了一个交互式框架，系统提供商可以通过机会主义探索分配来提高向用户的建议质量，从而最大程度地利用用户奖励并使用适当的定价机制尊重容量约束。我们将问题建模为低排名组合的多臂匪徒问题的实例，并在手臂上进行了选择约束。我们采用一种集成方法，使用协作过滤，组合匪徒和最佳资源分配中的技术，以提供一种算法，可证明可以实现次线性遗憾，即$ \ tilde {\ mathcal {\ sqrt {o}}（\ sqrt {\ sqrt {n+m（n+m）{n+m（n+m） ）rt}）$ in $ t $ rounds，用于$ n $用户，$ m $项目和排名$ r $ ney奖励矩阵的问题。关于合成和现实世界数据的实证研究也证明了我们方法的有效性和性能。

土匪算法已成为交互式建议的参考解决方案。但是，由于这种算法直接与用户进行改进的建议，因此对其实际使用提出了严重的隐私问题。在这项工作中，我们通过基于树的机制提出了一种差异性的线性上下文匪徒算法，以将拉普拉斯或高斯噪声添加到模型参数中。我们的关键见解是，随着模型在在线更新过程中收敛时，其参数的全局灵敏度随着时间的推移而缩小（因此命名为动态全局灵敏度）。与现有解决方案相比，我们动态的全球敏感性分析使我们能够减少噪声以获得$（\ epsilon，\ delta）$ - 差异隐私，并具有$ \ tilde o（\ log {t} \ sqrt中的噪声注入引起的额外遗憾） {t}/\ epsilon）$。我们通过动态全局灵敏度和我们提出的算法的相应上后悔界限提供了严格的理论分析。合成和现实世界数据集的实验结果证实了该算法对现有解决方案的优势。

我们考虑了个性化新闻推荐的问题，每个用户都以顺序消费新闻。现有的个性化新闻推荐方法的重点是利用用户兴趣，而忽略了推荐中的探索，从而导致反馈循环并长期损害了建议质量。我们基于上下文土匪推荐策略，自然可以解决剥削 - 探索权衡取舍。主要挑战是探索大规模项目空间并利用不确定性的深层表示的计算效率。我们提出了一个两阶段的分层主题，新的深层上下文强盗框架，以在有许多新闻项目时有效地学习用户偏好。我们为用户和新闻使用深度学习表示形式，并将神经上限限制（UCB）策略推广到广义添加剂UCB和BILINEAR UCB。大规模新闻建议数据集的经验结果表明，我们提出的政策是有效的，并且表现优于基线匪徒政策。

会话推荐系统提供互动，参与用户的互动方式的承诺，以查找他们喜欢的物品。我们寻求通过三维提高对话建议：1）我们的目标是模仿建议的常见人类互动模式：专家证明他们的建议，寻求者解释为什么他们不喜欢该项目，双方遍历对话框迭代对话框找到合适的物品。 2）我们利用对会话批评的想法来允许用户通过批评主观方面灵活地与自然语言理由进行互动。 3）我们将会话建议适应更广泛的域名，其中不可用的人群地面真理对话框。我们开发了一个新的两部分框架，用于培训会话推荐系统。首先，我们培训推荐制度，共同建议项目，并用主观方面证明其推理。然后，我们微调该模型通过自我监督的机器人播放来合并迭代用户反馈。三个真实数据集的实验表明，与最先进的方法相比，我们的系统可以应用于各种域的不同推荐模型，以实现对话建议的卓越性能。我们还评估了我们对人类用户的模型，显示在我们的框架下培训的系统提供更有用，有用，有用，并且在热情和冷启动设置中提供的知识推荐。

在隐性反馈推荐中，将短期偏好纳入推荐系统近年来引起了不断的关注。但是，在历史交互中的意外行为，如偶然点击一些物品，也不能反映用户固有的偏好。现有研究未能模拟意外行为的影响，从而实现劣等的推荐性能。在本文中，我们提出了一种多偏好模型（MPM）来消除意外行为的影响。 MPM首先通过细粒度的偏好模块从最近的历史交互中提取用户的即时偏好。然后，培训意外行为检测器以判断这些即时偏好是否由意外行为偏置。我们还将用户的一般偏好集成在MPM中。最后，执行输出模块以消除意外行为的影响，并集成所有信息以进行最终推荐。我们在电影的两个数据集和电子零售中进行广泛的实验，展示了我们在最先进的方法上的模型的显着改进。实验结果表明，MPM在HR @ 10和NDCG @ 10中获得了大规模的改善，平均与斯trec模型相比相对增加了3.643％和4.107％。我们在https://github.com/chenjie04/mpm/发布我们的代码。

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

推荐系统正面临审查，因为它们对我们可以获得的机会的影响越来越大。目前对公平的审计仅限于敏感群体水平的粗粒度评估。我们建议审核嫉妒 - 狂喜，一个与个别偏好对齐的更精细的标准：每个用户都应该更喜欢他们的建议给其他用户的建议。由于审计要求估计用户超出现有建议的用户的偏好，因此我们将审计作为多武装匪徒的新纯粹探索问题。我们提出了一种采样的效率算法，具有理论上的保证，它不会恶化用户体验。我们还研究了现实世界推荐数据集实现的权衡。

这项调查旨在全面概述用户与推荐系统之间的相互作用和M＆S应用程序之间的相互作用的最新趋势（M＆S），以改善工业推荐引擎的性能。我们从实施模拟器的框架开发的动机开始，以及它们用于培训和测试不同类型（包括强化学习）的推荐系统的使用。此外，我们根据现有模拟器的功能，认可和工业有效性提供了新的一致分类，并总结了研究文献中发现的模拟器。除其他事情外，我们还讨论了模拟器的构建块：合成数据（用户，项目，用户项目响应）的生成，用于模拟质量评估的方法和数据集（包括监视的方法）和/或关闭可能的模拟到现实差距），以及用于汇总实验仿真结果的方法。最后，这项调查考虑了该领域的新主题和开放问题。

Conversational recommender systems (CRS) aim to employ natural language conversations to suggest suitable products to users. Understanding user preferences for prospective items and learning efficient item representations are crucial for CRS. Despite various attempts, earlier studies mostly learned item representations based on individual conversations, ignoring item popularity embodied among all others. Besides, they still need support in efficiently capturing user preferences since the information reflected in a single conversation is limited. Inspired by collaborative filtering, we propose a collaborative augmentation (COLA) method to simultaneously improve both item representation learning and user preference modeling to address these issues. We construct an interactive user-item graph from all conversations, which augments item representations with user-aware information, i.e., item popularity. To improve user preference modeling, we retrieve similar conversations from the training corpus, where the involved items and attributes that reflect the user's potential interests are used to augment the user representation through gate control. Extensive experiments on two benchmark datasets demonstrate the effectiveness of our method. Our code and data are available at https://github.com/DongdingLin/COLA.

在潜在的强盗问题中，学习者可以访问奖励分布，并且 - 对于非平稳的变体 - 环境的过渡模型。奖励分布在手臂和未知的潜在状态下进行条件。目的是利用奖励历史来识别潜在状态，从而使未来的武器选择最佳。潜在的匪徒设置将自己适用于许多实际应用，例如推荐人和决策支持系统，其中丰富的数据允许在线学习的环境模型的离线估算仍然是关键组成部分。在这种情况下，以前的解决方案始终根据代理商对国家的信念选择最高的奖励组，而不是明确考虑信息收集臂的价值。这种信息收集的武器不一定会提供最高的奖励，因此永远不会选择始终选择最高奖励武器的代理商选择。在本文中，我们提出了一种潜在土匪信息收集的方法。鉴于特殊的奖励结构和过渡矩阵，我们表明，鉴于代理商对国家的信念，选择最好的手臂会产生更高的遗憾。此外，我们表明，通过仔细选择武器，我们可以改善对国家分布的估计，从而通过将来通过更好的手臂选择来降低累积后悔。我们在合成和现实世界数据集上评估了我们的方法，显示出对最新方法的遗憾显着改善。

本文研究了知识图的推荐系统，可以有效地解决数据稀疏和冷启动的问题。最近，已经为这个问题开发了各种方法，这通常试图根据其表示，学习用户和物品的有效陈述，然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效，但它们缺乏良好的解释，这对推荐系统至关重要。在本文中，我们采取了不同的路线，并提出通过从用户到项目的有意义路径来创造建议。具体地，我们将问题作为顺序决策过程，其中目标用户被定义为初始状态，并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励，然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明，我们的提出方法不仅提供有效的建议，还提供了良好的解释。

本文提出了一种新的培训建议系统的方法，称为基于偏差的学习。建议者和理性用户有不同的知识。推荐人通过观察用户在收到建议时采取的行动来学习用户知识。最终学习如果推荐人总是建议选择：在推荐人完成学习之前，用户开始盲目地遵循建议，他们的选择并不能反映他们的知识。如果推荐人预测多种替代方案将产生类似的回报，那么学习率和社会福利会大大提高。

Large-scale online recommendation systems must facilitate the allocation of a limited number of items among competing users while learning their preferences from user feedback. As a principled way of incorporating market constraints and user incentives in the design, we consider our objectives to be two-fold: maximal social welfare with minimal instability. To maximize social welfare, our proposed framework enhances the quality of recommendations by exploring allocations that optimistically maximize the rewards. To minimize instability, a measure of users' incentives to deviate from recommended allocations, the algorithm prices the items based on a scheme derived from the Walrasian equilibria. Though it is known that these equilibria yield stable prices for markets with known user preferences, our approach accounts for the inherent uncertainty in the preferences and further ensures that the users accept their recommendations under offered prices. To the best of our knowledge, our approach is the first to integrate techniques from combinatorial bandits, optimal resource allocation, and collaborative filtering to obtain an algorithm that achieves sub-linear social welfare regret as well as sub-linear instability. Empirical studies on synthetic and real-world data also demonstrate the efficacy of our strategy compared to approaches that do not fully incorporate all these aspects.

Current advances in recommender systems have been remarkably successful in optimizing immediate engagement. However, long-term user engagement, a more desirable performance metric, remains difficult to improve. Meanwhile, recent reinforcement learning (RL) algorithms have shown their effectiveness in a variety of long-term goal optimization tasks. For this reason, RL is widely considered as a promising framework for optimizing long-term user engagement in recommendation. Despite being a promising approach, the application of RL heavily relies on well-designed rewards, but designing rewards related to long-term user engagement is quite difficult. To mitigate the problem, we propose a novel paradigm, Preference-based Recommender systems (PrefRec), which allows RL recommender systems to learn from preferences about users' historical behaviors rather than explicitly defined rewards. Such preferences are easily accessible through techniques such as crowdsourcing, as they do not require any expert knowledge. With PrefRec, we can fully exploit the advantages of RL in optimizing long-term goals, while avoiding complex reward engineering. PrefRec uses the preferences to automatically train a reward function in an end-to-end manner. The reward function is then used to generate learning signals to train the recommendation policy. Furthermore, we design an effective optimization method for PrefRec, which uses an additional value function, expectile regression and reward model pre-training to improve the performance. Extensive experiments are conducted on a variety of long-term user engagement optimization tasks. The results show that PrefRec significantly outperforms previous state-of-the-art methods in all the tasks.

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

推荐系统是机器学习的关键现代应用，但它们具有缺点，他们经常借鉴敏感的用户信息来实现预测。我们展示了如何通过基于其他现有服务的建议，通过自然不包含敏感信息的建议，通过基于服务的推荐引擎来解决这一缺陷。具体来说，我们介绍了一个上下文的多武装强盗推荐框架，代理商可以访问其他服务的建议。在我们的设置中，用户的（潜在敏感）信息属于高维潜在空间，并且由用户信息的未知线性变换给出源和目标任务（这是非敏感）的理想推荐。只要任务依赖于用户信息的类似段，我们就可以将目标推荐问题分解为系统的组件，这些组件可以源自源代码建议，以及用户特定于用户特定的并且不能从源派生的特殊组件，但是重量显着降低。我们提出了一种探索的学习和利用这种分解的方法;然后，使用从扰动理论和统计集中度的思路，我们证明我们的算法遗憾的遗憾与强大的地平线相当，具有全面了解来源和目标转换。我们还考虑我们的算法概括到具有许多同时目标的模型和没有源的模型。我们的方法在合成基准上获得卓越的经验结果。