捆绑式推荐系统向用户推荐一组物品（例如裤子，衬衫和鞋子），但他们经常遇到两个问题：重大的互动稀疏性和大型输出空间。在这项工作中，我们扩展了多轮对话建议（MCR）以减轻这些问题。 MCR是使用对话范式通过询问标签（例如类别或属性）的用户偏好来引起用户兴趣的MCR，并在多个回合中处理用户反馈，是一个新兴的建议设置，以获取用户反馈并缩小输出空间，但具有缩小的输出空间没有在捆绑建议的背景下探索。在这项工作中，我们提出了一个名为Bundle MCR的新颖推荐任务。我们首先提出了一个新框架，以将MCR作为Markov决策过程（MDP），其中有多个代理，用于用户建模，咨询和反馈处理。在此框架下，我们向（1）推荐项目，（2）提出问题和（3）基于捆绑感的对话状态来管理对话。此外，要有效地训练Bunt，我们提出了两阶段的培训策略。在离线预训练阶段，Bunt使用多个披肩任务进行训练，以模仿对话中的捆绑互动。然后，在在线微调阶段，用户交互增强了Bunt代理。我们在多个离线数据集以及人类评估上进行的实验显示了将MCR框架扩展到捆绑设置的价值以及我们的Bunt设计的有效性。

随着对话建议的最新进展，推荐系统能够通过对话互动积极而动态地引起用户偏好。为此，系统会定期查询用户对属性的偏好并收集其反馈。但是，大多数现有的对话推荐系统仅使用户能够提供对属性的绝对反馈。实际上，绝对反馈通常受到限制，因为用户在表达偏好时倾向于提供偏见的反馈。取而代之的是，由于用户偏好是固有的相对，因此用户通常更倾向于表达比较偏好。为了使用户能够在对话互动期间提供比较偏好，我们提出了一种基于比较的对话推荐系统。相对反馈虽然更实用，但并不容易合并，因为其反馈量表总是与用户的绝对偏好不匹配。通过有效地收集和了解交互式方式的相对反馈，我们进一步提出了一种新的Bandit算法，我们称之为RelativeConucb。与对话式推荐系统中的现有Bandit算法相比，合成和现实数据集的实验验证了我们提出的方法的优势。

以任务为导向的对话系统（TDSS）主要在离线设置或人类评估中评估。评估通常仅限于单转或非常耗时。作为替代方案，模拟用户行为的用户模拟器使我们能够考虑一组广泛的用户目标，以生成类似人类的对话以进行模拟评估。使用现有的用户模拟器来评估TDSS是具有挑战性的，因为用户模拟器主要旨在优化TDSS的对话策略，并且评估功能有限。此外，对用户模拟器的评估是一个开放的挑战。在这项工作中，我们提出了一个用于端到端TDS评估的隐喻用户模拟器，如果它在与系统的交互中模拟用户的类似思维，则定义模拟器是隐喻的。我们还提出了一个基于测试人员的评估框架，以生成变体，即具有不同功能的对话系统。我们的用户模拟器构建了一个隐喻的用户模型，该模型通过参考遇到新项目时的先验知识来帮助模拟器进行推理。我们通过检查模拟器与变体之间的模拟相互作用来估计模拟器的质量。我们的实验是使用三个TDS数据集进行的。与基于议程的模拟器和三个数据集上的SEQ2SEQ模型相比，隐喻用户模拟器与手动评估的一致性更好。我们的测试人员框架展示了效率，并且可以更好地概括和可扩展性，因为它可以适用于多个域中的对话和多个任务，例如对话建议和电子商务对话。

Current advances in recommender systems have been remarkably successful in optimizing immediate engagement. However, long-term user engagement, a more desirable performance metric, remains difficult to improve. Meanwhile, recent reinforcement learning (RL) algorithms have shown their effectiveness in a variety of long-term goal optimization tasks. For this reason, RL is widely considered as a promising framework for optimizing long-term user engagement in recommendation. Despite being a promising approach, the application of RL heavily relies on well-designed rewards, but designing rewards related to long-term user engagement is quite difficult. To mitigate the problem, we propose a novel paradigm, Preference-based Recommender systems (PrefRec), which allows RL recommender systems to learn from preferences about users' historical behaviors rather than explicitly defined rewards. Such preferences are easily accessible through techniques such as crowdsourcing, as they do not require any expert knowledge. With PrefRec, we can fully exploit the advantages of RL in optimizing long-term goals, while avoiding complex reward engineering. PrefRec uses the preferences to automatically train a reward function in an end-to-end manner. The reward function is then used to generate learning signals to train the recommendation policy. Furthermore, we design an effective optimization method for PrefRec, which uses an additional value function, expectile regression and reward model pre-training to improve the performance. Extensive experiments are conducted on a variety of long-term user engagement optimization tasks. The results show that PrefRec significantly outperforms previous state-of-the-art methods in all the tasks.

会话推荐系统（CRS）已成为一个新兴的研究主题，试图通过交互式对话进行建议，这些对话通常由发电和建议模块组成。 CRS的先前工作倾向于将更多的外部和领域特定知识纳入项目评论，以提高性能。尽管事实的收集和注释特定于外部领域的信息需要大量的人类努力并脱离了普遍性，但过多的额外知识在它们之间带来了更大的困难。因此，我们建议从上下文中充分发现和提取内部知识。我们将实体级别和上下文级别的表示形式捕获为对建议的共同模拟用户的偏好，在这种情况下，时间吸引的注意力旨在强调实体级表示中最近出现的项目。我们进一步使用预训练的巴特来初始化生成模块，以减轻数据稀缺性并增强上下文建模。除了在流行数据集（REDIAIL）上进行实验外，我们还包括一个多域数据集（OpenDialKg）来显示我们模型的有效性。两个数据集的实验都表明，我们的模型在大多数评估指标上都具有更好的性能，其外部知识较少，并且可以很好地推广到其他领域。对建议和生成任务的其他分析证明了我们在不同情况下模型的有效性。

反事实解释通过探索项目或用户的最小变化如何影响建议决策，解释了建议机制。现有的反事实解释方法面临巨大的搜索空间，其解释是基于操作的（例如，用户点击）或基于方面的（即项目描述）。我们认为，基于项目属性的解释对用户来说更直观和有说服力，因为他们通过细粒度的项目人口统计特征（例如品牌）来解释。此外，反事实解释可以通过滤除负面项目来增强建议。在这项工作中，我们提出了一种新颖的反事实解释建议（CEREC），以生成基于项目属性的反事实解释，同时提高建议性能。我们的CEREC优化了一项在强化学习环境中统一搜索候选人反事实的解释政策。我们通过使用给定知识图的丰富上下文信息使用自适应路径采样器来减少巨大的搜索空间。我们还将解释政策部署到建议模型中以增强建议。广泛的解释性和建议评估表明，CEREC提供与用户偏好一致并维持改进建议的解释的能力。我们在https://github.com/chrystalii/cerec上发布代码。

共享符合跨域顺序推荐（SCSR）是一项新兴而又具有挑战性的任务，在顺序建议中同时考虑共享符号和跨域特征。 SCSR上的现有作品主要基于复发性神经网络（RNN）和图神经网络（GNN），但他们忽略了一个事实，尽管多个用户共享一个帐户，但一次主要由一个用户占用。这一观察结果促使我们通过专注于其最近的行为来学习更准确的用户特定帐户表示。此外，尽管现有的作品降低了较低的权重与无关紧要的相互作用，但它们仍可能稀释域信息并阻碍跨域建议。为了解决上述问题，我们提出了一种基于增强学习的解决方案，即RL-ISN，该解决方案由基本的跨域推荐剂和基于强化的学习域滤波器组成。具体而言，要在“共享”方案中对帐户表示形式进行建模，基本推荐人首先将用户作为潜在用户的混合行为群，然后利用注意力模型在上面进行用户身份识别。为了减少无关域信息的影响，我们将域过滤器作为层次强化学习任务，在该任务中，使用高级任务来决定是否修改整个转移的序列进一步执行任务以确定是否删除其中的每个交互。为了评估解决方案的性能，我们对两个现实世界数据集进行了广泛的实验，并且实验结果证明了与最先进的建议方法相比，我们的RL-ISN方法的优越性。

推荐兴趣点是一个困难的问题，需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言，另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统，以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项（位置）相比，我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明，我们的模型始终优于各种最新的顺序模型。

最近的研究表明，基于神经网络的深度推荐系统容易受到对抗性攻击的影响，攻击者可以将精心制作的虚假用户配置文件（即，伪造用户与之互动的一组项目）注入目标推荐系统，以实现恶意目的，例如促进或降低一组目标项目。由于安全性和隐私问题，在黑框设置下执行对抗性攻击更为实用，在黑框设置下，攻击者无法轻松访问目标系统的体系结构/参数和培训数据。但是，在Black-Box设置下生成高质量的假用户配置文件，对于目标系统的资源有限，这是一项挑战。为了应对这一挑战，在这项工作中，我们通过利用项目的属性信息（即项目知识图）引入了一种新颖的策略，这些信息可以公开访问并提供丰富的辅助知识来增强伪造用户配置文件的产生。更具体地说，我们提出了一项知识增强的黑框攻击框架（KGATTACK），以通过深度强化学习技术有效地学习攻击政策，其中知识图无缝集成到层次结构策略网络中，以生成伪造的用户配置文件，以表演对抗性黑色 - 黑色 - - 黑色 - 黑色 - 盒子攻击。在各种现实世界数据集上进行的全面实验证明了在黑框设置下提出的攻击框架的有效性。

A large number of empirical studies on applying self-attention models in the domain of recommender systems are based on offline evaluation and metrics computed on standardized datasets, without insights on how these models perform in real life scenarios. Moreover, many of them do not consider information such as item and customer metadata, although deep-learning recommenders live up to their full potential only when numerous features of heterogeneous types are included. Also, typically recommendation models are designed to serve well only a single use case, which increases modeling complexity and maintenance costs, and may lead to inconsistent customer experience. In this work, we present a reusable Attention-based Fashion Recommendation Algorithm (AFRA), that utilizes various interaction types with different fashion entities such as items (e.g., shirt), outfits and influencers, and their heterogeneous features. Moreover, we leverage temporal and contextual information to address both short and long-term customer preferences. We show its effectiveness on outfit recommendation use cases, in particular: 1) personalized ranked feed; 2) outfit recommendations by style; 3) similar item recommendation and 4) in-session recommendations inspired by most recent customer actions. We present both offline and online experimental results demonstrating substantial improvements in customer retention and engagement.

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

本文研究了知识图的推荐系统，可以有效地解决数据稀疏和冷启动的问题。最近，已经为这个问题开发了各种方法，这通常试图根据其表示，学习用户和物品的有效陈述，然后根据其表示将项目匹配。虽然这些方法已经表现得非常有效，但它们缺乏良好的解释，这对推荐系统至关重要。在本文中，我们采取了不同的路线，并提出通过从用户到项目的有意义路径来创造建议。具体地，我们将问题作为顺序决策过程，其中目标用户被定义为初始状态，并且图中的边缘被定义为动作。我们根据现有的最先进方法塑造奖励，然后使用策略梯度方法培训策略函数。三个现实世界数据集的实验结果表明，我们的提出方法不仅提供有效的建议，还提供了良好的解释。

由于知识图表提供的丰富信息，基于路径的可解释的推荐系统的最新进展引起了更大的关注。最现有的可解释的建议仅利用静态知识图表并忽略动态用户项演进，导致不太令人信服和不准确的解释。虽然有一些作品，但意识到建模用户的时间顺序行为可以提高推荐器系统的性能和解释性，其中大多数只关注用户在路径内的顺序交互或独立和单独的推荐机制。在本文中，我们提出了一种新颖的时间元路径指导可解释的推荐利用加强学习（TMER-RL），它利用了连续项目之间的加强项 - 项目路径建模，其注意机制在动态知识图上顺序模拟动态用户项演进用于解释的建议。与使用繁重的经常性神经网络模拟时间信息的现有作品相比，我们提出了简单但有效的神经网络，以捕获用户的历史项目功能和基于路径的上下文，以表征下一个购买的项目。与最近的强大基线相比，两个真实数据集的TMMER广泛评估显示了最先进的表现。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

会话推荐系统提供互动，参与用户的互动方式的承诺，以查找他们喜欢的物品。我们寻求通过三维提高对话建议：1）我们的目标是模仿建议的常见人类互动模式：专家证明他们的建议，寻求者解释为什么他们不喜欢该项目，双方遍历对话框迭代对话框找到合适的物品。 2）我们利用对会话批评的想法来允许用户通过批评主观方面灵活地与自然语言理由进行互动。 3）我们将会话建议适应更广泛的域名，其中不可用的人群地面真理对话框。我们开发了一个新的两部分框架，用于培训会话推荐系统。首先，我们培训推荐制度，共同建议项目，并用主观方面证明其推理。然后，我们微调该模型通过自我监督的机器人播放来合并迭代用户反馈。三个真实数据集的实验表明，与最先进的方法相比，我们的系统可以应用于各种域的不同推荐模型，以实现对话建议的卓越性能。我们还评估了我们对人类用户的模型，显示在我们的框架下培训的系统提供更有用，有用，有用，并且在热情和冷启动设置中提供的知识推荐。

随着强化学习（RL）的最新流行率，在推荐平台（例如电子商务和新闻提要网站）中利用RL来利用RL进行广泛的兴趣。为了获得更好的分配，将最近基于RL的广告分配方法的输入从点单项目升级到列表项目的布置。但是，这也导致了国家行动对的高维空间，因此很难以良好的概括能力学习列表表示。这进一步阻碍了RL药物的探索，并导致样本效率差。为了解决这个问题，我们提出了一种基于RL的新方法，用于广告分配，该方法通过利用Meituan食品交付平台上的任务特定信号来学习更好的列表表示形式。具体而言，我们根据对ADS分配的先前领域知识分别提出基于重建，预测和对比度学习的三个不同的辅助任务。我们在Meituan食品输送平台上进行了广泛的实验，以评估拟议的辅助任务的有效性。离线和在线实验结果都表明，与最先进的基线相比，提出的方法可以学习更好的列表表示形式，并获得更高的平台收入。

推荐系统是帮助用户以个性化方式找到信息过载的兴趣项目，使用关于各用户的需求和偏好的知识。在会话推荐方法中，这些需求和偏好由系统中的交互式多匝对话框中的。文献中的一种常见方法来驱动这些对话框是逐步向用户逐步询问他们关于期望和不期望的项目特征或关于单个项目的偏好。在这种情况下，在该上下文中的核心研究目标是效率，在找到令人满意的项目之前对所需交互的数量进行评估。这通常是通过对向用户询问的最佳下一个问题的推断来实现。如今，对对话效率的研究几乎完全是经验的，旨在说明，例如，选择问题的一个策略优于给定的应用程序中的另一个策略。通过这项工作，我们将实证研究补充了理论，域名的对话建议的独立模型。该模型旨在涵盖一系列应用方案，使我们能够以正式的方式调查会话方法的效率，特别是关于设计最佳相互作用策略的计算复杂性。通过如此理论分析，我们表明，找到高效的会话策略是NP - 硬，并且在PSPace中，但对于特定类型的目录，上限降低到Polylogspace。从实际的角度来看，该结果意味着目录特征可以强烈影响个人对话策略的效率，因此在设计新策略时应考虑。从真实世界派生的数据集的初步实证分析与我们的研究结果对齐。

会话推荐系统（CRS）旨在通过自然语言对话推荐给用户的合适项目。对于开发有效的CRSS，主​​要技术问题是如何准确地推断用户偏好从非常有限的对话环境。为了解决问题，有希望的解决方案是纳入外部数据以丰富上下文信息。然而，先前的研究主要集中在针对某些特定类型的外部数据量身定制的融合模型，这是不普遍的模型，并利用多型外部数据。为了有效利用多型外部数据，我们提出了一种新型粗对对比学习框架，以改善CRS的数据语义融合。在我们的方法中，我们首先从不同的数据信号中提取并代表多粒度语义单元，然后以粗略的方式对齐相关的多型语义单元。为了实现这一框架，我们设计了用于建模用户偏好的粗粒细粒和细粒度的程序，前者侧重于更通用，粗粒粗粒语义融合，后者侧重于更具体，细粒度的语义融合。可以扩展这样的方法以包含更多种类的外部数据。两个公共CRS数据集的大量实验已经证明了我们在两种建议和对话任务中的方法的有效性。

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.

为了开发有效的顺序推荐人，提出了一系列序列表示学习（SRL）方法来模拟历史用户行为。大多数现有的SRL方法都依赖于开发序列模型以更好地捕获用户偏好的明确项目ID。尽管在某种程度上有效，但由于通过明确建模项目ID的限制，这些方法很难转移到新的建议方案。为了解决这个问题，我们提出了一种新颖的通用序列表示方法，名为UNISREC。提出的方法利用项目的文本在不同的建议方案中学习可转移表示形式。为了学习通用项目表示形式，我们设计了一个基于参数美白和Experts的混合物增强的适配器的轻巧项目编码体系结构。为了学习通用序列表示，我们通过抽样多域负面因素介绍了两个对比的预训练任务。借助预训练的通用序列表示模型，我们的方法可以在电感或跨传导设置下以参数有效的方式有效地传输到新的推荐域或平台。在现实世界数据集上进行的广泛实验证明了该方法的有效性。尤其是，我们的方法还导致跨平台环境中的性能提高，显示了所提出的通用SRL方法的强可传递性。代码和预培训模型可在以下网址获得：https：//github.com/rucaibox/unisrec。