许多现代的顺序推荐系统使用深层神经网络，可以有效地估计项目的相关性，但需要大量时间进行训练。慢速培训增加了费用，阻碍了产品开发时间表，并防止该模型定期更新以适应不断变化的用户偏好。培训这样的顺序模型涉及对过去的用户互动进行适当采样以创建现实的培训目标。现有的培训目标有局限性。例如，下一个项目预测永远不会将序列的开头用作学习目标，从而可能丢弃有价值的数据。另一方面，Bert4Rec使用的项目掩盖仅与顺序建议的目标无关。因此，它需要更多的时间来获得有效的模型。因此，我们提出了一个基于新颖的序列训练目标采样，以解决这两个局限性。我们将我们的方法应用于最近和最新的模型架构，例如Gru4Rec，Caser和Sasrec。我们表明，通过我们的方法增强的模型可以实现超过或非常接近bert4rec的状态的性能，但训练时间却少得多。

BERT4REC是基于变压器体系结构的顺序推荐的有效模型。在原始出版物中，Bert4Rec声称比其他可用的顺序推荐方法优越（例如Sasrec），现在经常将其用作顺序建议的最先进的基线。但是，并非所有随后的出版物都证实了这一结果，并提出了其他模型，这些模型被证明在有效性方面表现优于Bert4Rec。在本文中，我们会系统地回顾所有将Bert4Rec与另一个受欢迎的基于变压器的模型（即Sasrec）进行比较的出版物，并表明BERT4REC结果在这些出版物中不一致。为了了解这种不一致的原因，我们分析了BERT4REC的可用实现，并表明我们在使用默认配置参数时未能重现原始Bert4Rec出版物的结果。但是，与默认配置相比，如果训练更长的时间（最高30倍），我们可以用原始代码复制报告的结果。我们还根据拥抱面孔变压器库提出了自己的BERT4REC实施，我们证明了在3个OUT 4数据集中重复了最初报告的结果，同时需要减少95％的培训时间来收敛。总体而言，从我们的系统审查和详细的实验中，我们得出结论，Bert4Rec确实确实表现出了序列建议的最新有效性，但只有在经过足够的时间进行培训时。此外，我们表明，我们的实现可以通过调整拥抱面孔库中可用的其他变压器体系结构（例如，使用Deberta提供的散布注意力或更大的隐藏层大小参见Albert）。

推荐兴趣点是一个困难的问题，需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言，另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统，以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项（位置）相比，我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明，我们的模型始终优于各种最新的顺序模型。

Increasing research interests focus on sequential recommender systems, aiming to model dynamic sequence representation precisely. However, the most commonly used loss function in state-of-the-art sequential recommendation models has essential limitations. To name a few, Bayesian Personalized Ranking (BPR) loss suffers the vanishing gradient problem from numerous negative sampling and predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling numbers, thereby it is likely to ignore valuable negative examples and reduce the training efficiency; Cross-Entropy (CE) loss only focuses on the last timestamp of the training sequence, which causes low utilization of sequence information and results in inferior user sequence representation. To avoid these limitations, in this paper, we propose to calculate Cumulative Cross-Entropy (CCE) loss over the sequence. CCE is simple and direct, which enjoys the virtues of painless deployment, no negative sampling, and effective and efficient training. We conduct extensive experiments on five benchmark datasets to demonstrate the effectiveness and efficiency of CCE. The results show that employing CCE loss on three state-of-the-art models GRU4Rec, SASRec, and S3-Rec can reach 125.63%, 69.90%, and 33.24% average improvement of full ranking NDCG@5, respectively. Using CCE, the performance curve of the models on the test data increases rapidly with the wall clock time, and is superior to that of other loss functions in almost the whole process of model training.

Self-attentive transformer models have recently been shown to solve the next item recommendation task very efficiently. The learned attention weights capture sequential dynamics in user behavior and generalize well. Motivated by the special structure of learned parameter space, we question if it is possible to mimic it with an alternative and more lightweight approach. We develop a new tensor factorization-based model that ingrains the structural knowledge about sequential data within the learning process. We demonstrate how certain properties of a self-attention network can be reproduced with our approach based on special Hankel matrix representation. The resulting model has a shallow linear architecture and compares competitively to its neural counterpart.

为了成功推荐（SR）成功，最近的作品着重于设计有效的顺序编码器，融合侧面信息以及挖掘额外的积极的自我实施信号。在每个时间步骤中对负面项目进行采样的策略较少探索。由于用户在培训过程中的兴趣和模型更新的动态，因此考虑用户的非相互作用项目的随机抽样项目作为负面的项目可能是不明智的。结果，该模型将不准确地了解用户对项目的偏好。识别信息性负面因素是具有挑战性的，因为内容的负面项目与动态变化的兴趣和模型参数相关（并且抽样过程也应该是有效的）。为此，我们建议为SR（Genni）生成负样本（项目）。根据当前SR模型对项目的学习用户偏好，在每个时间步骤中都采样了负项目。提出了有效的实施，以进一步加速生成过程，使其可扩展到大规模推荐任务。在四个公共数据集上进行的广泛实验验证了为SR提供高质量的负样本的重要性，并证明了Genni的有效性和效率。

人类智能能够首先学习一些基本技能，以解决基本问题，然后将这种基本技能融合到解决复杂或新问题的复杂技能中。例如，基本技能``挖洞''，``放树，'''``回填''和``浇水'''构成复杂的技能``植物''。此外，可以重复使用一些基本技能来解决其他问题。例如，基本技能``挖洞''不仅可以用于种植树木，而且还可以用于采矿，建造排水管或垃圾填埋场。学习基本技能并重复使用各种任务的能力对人类非常重要，因为它有助于避免学习太多的技能来解决每个任务，并可以通过仅学习几个数量来解决组成数量的任务数量基本技能，可以节省人脑中大量的记忆和计算。我们认为，机器智能还应捕捉学习基本技能并通过构成复杂技能的能力。在计算机科学语言中，每种基本技能都是“模块”，它是一个可重复使用的具体含义的网络，并执行特定的基本操作。将模块组装成更大的``模型''，以完成更复杂的任务。组装过程适应输入或任务，即，对于给定的任务，应该将模块组装成解决任务的最合适的模型中。结果，不同的输入或任务可能具有不同的组装模型，从而实现自组装AI。在这项工作中，我们提出了模块化的自适应神经体系结构搜索（MANAS），以演示上述想法。不同数据集上的实验表明，MANAS组装的自适应体系结构优于静态全局体系结构。进一步的实验和经验分析为魔力的有效性提供了见解。

顺序建议通常被视为一项生成任务，即训练顺序编码器，以根据其历史互动项目生成用户兴趣的下一项。尽管这些方法普遍存在，但这些方法通常需要使用更有意义的样本进行培训才能有效，否则将导致训练有素的模型。在这项工作中，我们建议将顺序推荐人培训为歧视者，而不是发电机。我们的方法没有预测下一个项目，而是训练一个歧视器，以区分采样项目是否为“真实”目标项目。作为辅助模型的发电机与判别器共同训练，以取样合理的替代方案，并将在训练后抛弃。训练有素的判别器被视为最终的SR模型，并将其称为\ modelname。在四个数据集上进行的实验证明了拟议方法的有效性和效率。

最近，在推荐系统领域中，一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此，这会导致不可再生的评估和不公平的比较。因此，我们从实践理论和实验的角度进行研究，目的是为严格的评估做出基准建议。关于理论研究，一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后，我们将它们分类为独立于模型和模型依赖性的超因子，并相应地定义和讨论了不同的严格评估模式。在实验研究中，我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库，从而进行了整体经验研究，以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下，我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准，以作为以后研究的参考。总体而言，我们的工作阐明了建议评估中的问题，为严格的评估提供了潜在的解决方案，并为进一步调查提供了基础。

A large number of empirical studies on applying self-attention models in the domain of recommender systems are based on offline evaluation and metrics computed on standardized datasets, without insights on how these models perform in real life scenarios. Moreover, many of them do not consider information such as item and customer metadata, although deep-learning recommenders live up to their full potential only when numerous features of heterogeneous types are included. Also, typically recommendation models are designed to serve well only a single use case, which increases modeling complexity and maintenance costs, and may lead to inconsistent customer experience. In this work, we present a reusable Attention-based Fashion Recommendation Algorithm (AFRA), that utilizes various interaction types with different fashion entities such as items (e.g., shirt), outfits and influencers, and their heterogeneous features. Moreover, we leverage temporal and contextual information to address both short and long-term customer preferences. We show its effectiveness on outfit recommendation use cases, in particular: 1) personalized ranked feed; 2) outfit recommendations by style; 3) similar item recommendation and 4) in-session recommendations inspired by most recent customer actions. We present both offline and online experimental results demonstrating substantial improvements in customer retention and engagement.

跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中，我们提出了Recguru算法框架，以在顺序推荐中生成包含跨域的用户信息的广义用户表示，即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示，以及域鉴别器，其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块，以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征，因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明，Recguru提高了性能，优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。

下一篮子推荐考虑将一组项目推荐到用户将作为一个整体购买的下一个篮子。在本文中，我们为下一个篮子推荐开发了一种具有偏好，普及和转换（M2）的新颖混合模型。该方法在下一个篮子生成过程中模拟了三个重要因素：1）用户在项目中的“全球偏好”，2）项目的“全球受欢迎者和3”的过渡模式。与现有的基于内部网络的方法不同，M2不使用复杂的网络来模拟项目之间的转换，或为用户生成嵌入品。相反，它具有基于简单的编码器解码器的方法（ED-Trans），以更好地模拟项目之间的转换模式。我们将M2与不同组合的组合进行了比较，其中有5个现有的下一篮子推荐方法在4个公共基准数据集上推荐第一个，第二和第三篮子。我们的实验结果表明，M2显着优于所有任务中所有数据集的最先进的方法，提高了高达22.1％。此外，我们的消融研究表明，在推荐性能方面，ED-Trans比经常性神经网络更有效。我们还对下一个篮子推荐评估进行了彻底讨论了各种实验协议和评估指标。

In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -collaborative filtering -on the basis of implicit feedback.Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items.By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural networkbased Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.

现代推荐系统需要适应用户偏好和项目人气的变化。这种问题被称为时间动态问题，它是推荐系统建模中的主要挑战之一。与流行的反复建模方法不同，我们通过使用基于轨迹的元学习来模型依赖性将一个名为LeNprec的新解决方案提出了一个名为LeNprec的新解决方案。 Leaprec通过命名为全局时间Leap（GTL）的两个补充组件来表征时间动态，并订购时间Leap（OTL）。通过设计，GTL通过找到无序时间数据的最短学习路径来学习长期模式。协同地，OTL通过考虑时间数据的顺序性质来学习短期模式。我们的实验结果表明，LeNPrec在几个数据集和推荐指标上始终如一地优于最先进的方法。此外，我们提供了GTL和OTL之间的相互作用的实证研究，显示了长期和短期建模的影响。

With information systems becoming larger scale, recommendation systems are a topic of growing interest in machine learning research and industry. Even though progress on improving model design has been rapid in research, we argue that many advances fail to translate into practice because of two limiting assumptions. First, most approaches focus on a transductive learning setting which cannot handle unseen users or items and second, many existing methods are developed for static settings that cannot incorporate new data as it becomes available. We argue that these are largely impractical assumptions on real-world platforms where new user interactions happen in real time. In this survey paper, we formalize both concepts and contextualize recommender systems work from the last six years. We then discuss why and how future work should move towards inductive learning and incremental updates for recommendation model design and evaluation. In addition, we present best practices and fundamental open challenges for future research.

预测模型可以表现出对培训数据的敏感性：训练数据中的微小变化可以产生在测试时间期间为单个数据点分配相互矛盾的预测的模型。在这项工作中，我们研究了推荐系统中的这种敏感性，其中用户的建议在其他无关用户的交互中受到较小的扰动的巨大改变。我们介绍了推荐系统的稳定性度量，称为等级列表灵敏度（RLS），该量度衡量了由于培训数据中的扰动而导致的测试时间变化时在测试时间变化时如何生成的等级列表。我们开发了一种方法，即Casper，该方法使用级联效应来识别最小和系统的扰动，以在推荐系统中诱导更高的不稳定性。四个数据集的实验表明，推荐模型对引入或通过Casper引入的次要扰动过于敏感 - 甚至将一个用户的一个随机交互扰动会大大更改所有用户的建议列表。重要的是，借助Casper扰动，这些模型比高准确性的使用者（即那些接受低质量建议的人）为低临界用户（即那些接受低质量建议的人）产生更多的不稳定建议。

Sequential recommendation is an important task to predict the next-item to access based on a sequence of interacted items. Most existing works learn user preference as the transition pattern from the previous item to the next one, ignoring the time interval between these two items. However, we observe that the time interval in a sequence may vary significantly different, and thus result in the ineffectiveness of user modeling due to the issue of \emph{preference drift}. In fact, we conducted an empirical study to validate this observation, and found that a sequence with uniformly distributed time interval (denoted as uniform sequence) is more beneficial for performance improvement than that with greatly varying time interval. Therefore, we propose to augment sequence data from the perspective of time interval, which is not studied in the literature. Specifically, we design five operators (Ti-Crop, Ti-Reorder, Ti-Mask, Ti-Substitute, Ti-Insert) to transform the original non-uniform sequence to uniform sequence with the consideration of variance of time intervals. Then, we devise a control strategy to execute data augmentation on item sequences in different lengths. Finally, we implement these improvements on a state-of-the-art model CoSeRec and validate our approach on four real datasets. The experimental results show that our approach reaches significantly better performance than the other 11 competing methods. Our implementation is available: https://github.com/KingGugu/TiCoSeRec.

从隐式反馈建模推荐系统的核心目标是最大化正样品分数$ S_P $，并最大限度地减少负面样本评分$ S_N $，其通常可以汇总为两个范式：一定点和成对的。点接近符合其标签的每个样本，其在级别的加权和采样中是灵活的，但忽略固有的排名属性。通过定性最大限度地减少相对分数$ S_N - S_P $，成对方法自然地捕获样品的排名，而是遭受培训效率。此外，这两种方法都很难明确提供个性化决策边界，以确定用户是否对查看的项目感兴趣。要解决这些问题，我们创新地向每个用户创新介绍了辅助分数$ B_U $代表用户兴趣边界（UIB），并单独惩罚将边界与成对范例交叉的示例，即分数低于$ B_U的正示例$和分数高于$ b_u $的否定样本。通过这种方式，我们的方法成功地实现了一定点的混合损失，并且成对将两者的优点结合在一起。在分析上，我们表明我们的方法可以提供个性化决策边界，并在没有任何特殊的采样策略的情况下显着提高培训效率。广泛的结果表明，我们的方法不仅可以显着改进，不仅是经典的点或成对模型，还可以实现具有复杂损耗功能和复杂特征编码的最先进模型。

顺序推荐系统通过捕获用户的兴趣漂移来显示有效的建议。有两组现有的顺序模型：以用户和项目为中心的模型。以用户为中心的模型根据每个用户的顺序消费历史记录来捕获个性化的利息漂移，但没有明确考虑用户对项目的利益是否超出培训时间，即利息可持续性。另一方面，以项目为中心的模型考虑了用户在培训时间后的一般利益是否维持，但不是个性化的。在这项工作中，我们提出了一个推荐系统，将两类模型的优势占据优势。我们提出的模型捕获了个性化的利息可持续性，表明每个用户对物品的利益是否会超出培训时间。我们首先制定一项任务，该任务需要根据用户的消费历史记录预测培训时间中每个用户将消耗哪些项目。然后，我们提出简单而有效的方案，以增强用户的稀疏消费历史记录。广泛的实验表明，所提出的模型在11个现实世界数据集上的表现优于10个基线模型。这些代码可在https://github.com/dmhyun/peris上找到。

这项工作探讨了CFGAN的再现性。 CFGan及其模型（Tagrec，MTPR和CRGAN）学会通过使用先前的交互来为TOP-N建议者生成个性化和假的偏好排名。这项工作成功复制了原始纸张中发布的结果，并讨论了CFGAN框架与原始评估中使用的模型之间的某些差异的影响。没有随机噪声和使用真实用户配置文件作为条件向量离开发电机容易发生一个退化的解决方案，其中输出矢量与输入向量相同，因此，表现为简单的AutoEncoder。该工作进一步扩展了比较CFGAN对一系列简单且众所周知的适当优化的基线的实验分析，尽管计算成本高，但仍观察CFGAN并不一致地对抗它们。为确保这些分析的再现性，这项工作描述了实验方法，并发布了所有数据集和源代码。