基于会话的新闻推荐系统将下一个新闻推荐给用户，通过建模她/他在会话中嵌入的一系列新闻读/点击的潜在兴趣。通常，用户的兴趣是多种多样的，即有多种兴趣，与不同类型的新闻相对应，例如在会话中，有关独特主题的新闻。 ％对这种多重兴趣进行建模对于精确的新闻建议至关重要。但是，大多数现有方法通常忽略了如此重要的特征，因此无法区分和建模用户的潜在多重兴趣，从而阻碍了下一个新闻的准确建议。因此，本文提出了新闻推荐的多功能新闻序列（分钟）模型。在几分钟内，设计了一个基于自我注意的新闻编码器，以学习每个新闻的信息嵌入信息，然后设计出一个新颖的平行兴趣网络，以提取新闻顺序中嵌入的潜在多重兴趣，以准备下一步 - 新建议。现实世界中数据集的实验结果表明，我们的模型可以比最新的模型获得更好的性能。

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。

新闻饲料推荐是一个重要的Web服务。近年来，预先接受了训练的语言模型（PLMS）被密集地应用于提高建议质量。然而，这些深度模型的利用在许多方面有限，例如缺乏可解释性并且与现有的倒指数系统不相容。最重要的是，基于PLMS的推荐人效率低下，因为用户侧信息的编码将采用巨大的计算成本。虽然计算可以用高效的变压器或蒸馏器加速计算，但是对于与超级长期新闻浏览历史相关联的活动用户来说仍然不足以及时建议。在这项工作中，我们从独特的角度解决了高效的新闻推荐问题。我们不依赖于整个输入（即，新闻文章的集合，而是浏览的新闻文章），我们认为用户的兴趣可以仅仅与这些代表关键字完全捕获。通过此激励，我们提出了GateFormer，在进入变压器之前将输入数据门控。门控模块是个性化的，轻量级和端到端的学习，使得它可以执行对信息用户输入的准确和有效的过滤。 GateFormer在实验中实现了高度令人印象深刻的性能，在那里它显着优于准确性和效率的现有加速方法。我们还令人惊讶地发现，即使有超过10倍的原始输入压缩，GateFormer仍然能够用SOTA方法维持映射。

变形金刚是文本理解的强大模型。然而，由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法，但它们仍然效率低于长序列或不够有效。在本文中，我们提出了FastFormer，即基于添加剂关注的高效变压器模型。在FastFormer中，我们首先使用添加剂注意机制来模拟全局上下文，而不是在令牌之间建模的成对相互建模，而不是建模。然后，基于与全局上下文表示的交互，进一步转换每个令牌表示。以这种方式，FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明，FastFormer比许多现有的变压器模型更有效，同时可以实现可比或甚至更好的长文本建模性能。

已经提出了许多基于神经内容的新闻建议的模型。但是，对此类系统的三个主要组成部分（新闻编码器，用户编码和评分功能）和所涉及的权衡的相对重要性的了解有限。在本文中，我们评估了以下假设：匹配用户和候选新闻表示的最广泛使用的方法不够表达。我们允许我们的系统通过评估更具表现力的评分功能来建模两者之间的更复杂的关系。在广泛的基线和建立的系统中，这会导致AUC中约6分的一致改进。我们的结果还表明，新闻编码器的复杂性与评分功能之间的权衡：一个相当简单的基线模型在思维数据集中得分远高于68％的AUC，并且在已发布的最新艺术品的2点范围内，而同时也是如此。需要一小部分计算成本。

基于会话的建议（SBRS）从会话中捕获项目的依赖项，以推荐下一个项目。近年来，基于图形神经网络（GNN）的SBR已成为SBR的主流，从而受益于GNN在建模复杂依赖性中的优越性。基于对相邻依赖关系的强烈假设，在大多数基于GNN的SBR中，会话中的任何两个相邻项目都必须取决于。但是，我们认为，由于用户行为的不确定性和复杂性，邻接不一定表明依赖性。但是，上述假设并不总是在实际的建议方案中存在，因此它很容易导致两个缺点：（1）会话中发生错误的依赖性，因为存在相邻但没有真正依赖的项目，以及（2）true缺失依赖关系发生在会话中，因为存在非贴种但实际上依赖的项目。这些缺点显着影响项目表示学习，从而降低了下游建议性能。为了解决这些缺陷，我们提出了一种新颖的评论精制的项目间图神经网络（RI-GNN），该图案利用从项目评论中提取的主题信息来改善项目之间的依赖性。两个公共现实世界数据集的实验表明，RI-GNN的表现优于SOTA方法。

预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式，并在建模用户偏好时忽略用户历史会话的影响，这通常会导致非个性化推荐。此外，基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项，而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题，我们提出了一种新颖的异构全球图形神经网络（HG-GNN）以以微妙的方式利用所有会话的物品过渡，以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换，我们提出了一种新的异构全局图，该图包含会话，用户项交互和全局共同发生项目的项目转换。此外，为了综合地从会话中捕获用户偏好，我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地，我们在异构全球图上设计一种新的异构图形神经网络（HGNN），以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN，我们提出了当前偏好编码器和历史偏好编码器，分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议，我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明，我们的模型优于其他最先进的方法。

用户嵌入（用户的矢量化表示）对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性，以找到用于检索任务的类似项目，并且已被证明在工业推荐系统中也有效。最近，人们发现使用多个嵌入式代表用户的能力，希望每个嵌入代表用户对某个主题的兴趣。通过多息表示，重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是，现有方法要么无法估算用户对每个利息的亲和力，要么不合理地假设每个用户的每一个利息随时间而逐渐消失，从而损害了候选人检索的召回。在本文中，我们提出了多功能偏好（MIP）模型，这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此，可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验，以证明我们方法的有效性。

个性化新闻推荐旨在通过预测他们点击某些文章的可能性为读者提供有吸引力的文章。为了准确预测这种概率，已经提出了充足的研究，以积极利用物品的内容特征，例如单词，类别或实体。然而，我们观察到，文章的语境特征，例如CTR（点击率），流行度或新鲜度，最近被忽视或未充分利用。为了证明这是这种情况，我们在近期深度学习模型和天真的上下文模型之间进行了广泛的比较，我们设计得令人惊讶地发现后者很容易表现前者。此外，我们的分析表明，近期将过度复杂的深度学习业务应用于上下文功能的趋势实际上妨碍了推荐性能。根据这些知识，我们设计了一个有目的的简单上下文模块，可以通过大的边距提高上一个新闻推荐模型。

Session-Based Recommenders (SBRs) aim to predict users' next preferences regard to their previous interactions in sessions while there is no historical information about them. Modern SBRs utilize deep neural networks to map users' current interest(s) during an ongoing session to a latent space so that their next preference can be predicted. Although state-of-art SBR models achieve satisfactory results, most focus on studying the sequence of events inside sessions while ignoring temporal details of those events. In this paper, we examine the potential of session temporal information in enhancing the performance of SBRs, conceivably by reflecting the momentary interests of anonymous users or their mindset shifts during sessions. We propose the STAR framework, which utilizes the time intervals between events within sessions to construct more informative representations for items and sessions. Our mechanism revises session representation by embedding time intervals without employing discretization. Empirical results on Yoochoose and Diginetica datasets show that the suggested method outperforms the state-of-the-art baseline models in Recall and MRR criteria.

假新闻的广泛传播越来越威胁到个人和社会。在单个领域（例如政治）上自动假新闻发现已做出了巨大的努力。但是，相关性通常存在于多个新闻领域，因此有望同时检测多个域的假新闻。基于我们的分析，我们在多域假新闻检测中提出了两个挑战：1）域转移，是由域，情感，样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签，而不管新闻文章的主题多样性如何。在本文中，我们提出了一个记忆引导的多视图多域假新闻检测框架（M $^3 $ fend），以应对这两个挑战。我们从多视图的角度对新闻作品进行建模，包括语义，情感和风格。具体而言，我们建议一个域存储库来丰富域信息，该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后，以丰富的域信息为输入，域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性，在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。

在线新闻建议的一个关键挑战是帮助用户找到他们感兴趣的文章。传统新闻推荐方法通常使用单一新闻信息，这不足以编码新闻和用户表示。最近的研究使用多个频道新闻信息，例如标题，类别和机构，增强新闻和用户表示。然而，这些方法仅使用各种注意机制来熔化多视图嵌入，而不考虑上下文中包含的深度挖掘更高级别的信息。这些方法编码了在Word级别的新闻内容并共同培训了推荐网络中的注意参数，导致培训模型所需的更多Coreas。我们提出了一个事件提取的新闻推荐（EENR）框架，以克服这些缺点，利用事件提取到抽象的更高级别信息。 Eenr还使用两级策略来减少推荐网络后续部分的参数。我们在第一阶段通过外部语料库训练事件提取模块，并将训练型模型应用于新闻推荐数据集，以预测第二阶段的事件级信息，包括事件类型，角色和参数，包括事件类型，角色和参数。然后我们保险熔断多个频道信息，包括活动信息，新闻标题和类别，以编码新闻和用户。对现实世界数据集的广泛实验表明，我们的EENR方法可以有效地提高新闻建议的性能。最后，我们还探讨了利用更高抽象级别信息来替代新闻身体内容的合理性。

Increasing research interests focus on sequential recommender systems, aiming to model dynamic sequence representation precisely. However, the most commonly used loss function in state-of-the-art sequential recommendation models has essential limitations. To name a few, Bayesian Personalized Ranking (BPR) loss suffers the vanishing gradient problem from numerous negative sampling and predictionbiases; Binary Cross-Entropy (BCE) loss subjects to negative sampling numbers, thereby it is likely to ignore valuable negative examples and reduce the training efficiency; Cross-Entropy (CE) loss only focuses on the last timestamp of the training sequence, which causes low utilization of sequence information and results in inferior user sequence representation. To avoid these limitations, in this paper, we propose to calculate Cumulative Cross-Entropy (CCE) loss over the sequence. CCE is simple and direct, which enjoys the virtues of painless deployment, no negative sampling, and effective and efficient training. We conduct extensive experiments on five benchmark datasets to demonstrate the effectiveness and efficiency of CCE. The results show that employing CCE loss on three state-of-the-art models GRU4Rec, SASRec, and S3-Rec can reach 125.63%, 69.90%, and 33.24% average improvement of full ranking NDCG@5, respectively. Using CCE, the performance curve of the models on the test data increases rapidly with the wall clock time, and is superior to that of other loss functions in almost the whole process of model training.

顺序推荐（SR）通过对用户在项目之间的过境方式进行建模来表征用户行为不断发展的模式。但是，简短的交互序列限制了现有SR的性能。为了解决这个问题，我们专注于本文中的跨域顺序推荐（CDSR），该建议旨在利用其他域中的信息来提高单个域的顺序建议性能。解决CDSR具有挑战性。一方面，如何保留单个领域的偏好以及整合跨域影响仍然是一个基本问题。另一方面，由于合并序列的长度有限，因此仅利用来自其他域的知识来完全解决数据稀疏问题。为了应对挑战，我们提出了DDGHM，这是CDSR问题的新型框架，其中包括两个主要模块，即双动态图形建模和混合度量训练。前者通过动态构造两级图，即局部图和全局图，捕获内域和域间顺序跃迁，并将它们与融合的细心门控机制结合在一起。后者通过采用混合度量学习来增强用户和项目表示形式，包括实现保持一致性和对比度度量的协作指标，以确保均匀性，以进一步减轻数据稀少性问题并提高预测准确性。我们在两个基准数据集上进行实验，结果证明了DDHMG的有效性。

冷门问题在推荐系统中通常被认可，并通过遵循一般想法来利用温暖用户的丰富互动记录来推断冷用户的偏好。但是，这些解决方案的性能受到温暖用户可用的记录量的限制。因此，基于几个用户的互动记录建立推荐系统仍然是不受欢迎或早期推荐平台的挑战性问题。本文着重于根据两个观察结果解决新闻推荐的几个建议问题。首先，在不同平台（即使是不同语言）的新闻可能会共享类似的主题。其次，对这些主题的用户偏好可以在不同平台上转移。因此，我们建议通过将用户新的偏好从富源源域转移到低资源的目标域来解决几个播放新闻推荐问题。为了用不同的语言桥接两个域，而没有任何重叠的用户和新闻，我们提出了一个新颖的无监督的交叉转移模型，作为在两个域中与语义上相似的新闻保持一致的新闻编码器。用户编码器是在对齐新闻编码的顶部构造的，并将用户偏好从源源转移到目标域。两个现实世界新闻推荐数据集的实验结果表明，与最先进的基线相比，我们提出的方法在解决几乎没有新闻建议方面的出色表现。

最近，深度学习模型已在工业推荐系统中广泛传播，并提高了建议质量。尽管取得了杰出的成功，但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力，我们探索了神经体系结构搜索（NAS）的潜力，并在推荐系统中引入了自动行为建模，互动探索和多层感知器（MLP）研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言，Ameir将完整的建议模型分为行为建模，交互探索，MLP聚合的三个阶段，并引入了一个新颖的搜索空间，其中包含三个量身定制的子空间，这些子空间涵盖了大多数现有方法，从而允许搜索更好的模型。为了有效，有效地找到理想的体系结构，Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索，并将搜索结果组装为最终结果。进一步的分析表明，Ameir的搜索空间可以涵盖大多数代表性推荐模型，这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明，AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法，具有较低的模型复杂性和可比的时间成本，表明所提出的方法的效率，效率和鲁棒性。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

我们如何准确推荐用户在家中控制其设备的操作？智能家居的行动建议因其对虚拟助手和物联网（IoT）市场的潜在影响而引起了越来越多的关注。但是，为智能家庭设计有效的动作推荐系统是具有挑战性的，因为它需要处理上下文相关性，考虑到查询的上下文和以前的用户历史，并处理历史上的反复无常意图。在这项工作中，我们提出了Smartsense，这是一种准确的智能家居建议方法。对于个人动作，Smartsense以自我煽动的方式总结了其设备控制及其时间上下文，以反映它们之间相关性的重要性。 SmartSense然后总结了以查询方式考虑查询上下文的用户序列，以从顺序操作中提取与查询相关的模式。 Smartsense还将常识知识从常规数据转移到更好地处理动作序列中的意图。结果，Smartsense解决了针​​对Smart Home的所有三个主要挑战，并实现了比最佳竞争对手高达9.8％的地图的最先进性能。

在点击率（CTR）预测方案中，用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而，尽管正在广泛研究，但这些顺序方法仍然存在三个限制。首先，现有方法主要利用对用户行为的注意，这并不总是适用于CTR预测，因为用户经常点击与任何历史行为无关的新产品。其次，在真实场景中，很久以前存在许多具有运营的用户，但最近的次数相对不活跃。因此，难以通过早期行为精确地捕获用户的当前偏好。第三，不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题，我们提出了一种多互动关注网络（Mian），全面提取各种细粒度特征之间的潜在关系（例如，性别，年龄和用户档案）。具体而言，MIAN包含多交互式层（MIL），其集成了三个本地交互模块，通过顺序行为捕获用户偏好的多个表示，并同时利用细粒度的用户特定的以及上下文信息。此外，我们设计了一个全局交互模块（GIM）来学习高阶交互，平衡多个功能的不同影响。最后，脱机实验结果来自三个数据集，以及在大型推荐系统中的在线A / B测试，展示了我们提出的方法的有效性。

为了更好地利用搜索日志和建模用户的行为模式，提出了许多点击模型来提取用户的隐式交互反馈。大多数传统点击模型都是基于概率图形模型（PGM）框架，该框架需要手动设计的依赖项，并且可能会过度简化用户行为。最近，提出了基于神经网络的方法来通过增强表达能力并允许灵活的依赖性来提高用户行为的预测准确性。但是，他们仍然遭受数据稀疏性和冷启动问题的困扰。在本文中，我们提出了一个新颖的图形增强点击模型（GraphCM），用于Web搜索。首先，我们将每个查询或文档视为顶点，并分别针对查询和文档提出新颖的均匀图构造方法，以完全利用会议内和会议间信息，以解决稀疏性和冷启动问题。其次，在考试假设之后，我们分别对吸引力估计量和检查预测值进行了建模，以输出吸引力得分和检查概率，在该分数中，应用图形神经网络和邻居相互作用技术用于提取在预构建的同质图中编码的辅助信息。最后，我们将组合功能应用于将考试概率和吸引力得分整合到点击预测中。在三个现实世界会话数据集上进行的广泛实验表明，GraphCM不仅胜过了最先进的模型，而且还可以在解决数据稀疏性和冷启动问题方面取得卓越的性能。