个性化新闻推荐旨在通过预测他们点击某些文章的可能性为读者提供有吸引力的文章。为了准确预测这种概率，已经提出了充足的研究，以积极利用物品的内容特征，例如单词，类别或实体。然而，我们观察到，文章的语境特征，例如CTR（点击率），流行度或新鲜度，最近被忽视或未充分利用。为了证明这是这种情况，我们在近期深度学习模型和天真的上下文模型之间进行了广泛的比较，我们设计得令人惊讶地发现后者很容易表现前者。此外，我们的分析表明，近期将过度复杂的深度学习业务应用于上下文功能的趋势实际上妨碍了推荐性能。根据这些知识，我们设计了一个有目的的简单上下文模块，可以通过大的边距提高上一个新闻推荐模型。

受到计算机愿景和语言理解的深度学习的巨大成功的影响，建议的研究已经转移到发明基于神经网络的新推荐模型。近年来，我们在开发神经推荐模型方面目睹了显着进展，这概括和超越了传统的推荐模型，由于神经网络的强烈代表性。在本调查论文中，我们从建议建模与准确性目标的角度进行了系统审查，旨在总结该领域，促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用，我们将工作划分为协作过滤和信息丰富的建议：1）协作滤波，其利用用户项目交互数据的关键来源; 2）内容丰富的建议，其另外利用与用户和项目相关的侧面信息，如用户配置文件和项目知识图; 3）时间/顺序推荐，其考虑与交互相关的上下文信息，例如时间，位置和过去的交互。在为每种类型审查代表性工作后，我们终于讨论了这一领域的一些有希望的方向。

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。

推荐系统是机器学习系统的子类，它们采用复杂的信息过滤策略来减少搜索时间，并向任何特定用户建议最相关的项目。混合建议系统以不同的方式结合了多种建议策略，以从其互补的优势中受益。一些混合推荐系统已经结合了协作过滤和基于内容的方法来构建更强大的系统。在本文中，我们提出了一个混合推荐系统，该系统将基于最小二乘（ALS）的交替正方（ALS）的协作过滤与深度学习结合在一起，以增强建议性能，并克服与协作过滤方法相关的限制，尤其是关于其冷启动问题。本质上，我们使用ALS（协作过滤）的输出来影响深度神经网络（DNN）的建议，该建议结合了大数据处理框架中的特征，上下文，结构和顺序信息。我们已经进行了几项实验，以测试拟议混合体架构向潜在客户推荐智能手机的功效，并将其性能与其他开源推荐人进行比较。结果表明，所提出的系统的表现优于几个现有的混合推荐系统。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

新闻饲料推荐是一个重要的Web服务。近年来，预先接受了训练的语言模型（PLMS）被密集地应用于提高建议质量。然而，这些深度模型的利用在许多方面有限，例如缺乏可解释性并且与现有的倒指数系统不相容。最重要的是，基于PLMS的推荐人效率低下，因为用户侧信息的编码将采用巨大的计算成本。虽然计算可以用高效的变压器或蒸馏器加速计算，但是对于与超级长期新闻浏览历史相关联的活动用户来说仍然不足以及时建议。在这项工作中，我们从独特的角度解决了高效的新闻推荐问题。我们不依赖于整个输入（即，新闻文章的集合，而是浏览的新闻文章），我们认为用户的兴趣可以仅仅与这些代表关键字完全捕获。通过此激励，我们提出了GateFormer，在进入变压器之前将输入数据门控。门控模块是个性化的，轻量级和端到端的学习，使得它可以执行对信息用户输入的准确和有效的过滤。 GateFormer在实验中实现了高度令人印象深刻的性能，在那里它显着优于准确性和效率的现有加速方法。我们还令人惊讶地发现，即使有超过10倍的原始输入压缩，GateFormer仍然能够用SOTA方法维持映射。

A large number of empirical studies on applying self-attention models in the domain of recommender systems are based on offline evaluation and metrics computed on standardized datasets, without insights on how these models perform in real life scenarios. Moreover, many of them do not consider information such as item and customer metadata, although deep-learning recommenders live up to their full potential only when numerous features of heterogeneous types are included. Also, typically recommendation models are designed to serve well only a single use case, which increases modeling complexity and maintenance costs, and may lead to inconsistent customer experience. In this work, we present a reusable Attention-based Fashion Recommendation Algorithm (AFRA), that utilizes various interaction types with different fashion entities such as items (e.g., shirt), outfits and influencers, and their heterogeneous features. Moreover, we leverage temporal and contextual information to address both short and long-term customer preferences. We show its effectiveness on outfit recommendation use cases, in particular: 1) personalized ranked feed; 2) outfit recommendations by style; 3) similar item recommendation and 4) in-session recommendations inspired by most recent customer actions. We present both offline and online experimental results demonstrating substantial improvements in customer retention and engagement.

在线新闻建议的一个关键挑战是帮助用户找到他们感兴趣的文章。传统新闻推荐方法通常使用单一新闻信息，这不足以编码新闻和用户表示。最近的研究使用多个频道新闻信息，例如标题，类别和机构，增强新闻和用户表示。然而，这些方法仅使用各种注意机制来熔化多视图嵌入，而不考虑上下文中包含的深度挖掘更高级别的信息。这些方法编码了在Word级别的新闻内容并共同培训了推荐网络中的注意参数，导致培训模型所需的更多Coreas。我们提出了一个事件提取的新闻推荐（EENR）框架，以克服这些缺点，利用事件提取到抽象的更高级别信息。 Eenr还使用两级策略来减少推荐网络后续部分的参数。我们在第一阶段通过外部语料库训练事件提取模块，并将训练型模型应用于新闻推荐数据集，以预测第二阶段的事件级信息，包括事件类型，角色和参数，包括事件类型，角色和参数。然后我们保险熔断多个频道信息，包括活动信息，新闻标题和类别，以编码新闻和用户。对现实世界数据集的广泛实验表明，我们的EENR方法可以有效地提高新闻建议的性能。最后，我们还探讨了利用更高抽象级别信息来替代新闻身体内容的合理性。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

由于出版物的数量越来越多，找到与人的利益相关的在线研究论文非常具有挑战性。因此，个性化的研究论文建议已成为一个重要且及时的研究主题。协作过滤是一种成功的推荐方法，它利用用户给出的项目的评分作为学习的信息来源，以提出准确的建议。但是，由于每年的出版物数量大量增长，评级通常非常稀少。因此，人们对考虑评级和内容信息的混合方法有了更多的关注。然而，基于文本嵌入的大多数混合推荐方法都使用了词袋技术，它们忽略了单词顺序和语义含义。在本文中，我们提出了一种混合方法，该方法基于用户分配的社会标签来利用研究论文的深层语义表示。实验评估是对Citeulike进行的，Citeulike是一个真实且公开可用的数据集。获得的发现表明，即使评级数据非常稀疏，提出的模型也可以有效推荐研究论文。

Self-attentive transformer models have recently been shown to solve the next item recommendation task very efficiently. The learned attention weights capture sequential dynamics in user behavior and generalize well. Motivated by the special structure of learned parameter space, we question if it is possible to mimic it with an alternative and more lightweight approach. We develop a new tensor factorization-based model that ingrains the structural knowledge about sequential data within the learning process. We demonstrate how certain properties of a self-attention network can be reproduced with our approach based on special Hankel matrix representation. The resulting model has a shallow linear architecture and compares competitively to its neural counterpart.

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

用户嵌入（用户的矢量化表示）对于推荐系统至关重要。已经提出了许多方法来为用户构建代表性，以找到用于检索任务的类似项目，并且已被证明在工业推荐系统中也有效。最近，人们发现使用多个嵌入式代表用户的能力，希望每个嵌入代表用户对某个主题的兴趣。通过多息表示，重要的是要对用户对不同主题的喜好进行建模以及偏好如何随时间变化。但是，现有方法要么无法估算用户对每个利息的亲和力，要么不合理地假设每个用户的每一个利息随时间而逐渐消失，从而损害了候选人检索的召回。在本文中，我们提出了多功能偏好（MIP）模型，这种方法不仅可以通过更有效地使用用户的顺序参与来为用户产生多种利益因此，可以按比例地从每个利息中检索候选人。在各种工业规模的数据集上进行了广泛的实验，以证明我们方法的有效性。

Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.

本文介绍了SocialVEC，这是一种从社交网络引出社会世界知识的一般框架，并将此框架应用于Twitter。 SocialVEC了解流行账户的低维嵌入，这代表了一般兴趣的实体，基于其账户内的共同发生模式，然后是个别用户，从而在社会人口统计术语中建模实体相似性。类似于Word Embeddings，这促进了涉及文本处理的任务，我们预计社会实体嵌入将使社会味道的任务受益。我们从推特网络的样本中学习了大约200,000个受欢迎的帐户的社交嵌入，其中包括超过130万用户和他们遵循的帐户，并在两个不同的任务中评估结果嵌入。第一个任务涉及从社交媒体简介中自动推动用户的个人特征。在另一个研究中，我们利用SocialVEC嵌入来衡量Twitter中新闻来源的政治偏见。在这两种情况下，与现有实体嵌入方案相比，我们证明SocialVEC嵌入是有利的。我们将公开为社会顾客实体嵌入而挪用，以支持在Twitter中反映的社会世界知识进一步探索。

最近的趋势表明，一般的模型，例如BERT，GPT-3，剪辑，在规模上广泛的数据训练，已经显示出具有单一学习架构的各种功能。在这项工作中，我们通过在大尺度上培训通用用户编码器来探讨通用用户表示学习的可能性。我们展示了扩展法在用户建模区域中持有，其中训练错误将作为幂律规模的幂级，具有计算量。我们的对比学习用户编码器（CLUE），优​​化任务 - 不可知目标，并且所产生的用户嵌入式延伸我们对各种下游任务中的可能做些什么。 Clue还向其他域和系统展示了巨大的可转移性，因为在线实验上的性能显示在线点击率（CTR）的显着改进。此外，我们还调查了如何根据扩展因子，即模型容量，序列长度和批量尺寸来改变性能如何变化。最后，我们讨论了线索的更广泛影响。

推荐兴趣点是一个困难的问题，需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言，另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统，以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项（位置）相比，我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明，我们的模型始终优于各种最新的顺序模型。

Over the past years, fashion-related challenges have gained a lot of attention in the research community. Outfit generation and recommendation, i.e., the composition of a set of items of different types (e.g., tops, bottom, shoes, accessories) that go well together, are among the most challenging ones. That is because items have to be both compatible amongst each other and also personalized to match the taste of the customer. Recently there has been a plethora of work targeted at tackling these problems by adopting various techniques and algorithms from the machine learning literature. However, to date, there is no extensive comparison of the performance of the different algorithms for outfit generation and recommendation. In this paper, we close this gap by providing a broad evaluation and comparison of various algorithms, including both personalized and non-personalized approaches, using online, real-world user data from one of Europe's largest fashion stores. We present the adaptations we made to some of those models to make them suitable for personalized outfit generation. Moreover, we provide insights for models that have not yet been evaluated on this task, specifically, GPT, BERT and Seq-to-Seq LSTM.