基于历史行为数据的行为预测具有实际的现实意义。它已在推荐,预测学习成绩等中应用。随着用户数据描述的完善,新功能的发展以及多个数据源的融合,包含多种行为的异质行为数据变得越来越普遍。在本文中,我们旨在纳入行为预测的异质用户行为和社会影响。为此,本文提出了一个长期术语内存(LSTM)的变体,该变体可以在对行为序列进行建模时考虑上下文信息,该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外,基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。
translated by 谷歌翻译
受到计算机愿景和语言理解的深度学习的巨大成功的影响,建议的研究已经转移到发明基于神经网络的新推荐模型。近年来,我们在开发神经推荐模型方面目睹了显着进展,这概括和超越了传统的推荐模型,由于神经网络的强烈代表性。在本调查论文中,我们从建议建模与准确性目标的角度进行了系统审查,旨在总结该领域,促进研究人员和从业者在推荐系统上工作的研究人员和从业者。具体而具体基于推荐建模期间的数据使用,我们将工作划分为协作过滤和信息丰富的建议:1)协作滤波,其利用用户项目交互数据的关键来源; 2)内容丰富的建议,其另外利用与用户和项目相关的侧面信息,如用户配置文件和项目知识图; 3)时间/顺序推荐,其考虑与交互相关的上下文信息,例如时间,位置和过去的交互。在为每种类型审查代表性工作后,我们终于讨论了这一领域的一些有希望的方向。
translated by 谷歌翻译
人口级社会事件,如民事骚乱和犯罪,往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识,事件预测传统上具有挑战性。近年来,由于两个主要原因,研究事件预测研究取得了重大进展:(1)机器学习和深度学习算法的开发和(2)社交媒体,新闻来源,博客,经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名:\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后,我们总结了这些问题的数据资源,传统方法和最近的深度学习模型的发展。最后,我们讨论了社会事件预测中的挑战,并提出了一些有希望的未来研究方向。
translated by 谷歌翻译
接触犯罪和暴力会损害个人的生活质量和社区的经济增长。鉴于机器学习的迅速发展,需要探索自动解决方案以防止犯罪。随着细粒度的城市和公共服务数据的可用性越来越多,最近融合了这种跨域信息以促进犯罪预测的激增。通过捕获有关社会结构,环境和犯罪趋势的信息,现有的机器学习预测模型从不同观点探索了动态犯罪模式。但是,这些方法主要将这种多源知识转换为隐性和潜在表示(例如,学区的嵌入),这仍然是研究显式因素对幕后犯罪发生的影响的影响仍然是一个挑战。在本文中,我们提出了一个时空的元数据指导性犯罪预测(STMEC)框架,以捕获犯罪行为的动态模式,并明确地表征了环境和社会因素如何相互互动以产生预测。广泛的实验表明,与其他先进的时空模型相比,STMEC的优越性,尤其是在预测重罪(例如使用危险武器的抢劫和袭击)时。
translated by 谷歌翻译
保持个人特征和复杂的关系,广泛利用和研究了图表数据。通过更新和聚合节点的表示,能够捕获结构信息,图形神经网络(GNN)模型正在获得普及。在财务背景下,该图是基于实际数据构建的,这导致复杂的图形结构,因此需要复杂的方法。在这项工作中,我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后,我们总结了每个地图类型的GNN方法,每个区域的应用,并提出一些潜在的研究领域。
translated by 谷歌翻译
The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.
translated by 谷歌翻译
最近,深度学习模型已在工业推荐系统中广泛传播,并提高了建议质量。尽管取得了杰出的成功,但任务吸引推荐系统的设计通常需要域专家的手动功能工程和建筑工程。为了减轻人类的努力,我们探索了神经体系结构搜索(NAS)的潜力,并在推荐系统中引入了自动行为建模,互动探索和多层感知器(MLP)研究的AMEIR。 Ameir的核心贡献是三阶段的搜索空间和量身定制的三步搜索管道。具体而言,Ameir将完整的建议模型分为行为建模,交互探索,MLP聚合的三个阶段,并引入了一个新颖的搜索空间,其中包含三个量身定制的子空间,这些子空间涵盖了大多数现有方法,从而允许搜索更好的模型。为了有效,有效地找到理想的体系结构,Ameir在三个阶段逐渐推荐中实现了一次弹奏随机搜索,并将搜索结果组装为最终结果。进一步的分析表明,Ameir的搜索空间可以涵盖大多数代表性推荐模型,这证明了我们设计的普遍性。在各种情况下进行的广泛实验表明,AMEIR的表现优于精心制作的手动设计的竞争基准和领先的算法复杂的NAS方法,具有较低的模型复杂性和可比的时间成本,表明所提出的方法的效率,效率和鲁棒性。
translated by 谷歌翻译
点击率(CTR)预测旨在估算用户单击项目的可能性,是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣,这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步,但通常会受到推荐系统的直接曝光和不活动相互作用的限制,因此无法挖掘所有潜在的用户利益。为了解决这些问题,我们提出了基于邻居相互作用的CTR预测(NI-CTR),该预测在异质信息网络(HIN)设置下考虑此任务。简而言之,基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式,我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用,并提出了一种新颖的图形掩盖变压器(GMT),以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外,为了提高针对邻居采样的模型鲁棒性,我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验,实验结果表明,我们所提出的方法的表现明显优于最先进的CTR模型。同时,全面的消融研究验证了我们模型每个组成部分的有效性。此外,我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明,针对所有在线基线的平均CTR改进为21.9。
translated by 谷歌翻译
在点击率(CTR)预测方案中,用户的顺序行为很好地利用来捕获最近文献中的用户兴趣。然而,尽管正在广泛研究,但这些顺序方法仍然存在三个限制。首先,现有方法主要利用对用户行为的注意,这并不总是适用于CTR预测,因为用户经常点击与任何历史行为无关的新产品。其次,在真实场景中,很久以前存在许多具有运营的用户,但最近的次数相对不活跃。因此,难以通过早期行为精确地捕获用户的当前偏好。第三,不同特征子空间中用户历史行为的多个表示主要被忽略。为了解决这些问题,我们提出了一种多互动关注网络(Mian),全面提取各种细粒度特征之间的潜在关系(例如,性别,年龄和用户档案)。具体而言,MIAN包含多交互式层(MIL),其集成了三个本地交互模块,通过顺序行为捕获用户偏好的多个表示,并同时利用细粒度的用户特定的以及上下文信息。此外,我们设计了一个全局交互模块(GIM)来学习高阶交互,平衡多个功能的不同影响。最后,脱机实验结果来自三个数据集,以及在大型推荐系统中的在线A / B测试,展示了我们提出的方法的有效性。
translated by 谷歌翻译
对于许多在线平台(例如,视频共享网站,电子商务系统),学习动态用户的偏好已成为越来越重要的组成部分,以提出顺序建议。先前的工作已经做出了许多努力,以基于各种体系结构(例如,经常性的神经网络和自我注意机制)对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型,可在顺序推荐方案中捕获项目依赖性。尽管它们有效,但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上,因此仅限于捕获用户和项目之间的动态异质关系结构(例如,页面视图,添加最佳选择,购买,购买)。为了应对这一挑战,我们设计了多行为超毛力增强的变压器框架(MBHT),以捕获短期和长期跨型行为依赖性。具体而言,多尺度变压器配备了低级别的自我注意力,可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外,我们将全局多行为依赖性纳入HyperGraph神经体系结构中,以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布:https://github.com/yuh-yang/mbht-kdd22。
translated by 谷歌翻译
在线社交平台,例如Twitter,Facebook,LinkedIn和微信在过去十年中的发展非常快,并且是人们互相交流和共享信息的最有效平台之一。由于“口口相传”的效果,信息通常可以在这些社交媒体平台上迅速传播。因此,重要的是研究推动信息扩散的机制并量化信息传播的后果。许多努力都集中在这个问题上,以帮助我们更好地理解并在病毒营销和广告中实现更高的性能。另一方面,在过去的几年中,神经网络的发展蓬勃发展,导致大量的图表学习(GRL)模型。与传统模型相比,GRL方法通常被证明更有效。在本文中,我们对现有作品进行了全面的审查,该综述使用GRL方法用于普及预测问题,并根据其主要使用的模型和技术将相关文献分为两个大类:基于嵌入的方法和深度学习方法。深度学习方法进一步分为六个小类:卷积神经网络,图形卷积网络,图形注意力网络,图形神经网络,复发性神经网络和增强学习。我们比较这些不同模型的性能,并讨论它们的优势和局限性。最后,我们概述了受欢迎程度预测问题的挑战和未来机会。
translated by 谷歌翻译
预测短期交互会话的下一个交互是基于会话的推荐中的一个具有挑战性的任务。几乎所有现有的作品都依赖于项目转换模式,并在建模用户偏好时忽略用户历史会话的影响,这通常会导致非个性化推荐。此外,基于现有的个性化会话的推荐人仅基于当前用户的会话捕获用户首选项,而是忽略来自其他用户的历史会话的有用物品转换模式。为了解决这些问题,我们提出了一种新颖的异构全球图形神经网络(HG-GNN)以以微妙的方式利用所有会话的物品过渡,以便更好地推断用户偏好与当前和历史会话。为了有效利用所有用户的所有会话转换,我们提出了一种新的异构全局图,该图包含会话,用户项交互和全局共同发生项目的项目转换。此外,为了综合地从会话中捕获用户偏好,我们建议通过两个图形增强偏好编码器学习来自全局图的两个用户表示。具体地,我们在异构全球图上设计一种新的异构图形神经网络(HGNN),以了解具有丰富语义的长期用户偏好和项目表示。基于HGNN,我们提出了当前偏好编码器和历史偏好编码器,分别捕获来自当前和历史会话的不同级别的用户偏好。为实现个性化建议,我们将用户当前偏好和历史利益的表示集成到生成最终用户首选项表示。三个真实数据集的广泛实验结果表明,我们的模型优于其他最先进的方法。
translated by 谷歌翻译
共享符号跨域顺序推荐(SCSR)任务旨在通过利用多个域中的混合用户行为推荐下一个项目。随着越来越多的用户倾向于在不同的平台上注册并与他人共享访问特定于域的服务,它正在引起极大的研究关注。现有关于SCSR的作品主要依赖于基于复发的神经网络(RNN)模型的采矿顺序模式,这些模型受到以下局限性:1)基于RNN的方法,基于RNN的方法绝大多数目标是发现单用户行为中的顺序依赖性。它们的表现不足以捕获SCSR中多个实体之间的关系。 2)所有现有方法通过潜在空间中的知识转移桥接两个域,并忽略显式的跨域图结构。 3)没有现有研究考虑项目之间的时间间隔信息,这对于表征不同项目和学习判别性表示的顺序建议至关重要。在这项工作中,我们提出了一种新的基于图的解决方案,即TIDA-GCN,以应对上述挑战。具体来说,我们首先将每个域中的用户和项目链接为图。然后,我们设计了一个域感知图形卷积网络,以学习用户特异性节点表示。为了充分说明用户对项目的域特异性偏好,进一步开发了两个有效的注意机制,以选择性地指导消息传递过程。此外,为了进一步增强项目和帐户级的表示学习,我们将时间间隔纳入消息传递中,并为学习项目的交互式特征设计一个帐户意识的自我发项模块。实验证明了我们提出的方法从各个方面的优越性。
translated by 谷歌翻译
学习捕获特征关系有效,有效地是现代推荐系统的点击率(CTR)预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系,这两者都需要额外的DNN模块进行隐式交互建模。在本文中,我们提出了一种新颖的插件操作,动态参数化操作(DPO),以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务,增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法,以及在线A / B测试。此外,建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署,服务于数亿个活跃用户的主要流量。
translated by 谷歌翻译
顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力,例如经常性网络和自我关注机制。然而,他们未能发现和区分项目之间的各种关系,这可能是激励用户行为的潜在因素。在本文中,我们提出了一个边缘增强的全面解散图神经网络(EGD-GNN)模型,以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别,我们通过所有序列构建全局链接图来模拟项目关系。然后,频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道,这可以聚合以将目标项从其邻居表示。在本地层面,我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明,我们的模型可以通过最先进的基线获得至关重要的改进,能够区分项目特征。
translated by 谷歌翻译
顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而,这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上,这种影响在序列推荐中发挥着重要作用,因为用户的行为容易受其他人的影响。因此,期望聚合用户行为和用户之间的影响,这些用户在时间上演化并涉及用户和项目的异构图。在本文中,我们纳入了动态用户项异构图,提出了一种新的顺序推荐框架。结果,可以考虑历史行为以及用户之间的影响。为此,我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后,我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计,并采用伪似然方法来得出易行目标函数。最后,我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性,而且还提供了一些关于顺序推荐的有洞察力的发现。
translated by 谷歌翻译
Providing accurate estimated time of package delivery on users' purchasing pages for e-commerce platforms is of great importance to their purchasing decisions and post-purchase experiences. Although this problem shares some common issues with the conventional estimated time of arrival (ETA), it is more challenging with the following aspects: 1) Inductive inference. Models are required to predict ETA for orders with unseen retailers and addresses; 2) High-order interaction of order semantic information. Apart from the spatio-temporal features, the estimated time also varies greatly with other factors, such as the packaging efficiency of retailers, as well as the high-order interaction of these factors. In this paper, we propose an inductive graph transformer (IGT) that leverages raw feature information and structural graph data to estimate package delivery time. Different from previous graph transformer architectures, IGT adopts a decoupled pipeline and trains transformer as a regression function that can capture the multiplex information from both raw feature and dense embeddings encoded by a graph neural network (GNN). In addition, we further simplify the GNN structure by removing its non-linear activation and the learnable linear transformation matrix. The reduced parameter search space and linear information propagation in the simplified GNN enable the IGT to be applied in large-scale industrial scenarios. Experiments on real-world logistics datasets show that our proposed model can significantly outperform the state-of-the-art methods on estimation of delivery time. The source code is available at: https://github.com/enoche/IGT-WSDM23.
translated by 谷歌翻译
在大多数现实世界中的推荐方案中,多种行为(例如,单击,添加到购物车,采购等)的多类型,这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性,因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是,不同的行为可能反映了用户偏好的不同方面,这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性,我们向多行为建议介绍了多功能学习。更具体地说,我们提出了一种新颖的粗到五个知识增强的多功能学习(CKML)框架,以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块,即粗粒兴趣提取(CIE)和细粒度的行为相关性(FBC),它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案,以在兴趣之间进一步分配每个行为。此外,我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。
translated by 谷歌翻译
促销活动在电子商务平台上变得更加重要和普遍,以吸引客户和提升销售。但是,推荐系统中的点击率(CTR)预测方法无法处理此类情况,因为:1)他们无法概括为服务,因为在线数据分布是不确定的,因为可能正在推出的促销潜在的促销; 2)在不够重视方案信号的情况下,它们无法学习在每个场景中共存的不同特征表示模式。在这项工作中,我们提出了方案自适应混合的专家(相同),这是一个简单而有效的模型,用于促销和正常情况。从技术上讲,它通过采用多个专家来学习专家来遵循专家混合的想法,这些特征表示通过注意机制通过特征门控网络(FGN)进行调制。为了获得高质量的表示,我们设计了一个堆叠的并行关注单元(SPAU),以帮助每个专家更好地处理用户行为序列。为了解决分布不确定性,从时间序列预测的角度精确地设计了一组场景信号,并馈入FGN,其输出与来自每个专家的特征表示连接,以学会注意。因此,特征表示的混合是自适应的场景和用于最终的CTR预测。通过这种方式,每个专家都可以学习鉴别的表示模式。据我们所知,这是第一次推广感知CTR预测的研究。实验结果对现实世界数据集验证了同一的优势。在线A / B测试也表现出同样的促销期间在CTR上的显着增益和5.94%的IPV,分别在正常日内为3.93%和6.57%。
translated by 谷歌翻译
Accurate activity location prediction is a crucial component of many mobility applications and is particularly required to develop personalized, sustainable transportation systems. Despite the widespread adoption of deep learning models, next location prediction models lack a comprehensive discussion and integration of mobility-related spatio-temporal contexts. Here, we utilize a multi-head self-attentional (MHSA) neural network that learns location transition patterns from historical location visits, their visit time and activity duration, as well as their surrounding land use functions, to infer an individual's next location. Specifically, we adopt point-of-interest data and latent Dirichlet allocation for representing locations' land use contexts at multiple spatial scales, generate embedding vectors of the spatio-temporal features, and learn to predict the next location with an MHSA network. Through experiments on two large-scale GNSS tracking datasets, we demonstrate that the proposed model outperforms other state-of-the-art prediction models, and reveal the contribution of various spatio-temporal contexts to the model's performance. Moreover, we find that the model trained on population data achieves higher prediction performance with fewer parameters than individual-level models due to learning from collective movement patterns. We also reveal mobility conducted in the recent past and one week before has the largest influence on the current prediction, showing that learning from a subset of the historical mobility is sufficient to obtain an accurate location prediction result. We believe that the proposed model is vital for context-aware mobility prediction. The gained insights will help to understand location prediction models and promote their implementation for mobility applications.
translated by 谷歌翻译