Providing accurate estimated time of package delivery on users' purchasing pages for e-commerce platforms is of great importance to their purchasing decisions and post-purchase experiences. Although this problem shares some common issues with the conventional estimated time of arrival (ETA), it is more challenging with the following aspects: 1) Inductive inference. Models are required to predict ETA for orders with unseen retailers and addresses; 2) High-order interaction of order semantic information. Apart from the spatio-temporal features, the estimated time also varies greatly with other factors, such as the packaging efficiency of retailers, as well as the high-order interaction of these factors. In this paper, we propose an inductive graph transformer (IGT) that leverages raw feature information and structural graph data to estimate package delivery time. Different from previous graph transformer architectures, IGT adopts a decoupled pipeline and trains transformer as a regression function that can capture the multiplex information from both raw feature and dense embeddings encoded by a graph neural network (GNN). In addition, we further simplify the GNN structure by removing its non-linear activation and the learnable linear transformation matrix. The reduced parameter search space and linear information propagation in the simplified GNN enable the IGT to be applied in large-scale industrial scenarios. Experiments on real-world logistics datasets show that our proposed model can significantly outperform the state-of-the-art methods on estimation of delivery time. The source code is available at: https://github.com/enoche/IGT-WSDM23.
translated by 谷歌翻译
估计到达时间(ETA)预测时间(也称为旅行时间估计)是针对各种智能运输应用程序(例如导航,路线规划和乘车服务)的基本任务。为了准确预测一条路线的旅行时间,必须考虑到上下文和预测因素,例如空间 - 周期性的互动,驾驶行为和交通拥堵传播的推断。先前在百度地图上部署的ETA预测模型已经解决了时空相互作用(constgat)和驾驶行为(SSML)的因素。在这项工作中,我们专注于建模交通拥堵传播模式以提高ETA性能。交通拥堵的传播模式建模具有挑战性,它需要考虑到随着时间的推移影响区域的影响区域,以及延迟变化随时间变化的累积影响,这是由于道路网络上的流量事件引起的。在本文中,我们提出了一个实用的工业级ETA预测框架,名为Dueta。具体而言,我们基于交通模式的相关性构建了一个对拥堵敏感的图,并开发了一种路线感知图形变压器,以直接学习路段的长距离相关性。该设计使Dueta能够捕获空间遥远但与交通状况高度相关的路段对之间的相互作用。广泛的实验是在从百度地图收集的大型现实世界数据集上进行的。实验结果表明,ETA预测可以从学习的交通拥堵传播模式中显着受益。此外,Dueta已经在Baidu Maps的生产中部署,每天都有数十亿个请求。这表明Dueta是用于大规模ETA预测服务的工业级和强大的解决方案。
translated by 谷歌翻译
保持个人特征和复杂的关系,广泛利用和研究了图表数据。通过更新和聚合节点的表示,能够捕获结构信息,图形神经网络(GNN)模型正在获得普及。在财务背景下,该图是基于实际数据构建的,这导致复杂的图形结构,因此需要复杂的方法。在这项工作中,我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后,我们总结了每个地图类型的GNN方法,每个区域的应用,并提出一些潜在的研究领域。
translated by 谷歌翻译
交通预测是智能交通系统的问题(ITS),并为个人和公共机构是至关重要的。因此,研究高度重视应对准确预报交通系统的复杂的时空相关性。但是,有两个挑战:1)大多数流量预测研究主要集中在造型相邻传感器的相关性,而忽略远程传感器,例如,商务区有类似的时空模式的相关性; 2)使用静态邻接矩阵中曲线图的卷积网络(GCNs)的现有方法不足以反映在交通系统中的动态空间依赖性。此外,它采用自注意所有的传感器模型动态关联细粒度方法忽略道路网络分层信息,并有二次计算复杂性。在本文中,我们提出了一种新动态多图形卷积递归网络(DMGCRN),以解决上述问题,可以同时距离的空间相关性,结构的空间相关性,和所述时间相关性进行建模。那么,只使用基于距离的曲线图来捕获空间信息从节点是接近距离也构建了一个新潜曲线图,其编码的道路之间的相关性的结构来捕获空间信息从节点在结构上相似。此外,我们在不同的时间将每个传感器的邻居到粗粒区域,并且动态地分配不同的权重的每个区域。同时,我们整合动态多图卷积网络到门控重复单元(GRU)来捕获时间依赖性。三个真实世界的交通数据集大量的实验证明,我们提出的算法优于国家的最先进的基线。
translated by 谷歌翻译
异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎,从链接预测到节点分类。但是,大多数现有作品都忽略了多型节点之间的多重网络的关系异质性,而在元路径中,元素嵌入中关系的重要性不同,这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战,这项工作提出了用于异质网络嵌入的多重异质图卷积网络(MHGCN)。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外,我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中,并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明,根据所有评估指标,MHGCN与最先进的嵌入基线的优势。
translated by 谷歌翻译
最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图,然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中,不同时间步骤的不同节点之间的相关性未明确地反映,这可以限制图形神经网络的学习能力。同时,这些模型在不同时间步骤中使用相同的邻接矩阵时,忽略节点之间的动态时空相关性。为了克服这些限制,我们提出了一种时空关节图卷积网络(StJGCN),用于交通预测在公路网络上的几个时间上限。具体地,我们在任何两个时间步长之间构造预定的和自适应时空关节图(STJG),这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层,以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明,STJGCN是计算的高效和优于11个最先进的基线方法。
translated by 谷歌翻译
Accurate short-term traffic prediction plays a pivotal role in various smart mobility operation and management systems. Currently, most of the state-of-the-art prediction models are based on graph neural networks (GNNs), and the required training samples are proportional to the size of the traffic network. In many cities, the available amount of traffic data is substantially below the minimum requirement due to the data collection expense. It is still an open question to develop traffic prediction models with a small size of training data on large-scale networks. We notice that the traffic states of a node for the near future only depend on the traffic states of its localized neighborhoods, which can be represented using the graph relational inductive biases. In view of this, this paper develops a graph network (GN)-based deep learning model LocaleGN that depicts the traffic dynamics using localized data aggregating and updating functions, as well as the node-wise recurrent neural networks. LocaleGN is a light-weighted model designed for training on few samples without over-fitting, and hence it can solve the problem of few-sample traffic prediction. The proposed model is examined on predicting both traffic speed and flow with six datasets, and the experimental results demonstrate that LocaleGN outperforms existing state-of-the-art baseline models. It is also demonstrated that the learned knowledge from LocaleGN can be transferred across cities. The research outcomes can help to develop light-weighted traffic prediction systems, especially for cities lacking historically archived traffic data.
translated by 谷歌翻译
Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node-and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm-HGSampling-for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%-21% on various downstream tasks. The dataset and source code of HGT are publicly available at https://github.com/acbull/pyHGT.
translated by 谷歌翻译
由于流量大数据的增加,交通预测逐渐引起了研究人员的注意力。因此,如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络(GCNS)和具有深度序列模型的自我关注机制(例如,复发性神经网络),分别捕获时空相关性,忽略时间和空间的关系。此外,GCNS受到过平滑问题的限制,自我关注受到二次问题的限制,导致GCN缺乏全局代表能力,自我注意力效率低下捕获全球空间依赖性。在本文中,我们提出了一种新颖的交通预测深入学习模型,命名为多语境意识的时空关节线性关注(STJLA),其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地,STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外,基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力,并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集,英格兰和PEMSD7上的实验表明,我们的Stjla可以获得高达9.83%和3.08%,在最先进的基线上的衡量标准的准确性提高。
translated by 谷歌翻译
Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.
translated by 谷歌翻译
交通预测在智能交通系统中很重要,有利于交通安全,但由于现实世界交通系统中的复杂和动态的时空依赖性,这是非常具有挑战性的。先前的方法使用预定义或学习的静态图来提取空间相关性。但是,基于静态图形的方法无法挖掘交通网络的演变。研究人员随后为每次切片生成动态图形以反映空间相关性的变化,但它们遵循独立建模的时空依赖性的范例,忽略了串行空间影响。在本文中,我们提出了一种新的基于跨时动态图形的深度学习模型,名为CDGNet,用于交通预测。该模型能够通过利用横行动态图来有效地捕获每个时切片和其历史时片之间的串联空间依赖性。同时,我们设计了稀疏横行动态图的浇注机制,符合现实世界中的稀疏空间相关性。此外,我们提出了一种新颖的编码器解码器架构,用于结合基于交叉时间动态图形的GCN,用于多步行量预测。三个现实世界公共交通数据集的实验结果表明CDGNET优于最先进的基线。我们还提供了一种定性研究来分析我们建筑的有效性。
translated by 谷歌翻译
人口级社会事件,如民事骚乱和犯罪,往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识,事件预测传统上具有挑战性。近年来,由于两个主要原因,研究事件预测研究取得了重大进展:(1)机器学习和深度学习算法的开发和(2)社交媒体,新闻来源,博客,经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名:\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后,我们总结了这些问题的数据资源,传统方法和最近的深度学习模型的发展。最后,我们讨论了社会事件预测中的挑战,并提出了一些有希望的未来研究方向。
translated by 谷歌翻译
基于历史行为数据的行为预测具有实际的现实意义。它已在推荐,预测学习成绩等中应用。随着用户数据描述的完善,新功能的发展以及多个数据源的融合,包含多种行为的异质行为数据变得越来越普遍。在本文中,我们旨在纳入行为预测的异质用户行为和社会影响。为此,本文提出了一个长期术语内存(LSTM)的变体,该变体可以在对行为序列进行建模时考虑上下文信息,该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外,基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。
translated by 谷歌翻译
近年来,图形神经网络(GNN)与复发性神经网络(RNN)的变体相结合,在时空预测任务中达到了最先进的性能。对于流量预测,GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构,以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性,以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列,并随着编码层的增量增加,使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同,城市路段是循环的,其特征是复杂的空间依赖性。与基线方法相比,一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7%以上,同时将计算资源要求提高了一半以上竞争方法。
translated by 谷歌翻译
点击率(CTR)预测旨在估算用户单击项目的可能性,是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣,这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步,但通常会受到推荐系统的直接曝光和不活动相互作用的限制,因此无法挖掘所有潜在的用户利益。为了解决这些问题,我们提出了基于邻居相互作用的CTR预测(NI-CTR),该预测在异质信息网络(HIN)设置下考虑此任务。简而言之,基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式,我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用,并提出了一种新颖的图形掩盖变压器(GMT),以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外,为了提高针对邻居采样的模型鲁棒性,我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验,实验结果表明,我们所提出的方法的表现明显优于最先进的CTR模型。同时,全面的消融研究验证了我们模型每个组成部分的有效性。此外,我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明,针对所有在线基线的平均CTR改进为21.9。
translated by 谷歌翻译
动态需求预测对于城市交通系统有效运行和管理至关重要。在单模需求预测上进行了广泛的研究,忽略了不同运输模式的需求可以彼此相关。尽管最近的一些努力,现有的多式化需求预测方法通常不够灵活,以便在不同模式下具有不同的空间单元和异质时空相关性的多路复用网络。为了解决这些问题,本研究提出了一种多重峰需求预测的多关系时空图神经网络(ST-MRGNN)。具体地,跨模式的空间依赖性被多个内部和模态关系图编码。引入多关系图神经网络(MRGNN)以捕获跨模式异构空间依赖性,包括广义图卷积网络,以了解关系图中的消息传递机制和基于关注的聚合模块,以总结不同的关系。我们进一步将MRGNN与时间门控卷积层相结合,共同模拟异质时滞的相关性。广泛的实验是使用真实的地铁和来自纽约市的乘车数据集进行的实验,结果验证了我们提出的方法对模式的现有方法的提高性能。需求稀疏位置的改进特别大。进一步分析ST-MRGNN的注意机制还表明了对理解跨模式相互作用的良好解释性。
translated by 谷歌翻译
接触犯罪和暴力会损害个人的生活质量和社区的经济增长。鉴于机器学习的迅速发展,需要探索自动解决方案以防止犯罪。随着细粒度的城市和公共服务数据的可用性越来越多,最近融合了这种跨域信息以促进犯罪预测的激增。通过捕获有关社会结构,环境和犯罪趋势的信息,现有的机器学习预测模型从不同观点探索了动态犯罪模式。但是,这些方法主要将这种多源知识转换为隐性和潜在表示(例如,学区的嵌入),这仍然是研究显式因素对幕后犯罪发生的影响的影响仍然是一个挑战。在本文中,我们提出了一个时空的元数据指导性犯罪预测(STMEC)框架,以捕获犯罪行为的动态模式,并明确地表征了环境和社会因素如何相互互动以产生预测。广泛的实验表明,与其他先进的时空模型相比,STMEC的优越性,尤其是在预测重罪(例如使用危险武器的抢劫和袭击)时。
translated by 谷歌翻译
交通流量预测是智能运输系统的重要组成部分,从而受到了研究人员的关注。但是,交通道路之间的复杂空间和时间依赖性使交通流量的预测具有挑战性。现有方法通常是基于图形神经网络,使用交通网络的预定义空间邻接图来建模空间依赖性,而忽略了道路节点之间关系的动态相关性。此外,他们通常使用独立的时空组件来捕获时空依赖性,并且不会有效地对全局时空依赖性进行建模。本文提出了一个新的时空因果图形注意网络(STCGAT),以解决上述挑战。在STCGAT中,我们使用一种节点嵌入方法,可以在每个时间步骤中自适应生成空间邻接子图,而无需先验地理知识和对不同时间步骤动态生成图的拓扑的精细颗粒建模。同时,我们提出了一个有效的因果时间相关成分,其中包含节点自适应学习,图形卷积以及局部和全局因果关系卷积模块,以共同学习局部和全局时空依赖性。在四个真正的大型流量数据集上进行的广泛实验表明,我们的模型始终优于所有基线模型。
translated by 谷歌翻译
GPS trajectories are the essential foundations for many trajectory-based applications, such as travel time estimation, traffic prediction and trajectory similarity measurement. Most applications require a large amount of high sample rate trajectories to achieve a good performance. However, many real-life trajectories are collected with low sample rate due to energy concern or other constraints.We study the task of trajectory recovery in this paper as a means for increasing the sample rate of low sample trajectories. Currently, most existing works on trajectory recovery follow a sequence-to-sequence diagram, with an encoder to encode a trajectory and a decoder to recover real GPS points in the trajectory. However, these works ignore the topology of road network and only use grid information or raw GPS points as input. Therefore, the encoder model is not able to capture rich spatial information of the GPS points along the trajectory, making the prediction less accurate and lack spatial consistency. In this paper, we propose a road network enhanced transformer-based framework, namely RNTrajRec, for trajectory recovery. RNTrajRec first uses a graph model, namely GridGNN, to learn the embedding features of each road segment. It next develops a spatial-temporal transformer model, namely GPSFormer, to learn rich spatial and temporal features along with a Sub-Graph Generation module to capture the spatial features for each GPS point in the trajectory. It finally forwards the outputs of encoder model into a multi-task decoder model to recover the missing GPS points. Extensive experiments based on three large-scale real-life trajectory datasets confirm the effectiveness of our approach.
translated by 谷歌翻译
Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.
translated by 谷歌翻译