IARAI竞争交通4播2021旨在预测以前获得的静态和动态交通信息的短期城市广泛的高分辨率交通状态。目的是建立一种机器学习模型，用于使用历史数据点预测多个大型城市的归一化平均交通速度和流量。该模型应该是通用的，以便它可以应用于新城市。通过考虑时空特色的学习和建模效率，我们探索3Dresnet和稀疏的杂志，在这场比赛中的任务。基于3DRESNet的模型使用3D卷积来学习时空特征，并施加顺序卷积层以增强输出的时间关系。稀疏 - unet模型使用稀疏卷曲作为用于时空特征学习的骨干。由于后一种算法主要关注输入的非零数据点，因此它显着降低了计算时间，同时保持了竞争精度。我们的研究结果表明，两个建议的模型比基线算法实现了更好的性能。代码和预磨料模型可在https://github.com/resuly/traffic4cast-2021获得。

深度神经网络在短期交通预测中表现出卓越的性能。然而，大多数现有的流量预测系统假设培训和测试数据是从相同的底层分布中汲取，这限制了它们的实际适用性。Neurips 2021 Traffic4cast挑战是专门用于基准测试空间和时间在域移位的流量预测模型的稳健性的首先。本技术报告描述了我们对此挑战的解决方案。特别是，我们为交通预测模型的时间和时空域改编提供了一个多任务学习框架。实验结果表明，我们的多任务学习方法实现了强大的经验性能，优于许多基线域适应方法，同时仍然高效。此技术报告的源代码可在https://github.com/yichaolu/traffic4cast2021获得。

在这个技术报告中，我们提出我们的解决Traffic4Cast2021核心挑战，其中参与者被要求开发算法用于预测交通状况提前60分钟，根据来自前一小时的信息，在4个不同的城市。相较于先前举行的比赛，今年的挑战集中在交通时间域偏移由于COVID-19大流行。继掌中的过去的成功，我们利用它来预测未来的交通地图。此外，我们将探讨预先训练的编码器，如DenseNet和EfficientNet，并采用多域自适应技术的使用打域转变。我们的解决方案在最后的竞争中排在第三位。该代码可在https://github.com/jbr-ai-labs/traffic4cast-2021。

交通速度预测是许多有价值应用程序的关键，由于其各种影响因素，它也是一项具有挑战性的任务。最近的工作试图通过各种混合模型获得更多信息，从而提高了预测准确性。但是，这些方法的空间信息采集方案存在两级分化问题。建模很简单，但包含很少的空间信息，或者建模是完整的，但缺乏灵活性。为了基于确保灵活性引入更多空间信息，本文提出了IRNET（可转让的交叉点重建网络）。首先，本文将相交重建为与相同结构的虚拟交集，从而简化了道路网络的拓扑结构。然后，将空间信息细分为交叉信息和交通流向的序列信息，并通过各种模型获得时空特征。第三，一种自我发项机制用于融合时空特征以进行预测。在与基线的比较实验中，不仅预测效应，而且转移性能具有明显的优势。

准确的交通预测是使流量管理等流量管理的关键要素，例如重新路由汽车减少道路拥堵或通过动态速度限制来调节流量以保持稳定的流量。表示流量数据的一种方法是以时间更改的热图可视化流量的属性（例如速度和音量）的形式。在最近的作品中，U-NET模型在热图预测的交通预测上显示了SOTA性能。我们建议将U-NET体系结构与图层相结合，该层面可以改善与香草U-NET相比，将空间概括到看不见的道路网络。特别是，我们专门将现有的图形操作对地理拓扑敏感，并概括合并和升级操作以适用于图形。

流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化，合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外，清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估（DL -STFEE）模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的，并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵，空间特征组合被融合和评估，以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验，以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。

最近，深度学习方法在交通预测方面取得了长足的进步，但它们的性能取决于大量的历史数据。实际上，我们可能会面临数据稀缺问题。在这种情况下，深度学习模型无法获得令人满意的性能。转移学习是解决数据稀缺问题的一种有前途的方法。但是，流量预测中现有的转移学习方法主要基于常规网格数据，这不适用于流量网络中固有的图形数据。此外，现有的基于图的模型只能在道路网络中捕获共享的流量模式，以及如何学习节点特定模式也是一个挑战。在本文中，我们提出了一种新颖的传输学习方法来解决流量预测，几乎可以将知识从数据富的源域转移到数据范围的目标域。首先，提出了一个空间图形神经网络，该网络可以捕获不同道路网络的节点特异性时空交通模式。然后，为了提高转移的鲁棒性，我们设计了一种基于模式的转移策略，我们利用基于聚类的机制来提炼源域中的常见时空模式，并使用这些知识进一步提高了预测性能目标域。现实世界数据集的实验验证了我们方法的有效性。

Deep learning approaches for spatio-temporal prediction problems such as crowd-flow prediction assumes data to be of fixed and regular shaped tensor and face challenges of handling irregular, sparse data tensor. This poses limitations in use-case scenarios such as predicting visit counts of individuals' for a given spatial area at a particular temporal resolution using raster/image format representation of the geographical region, since the movement patterns of an individual can be largely restricted and localized to a certain part of the raster. Additionally, current deep-learning approaches for solving such problem doesn't account for the geographical awareness of a region while modelling the spatio-temporal movement patterns of an individual. To address these limitations, there is a need to develop a novel strategy and modeling approach that can handle both sparse, irregular data while incorporating geo-awareness in the model. In this paper, we make use of quadtree as the data structure for representing the image and introduce a novel geo-aware enabled deep learning layer, GA-ConvLSTM that performs the convolution operation based on a novel geo-aware module based on quadtree data structure for incorporating spatial dependencies while maintaining the recurrent mechanism for accounting for temporal dependencies. We present this approach in the context of the problem of predicting spatial behaviors of an individual (e.g., frequent visits to specific locations) through deep-learning based predictive model, GADST-Predict. Experimental results on two GPS based trace data shows that the proposed method is effective in handling frequency visits over different use-cases with considerable high accuracy.

As ride-hailing services become increasingly popular, being able to accurately predict demand for such services can help operators efficiently allocate drivers to customers, and reduce idle time, improve congestion, and enhance the passenger experience. This paper proposes UberNet, a deep learning Convolutional Neural Network for short-term prediction of demand for ride-hailing services. UberNet empploys a multivariate framework that utilises a number of temporal and spatial features that have been found in the literature to explain demand for ride-hailing services. The proposed model includes two sub-networks that aim to encode the source series of various features and decode the predicting series, respectively. To assess the performance and effectiveness of UberNet, we use 9 months of Uber pickup data in 2014 and 28 spatial and temporal features from New York City. By comparing the performance of UberNet with several other approaches, we show that the prediction quality of the model is highly competitive. Further, Ubernet's prediction performance is better when using economic, social and built environment features. This suggests that Ubernet is more naturally suited to including complex motivators in making real-time passenger demand predictions for ride-hailing services.

近年来，图形神经网络（GNN）与复发性神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于流量预测，GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构，以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性，以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列，并随着编码层的增量增加，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同，城市路段是循环的，其特征是复杂的空间依赖性。与基线方法相比，一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7％以上，同时将计算资源要求提高了一半以上竞争方法。

准确的实时流量预测对于智能运输系统（ITS）至关重要，它是各种智能移动应用程序的基石。尽管该研究领域以深度学习为主，但最近的研究表明，开发新模型结构的准确性提高正变得边缘。取而代之的是，我们设想可以通过在具有不同数据分布和网络拓扑的城市之间转移“与预测相关的知识”来实现改进。为此，本文旨在提出一个新型的可转移流量预测框架：域对抗空间 - 颞网（DASTNET）。 Dastnet已在多个源网络上进行了预训练，并通过目标网络的流量数据进行了微调。具体而言，我们利用图表表示学习和对抗域的适应技术来学习域不变的节点嵌入，这些嵌入式嵌入将进一步合并以建模时间流量数据。据我们所知，我们是第一个使用对抗性多域改编来解决网络范围的流量预测问题的人。 Dastnet始终优于三个基准数据集上的所有最新基线方法。训练有素的dastnet应用于香港的新交通探测器，并且在可用的探测器可用时（一天之内）可以立即（在一天之内）提供准确的交通预测。总体而言，这项研究提出了一种增强交通预测方法的替代方法，并为缺乏历史流量数据的城市提供了实际含义。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

能量供应和需求受到气象条件的影响。随着对可再生能源的需求增加，精确天气预报的相关性增加。能源提供者和决策者要求天气信息进行明智的选择，并根据业务目标建立最佳计划。由于最近应用于卫星图像的深度学习技术，使用遥感数据的天气预报也是主要进步的主题。本文通过基于U-Net的架构调查了荷兰沿海海洋元素的多个步骤框架预测。来自哥白尼观察计划的每小时数据在2年内跨过跨越2年的时间，用于培训模型并进行预测，包括季节性预测。我们提出了U-Net架构的变化，并使用剩余连接，并行卷积和不对称卷积进一步扩展了这一新颖模型，以便引入三种额外的架构。特别是，我们表明，配备有平行和不对称卷积的架构以及跳过连接优于其他三个讨论的模型。

Traffic state prediction in a transportation network is paramount for effective traffic operations and management, as well as informed user and system-level decision-making. However, long-term traffic prediction (beyond 30 minutes into the future) remains challenging in current research. In this work, we integrate the spatio-temporal dependencies in the transportation network from network modeling, together with the graph convolutional network (GCN) and graph attention network (GAT). To further tackle the dramatic computation and memory cost caused by the giant model size (i.e., number of weights) caused by multiple cascaded layers, we propose sparse training to mitigate the training cost, while preserving the prediction accuracy. It is a process of training using a fixed number of nonzero weights in each layer in each iteration. We consider the problem of long-term traffic speed forecasting for a real large-scale transportation network data from the California Department of Transportation (Caltrans) Performance Measurement System (PeMS). Experimental results show that the proposed GCN-STGT and GAT-STGT models achieve low prediction errors on short-, mid- and long-term prediction horizons, of 15, 30 and 45 minutes in duration, respectively. Using our sparse training, we could train from scratch with high sparsity (e.g., up to 90%), equivalent to 10 times floating point operations per second (FLOPs) reduction on computational cost using the same epochs as dense training, and arrive at a model with very small accuracy loss compared with the original dense training

流量预测是智能交通系统中时空学习任务的规范示例。现有方法在图形卷积神经操作员中使用预定的矩阵捕获空间依赖性。但是，显式的图形结构损失了节点之间关系的一些隐藏表示形式。此外，传统的图形卷积神经操作员无法在图上汇总远程节点。为了克服这些限制，我们提出了一个新型的网络，空间 - 周期性自适应图卷积，并通过注意力网络（Staan）进行交通预测。首先，我们采用自适应依赖性矩阵，而不是在GCN处理过程中使用预定义的矩阵来推断节点之间的相互依存关系。其次，我们集成了基于图形注意力网络的PW注意，该图形是为全局依赖性设计的，而GCN作为空间块。更重要的是，在我们的时间块中采用了堆叠的散布的1D卷积，具有长期预测的效率，用于捕获不同的时间序列。我们在两个现实世界数据集上评估了我们的Staan，并且实验验证了我们的模型优于最先进的基线。

交通速度预测是运输系统中的核心问题之一。为了进行更准确的预测，最近的研究不仅开始使用时间速度模式，还开始使用图形卷积网络上的道路网络上的空间信息。即使由于其非欧亚人和方向性特征，道路网络非常复杂，但以前的方法主要集中于仅使用距离对空间依赖性进行建模。在本文中，我们确定了两个基本的预测中的基本空间依赖性，除了距离，方向和位置关系，以将基本的图形元素设计为基本构建块。我们建议使用构建块，建议DDP-GCN（距离，方向和位置关系图卷积网络）将三个空间关系纳入深神经网络。我们使用两个大型现实世界数据集评估了提出的模型，并在高度复杂的城市网络中找到了长期预测的积极改进。通勤时间的改进可能会更大，但也可以限制短期预测。

OD区域对之间的原点污染（OD）矩阵记录定向流数据。矩阵中复杂的时空依赖性使OD矩阵预测（ODMF）问题不仅可以棘手，而且是非平凡的。但是，大多数相关方法都是为在特定的应用程序方案中预测非常短的序列时间序列而设计的，在特定的应用程序场景中，该方法无法满足方案和预测实用应用长度的差异要求。为了解决这些问题，我们提出了一个名为Odformer的类似变压器的模型，具有两个显着特征：（i）新型的OD注意机制，该机制捕获了相同起源（目的地）之间的特殊空间依赖性，可大大提高与捕获OD区域之间空间依赖关系的2D-GCN结合后，预测交叉应用方案的模型。 （ii）一个时期的自我注意力，可以有效地预测长序列OD矩阵序列，同时适应不同情况下的周期性差异。在三个应用程序背景（即运输流量，IP骨干网络流量，人群流）中进行的慷慨实验表明，我们的方法的表现优于最新方法。

车辆到达时间预测已被广泛研究。随着物联网设备和深度学习技术的出现，估计的到达时间（ETA）已成为智能运输系统中的关键组成部分。尽管ETA存在许多工具，但由于特殊车辆的交通数据有限，ETA的特殊车辆（例如救护车，消防车等）仍然具有挑战性。现有作品使用一种模型用于所有类型的车辆，这可能会导致精确度较低。为了解决这个问题，作为该领域的第一个，我们为驾驶时间预测提出了一个深度转移学习框架TLETA。 TLETA构建了细胞时空知识网格，用于提取驾驶模式，并结合道路网络结构嵌入以构建ETA的深神经网络。 Tleta包含可转移的层，以支持不同类别的车辆之间的知识转移。重要的是，我们的转移模型仅训练最后一层以绘制转移的知识，从而大大减少了训练时间。实验研究表明，我们的模型以高精度预测旅行时间，并胜过许多最先进的方法。

Accurate spatial-temporal traffic flow forecasting is essential for helping traffic managers to take control measures and drivers to choose the optimal travel routes. Recently, graph convolutional networks (GCNs) have been widely used in traffic flow prediction owing to their powerful ability to capture spatial-temporal dependencies. The design of the spatial-temporal graph adjacency matrix is a key to the success of GCNs, and it is still an open question. This paper proposes reconstructing the binary adjacency matrix via tensor decomposition, and a traffic flow forecasting method is proposed. First, we reformulate the spatial-temporal fusion graph adjacency matrix into a three-way adjacency tensor. Then, we reconstructed the adjacency tensor via Tucker decomposition, wherein more informative and global spatial-temporal dependencies are encoded. Finally, a Spatial-temporal Synchronous Graph Convolutional module for localized spatial-temporal correlations learning and a Dilated Convolution module for global correlations learning are assembled to aggregate and learn the comprehensive spatial-temporal dependencies of the road network. Experimental results on four open-access datasets demonstrate that the proposed model outperforms state-of-the-art approaches in terms of the prediction performance and computational cost.

时空预测学习是通过历史先验知识来预测未来的框架变化。以前的工作通过使网络更广泛和更深入来改善性能，但这也带来了巨大的内存开销，这严重阻碍了技术的开发和应用。比例是提高普通计算机视觉任务中模型性能的另一个维度，这可以减少计算要求并更好地感知环境。最近的RNN模型尚未考虑和探索如此重要的维度。在本文中，我们从多尺度的好处中学习，我们提出了一个名为多尺度RNN（MS-RNN）的通用框架，以增强最近的RNN模型。我们通过在4个不同的数据集上使用6种流行的RNN模型（Convlstm，Trajgru，Predrnn，Prodrnn ++，MIM和MotionRNN）进行详尽的实验来验证MS-RNN框架。结果表明，将RNN模型纳入我们的框架的效率低得多，但性能比以前更好。我们的代码在\ url {https://github.com/mazhf/ms-rnn}上发布。