许多美国都市城市因严重缺乏停车位而臭名昭著。为此，我们提出了一个主动的预测驱动优化框架，以动态调整停车价格。我们使用最先进的深度学习技术，例如神经普通微分方程（节点）来设计我们未来的停车占用率预测模型，鉴于历史占用率和价格信息。由于节点的持续和射击特性，因此，我们设计了一种单次价格优化方法，给定预训练的预测模型，该模型只需要一个迭代才能找到最佳解决方案。换句话说，我们优化了预先训练的预测模型的价格输入，以实现停车位的目标占用率。我们对在旧金山和西雅图收集的数据进行了实验多年。与各种时间或时空预测模型相比，我们的预测模型显示出最佳准确性。我们的单发优化方法在搜索时间方面极大地优于其他黑框和白色框搜索方法，并且始终返回最佳价格解决方案。

在过去的几年里，通过微分方程激发的神经网络已经增殖。神经常规方程（节点）和神经控制微分方程（NCDE）是它们的两个代表性示例。理论上，NCDES提供比节点的时间序列数据更好的表示学习能力。特别地，已知NCDE适用于处理不规则的时间序列数据。然而，在采用关注之后，节点已成功扩展，但是尚未研究如何将注意力集成到NCDE中。为此，我们介绍了用于时间序列分类和预测的周度神经控制微分方程（ANCDES）的方法，其中使用了双nCDE：一个用于生成注意值，另一个用于改进下游机器学习任务的隐藏向量。我们用三个真实世界时间序列数据集和10个基线进行实验。丢弃一些值后，我们还进行不规则的时间序列实验。我们的方法一致地显示所有案例中的最佳准确性。我们的可视化还表明，通过专注于关键信息，所提出的注意机制如预期的工作。

交通预测是机器学习领域最受欢迎的时空任务之一。该领域的一种普遍方法是将图形卷积网络和经常性神经网络组合以进行时空处理。竞争激烈，提出了许多新的方法。在本文中，我们介绍了时空图神经控制微分方程（STG-NCDE）的方法。神经控制微分方程（NCDE）是用于处理顺序数据的突破性概念。我们扩展了概念和设计两个NCDES：一个用于时间处理，另一个用于空间处理。之后，我们将它们结合成一个框架。我们用6个基准数据集和20个基线进行实验。STG-NCDE在所有情况下显示最佳准确性，优于非琐碎的边缘的所有20个基线。

受微分方程式启发的深度学习是最近的研究趋势，它标志着许多机器学习任务的最先进的表现。其中，具有神经控制的微分方程（NCDE）的时间序列建模被认为是突破。在许多情况下，基于NCDE的模型不仅比复发性神经网络（RNN）提供了更好的准确性，而且还可以处理不规则的时间序列。在这项工作中，我们通过重新设计其核心部分，即从离散的时间序列输入产生连续路径来增强NCDES。 NCDE通常使用插值算法将离散的时间序列样本转换为连续路径。但是，我们向i）提出建议，使用编码器解码器体系结构生成另一个潜在的连续路径，该架构对应于NCDE的插值过程，即我们的基于神经网络的插值与现有的显式插值相对于现有的显式插值以及II）解码器的外推超出了原始数据的时域的外推。因此，我们的NCDE设计可以同时使用插值和外推信息进行下游机器学习任务。在我们使用5个现实世界数据集和12个基线的实验中，我们的外推和基于插值的NCDES超过了非平凡的边缘的现有基线。

由于深层学习技术的显着发展，有一系列努力建立基于深入的学习的气候模型。然而，其中大多数利用经常性的神经网络和/或图形神经网络，我们设计了一种基于两个概念，神经常规差分方程（节点）和扩散方程的新型气候模型。可以通过扩散方程描述涉及棕色运动的许多物理过程，结果是广泛用于建模气候。另一方面，神经常规差分方程（节点）是学习来自数据的颂歌的潜在管理方程。在我们提出的方法中，我们将它们与一个框架相结合，并提出了一种称为神经扩散方程（NDE）的概念。我们的NDE配备了扩散方程和一个更额外的神经网络来模拟固有的不确定性，可以学习最能描述给定的气候数据集的适当潜在的控制方程。在我们用两个现实世界和一个合成数据集和11个基线的实验中，我们的方法始终如一地通过非琐碎的边缘地表达现有的基线。

Recommender systems are a long-standing research problem in data mining and machine learning. They are incremental in nature, as new user-item interaction logs arrive. In real-world applications, we need to periodically train a collaborative filtering algorithm to extract user/item embedding vectors and therefore, a time-series of embedding vectors can be naturally defined. We present a time-series forecasting-based upgrade kit (TimeKit), which works in the following way: it i) first decides a base collaborative filtering algorithm, ii) extracts user/item embedding vectors with the base algorithm from user-item interaction logs incrementally, e.g., every month, iii) trains our time-series forecasting model with the extracted time- series of embedding vectors, and then iv) forecasts the future embedding vectors and recommend with their dot-product scores owing to a recent breakthrough in processing complicated time- series data, i.e., neural controlled differential equations (NCDEs). Our experiments with four real-world benchmark datasets show that the proposed time-series forecasting-based upgrade kit can significantly enhance existing popular collaborative filtering algorithms.

由于运输网络中复杂的时空依赖性，准确的交通预测是智能运输系统中一项艰巨的任务。许多现有的作品利用复杂的时间建模方法与图形卷积网络（GCN）合并，以捕获短期和长期时空依赖性。但是，这些具有复杂设计的分离模块可以限制时空表示学习的有效性和效率。此外，大多数以前的作品都采用固定的图形构造方法来表征全局时空关系，这限制了模型在不同时间段甚至不同的数据方案中的学习能力。为了克服这些局限性，我们提出了一个自动扩张的时空同步图网络，称为Auto-DSTSGN用于流量预测。具体而言，我们设计了自动扩张的时空同步图（自动-DSTSG）模块，以捕获短期和长期时空相关性，通过在增加顺序的扩张因子中堆叠更深的层。此外，我们提出了一种图形结构搜索方法，以自动构建可以适应不同数据方案的时空同步图。在四个现实世界数据集上进行的广泛实验表明，与最先进的方法相比，我们的模型可以取得约10％的改善。源代码可在https://github.com/jinguangyin/auto-dstsgn上找到。

如今，为了改善服务和城市地区的宜居性，全世界正在进行多个智能城市计划。 SmartSantander是西班牙桑坦德市的一个智能城市项目，该项目依靠无线传感器网络技术在城市内部部署异质传感器，以测量多个参数，包括户外停车信息。在本文中，我们使用SmartSantander的300多个户外停车传感器的历史数据研究了停车场可用性的预测。我们设计了一个图形模型，以捕获停车场的定期波动和地理位置。为了开发和评估我们的模型，我们使用了桑坦德市的3年停车场可用性数据集。与现有的序列到序列模型相比，我们的模型具有很高的精度，该模型足够准确，可以在城市提供停车信息服务。我们将模型应用于智能手机应用程序，以被公民和游客广泛使用。

交通预测对于新时代智能城市的交通建设至关重要。但是，流量数据的复杂空间和时间依赖性使流量预测极具挑战性。大多数现有的流量预测方法都依赖于预定义的邻接矩阵来对时空依赖性建模。但是，道路交通状态是高度实时的，因此邻接矩阵应随着时间的推移而动态变化。本文介绍了一个新的多空间融合图复发网络（MSTFGRN），以解决上述问题。该网络提出了一种数据驱动的加权邻接矩阵生成方法，以补偿预定义的邻接矩阵未反映的实时空间依赖性。它还通过在不同矩的平行时空关系上执行新的双向时空融合操作来有效地学习隐藏的时空依赖性。最后，通过将全局注意机制集成到时空融合模块中，同时捕获了全局时空依赖性。对四个大型现实世界流量数据集进行的广泛试验表明，与替代基线相比，我们的方法实现了最先进的性能。

交通流量预测是智能运输系统的重要组成部分，从而受到了研究人员的关注。但是，交通道路之间的复杂空间和时间依赖性使交通流量的预测具有挑战性。现有方法通常是基于图形神经网络，使用交通网络的预定义空间邻接图来建模空间依赖性，而忽略了道路节点之间关系的动态相关性。此外，他们通常使用独立的时空组件来捕获时空依赖性，并且不会有效地对全局时空依赖性进行建模。本文提出了一个新的时空因果图形注意网络（STCGAT），以解决上述挑战。在STCGAT中，我们使用一种节点嵌入方法，可以在每个时间步骤中自适应生成空间邻接子图，而无需先验地理知识和对不同时间步骤动态生成图的拓扑的精细颗粒建模。同时，我们提出了一个有效的因果时间相关成分，其中包含节点自适应学习，图形卷积以及局部和全局因果关系卷积模块，以共同学习局部和全局时空依赖性。在四个真正的大型流量数据集上进行的广泛实验表明，我们的模型始终优于所有基线模型。

近年来，图形神经网络（GNN）与复发性神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于流量预测，GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构，以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性，以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列，并随着编码层的增量增加，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同，城市路段是循环的，其特征是复杂的空间依赖性。与基线方法相比，一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7％以上，同时将计算资源要求提高了一半以上竞争方法。

由于流量大数据的增加，交通预测逐渐引起了研究人员的注意力。因此，如何在交通数据中挖掘复杂的时空相关性以预测交通状况更准确地成为难题。以前的作品组合图形卷积网络（GCNS）和具有深度序列模型的自我关注机制（例如，复发性神经网络），分别捕获时空相关性，忽略时间和空间的关系。此外，GCNS受到过平滑问题的限制，自我关注受到二次问题的限制，导致GCN缺乏全局代表能力，自我注意力效率低下捕获全球空间依赖性。在本文中，我们提出了一种新颖的交通预测深入学习模型，命名为多语境意识的时空关节线性关注（STJLA），其对时空关节图应用线性关注以捕获所有时空之间的全球依赖性节点有效。更具体地，STJLA利用静态结构上下文和动态语义上下文来提高模型性能。基于Node2VEC和单热编码的静态结构上下文丰富了时空位置信息。此外，基于多头扩散卷积网络的动态空间上下文增强了局部空间感知能力，并且基于GRU的动态时间上下文分别稳定了线性关注的序列位置信息。在两个现实世界交通数据集，英格兰和PEMSD7上的实验表明，我们的Stjla可以获得高达9.83％和3.08％，在最先进的基线上的衡量标准的准确性提高。

虽然外源变量对时间序列分析的性能改善有重大影响，但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程（PDE）进行建模，这些方程（PDE）在科学和工程的许多学科中都起着重要作用。在本文中，我们提出了一个任意步骤预测的连续时间模型，以学习多元时间序列中的未知PDE系统，其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是，使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程（ODE）问题，这使得可以触犯的PDE问题以获得数值解决方案，并且可行，以预测目标序列的多个未来值。广泛的实验表明，我们提出的模型可以在强大的基准中实现竞争精度：平均而言，它通过降低RMSE的$ 9.85 \％$和MAE的MAE $ 13.98 \％$的基线表现优于最佳基准，以获得任意步骤预测的MAE $。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型，但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势，科学家和经济学家倾向于使用部分微分方程（PDE）来解释顺序模式的高度非线性动力学。但是，它通常需要领域专家知识和一系列简化的假设，这些假设并不总是实用的，并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态？在这项工作中，我们提出了一个学习框架，该框架可以自动从顺序数据中获取可解释的PDE模型。特别是，该框架由可学习的差分块组成，称为$ p $ blocks，事实证明，该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外，为了捕获动力学变化，该框架引入了元学习控制器，以动态优化混合PDE模型的超参数。 《时代》系列预测金融，工程和健康数据的广泛实验表明，我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中，我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。

电价是影响所有市场参与者决策的关键因素。准确的电价预测非常重要，并且由于各种因素，电价高度挥发性，电价也非常具有挑战性。本文提出了一项综合的长期经常性卷积网络（ILRCN）模型，以预测考虑到市场价格的大多数贡献属性的电力价格。所提出的ILRCN模型将卷积神经网络和长短期记忆（LSTM）算法的功能与所提出的新颖的条件纠错项相结合。组合的ILRCN模型可以识别输入数据内的线性和非线性行为。我们使用鄂尔顿批发市场价格数据以及负载型材，温度和其他因素来说明所提出的模型。使用平均绝对误差和准确性等性能/评估度量来验证所提出的ILRCN电价预测模型的性能。案例研究表明，与支持向量机（SVM）模型，完全连接的神经网络模型，LSTM模型和LRCN模型，所提出的ILRCN模型在电价预测中是准确和有效的电力价格预测。

使用图形卷积网络（GCN）构建时空网络已成为预测交通信号的最流行方法之一。但是，当使用GCN进行交通速度预测时，常规方法通常将传感器之间的关系作为均匀图，并使用传感器累积的数据来学习邻接矩阵。但是，传感器之间的空间相关性并未指定为一个，而是从各种观点方面定义不同。为此，我们旨在研究流量信号数据中固有的异质特征，以以各种方式学习传感器之间的隐藏关系。具体而言，我们设计了一种方法来通过将传感器之间的空间关系分为静态和动态模块来构造每个模块的异质图。我们提出了一个基于网络分散注意力的基于异质性 - 感知图形卷积网络（HAGCN）方法，该方法通过在异质图中考虑每个通道的重要性来汇总相邻节点的隐藏状态。实际流量数据集的实验结果验证了所提出的方法的有效性，比现有模型取得了6.35％的改善，并实现了最先进的预测性能。

需求估计在动态定价中起着重要的作用，在动态定价中，可以通过基于需求曲线最大化收入来获得最佳价格。在在线酒店预订平台中，房间的需求或占用率随着房间类型而变化，随着时间的推移变化，因此获得准确的占用估算是一项挑战。在本文中，我们提出了一种新颖的酒店需求功能，该功能明确地模拟了对占用预测需求需求的价格弹性，并设计了价格弹性预测模型，以了解各种影响因素的动态价格弹性系数。我们的模型由精心设计的弹性学习模块组成，以减轻内生性问题，并在多任务框架中接受培训以解决数据稀疏性。我们在现实世界数据集上进行了全面的实验，并验证方法优于最先进的基准，以实现占用预测和动态定价。

制定准确的旅游预测模型对于为旅游管理做出理想的政策决策至关重要。早期研究旅游管理专注于发现与旅游需求相关的外部因素。最近的研究利用深度学习随需需求预测以及这些外部因素。它们主要使用递归神经网络模型，例如LSTM和RNN的框架。然而，这些模型不适合用于预测旅游需求。这是因为旅游需求受到各种外部因素变化的强烈影响，递归神经网络模型在处理这些多变量输入方面具有限制。我们提出了一种多主题CNN模型（MHAC），用于解决这些限制。 MHAC使用1D卷积神经网络来分析时间模式和注意机制，以反映输入变量之间的相关性。该模型可以从各种变量的时间序列数据中提取空间特征。我们通过考虑韩国文化的政治，疾病，季节和吸引力等外部因素，应用我们的预测框架来预测韩国的入境旅游变化。广泛实验的性能结果表明，我们的方法优于韩国旅游预测的其他基于深受学习的预测框架。

我们都取决于流动性，车辆运输会影响我们大多数人的日常生活。因此，预测道路网络中流量状态的能力是一项重要的功能和具有挑战性的任务。流量数据通常是从部署在道路网络中的传感器获得的。关于时空图神经网络的最新建议通过将流量数据建模为扩散过程，在交通数据中建模复杂的时空相关性方面取得了巨大进展。但是，直观地，流量数据包含两种不同类型的隐藏时间序列信号，即扩散信号和固有信号。不幸的是，几乎所有以前的作品都将交通信号完全视为扩散的结果，同时忽略了固有的信号，这会对模型性能产生负面影响。为了提高建模性能，我们提出了一种新型的脱钩时空框架（DSTF），该框架以数据驱动的方式将扩散和固有的交通信息分开，其中包含独特的估计门和残差分解机制。分离的信号随后可以通过扩散和固有模块分别处理。此外，我们提出了DSTF的实例化，分离的动态时空图神经网络（D2STGNN），可捕获时空相关性，还具有动态图学习模块，该模块针对学习流量网络动态特征的学习。使用四个现实世界流量数据集进行的广泛实验表明，该框架能够推进最先进的框架。