虽然外源变量对时间序列分析的性能改善有重大影响，但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程（PDE）进行建模，这些方程（PDE）在科学和工程的许多学科中都起着重要作用。在本文中，我们提出了一个任意步骤预测的连续时间模型，以学习多元时间序列中的未知PDE系统，其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是，使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程（ODE）问题，这使得可以触犯的PDE问题以获得数值解决方案，并且可行，以预测目标序列的多个未来值。广泛的实验表明，我们提出的模型可以在强大的基准中实现竞争精度：平均而言，它通过降低RMSE的$ 9.85 \％$和MAE的MAE $ 13.98 \％$的基线表现优于最佳基准，以获得任意步骤预测的MAE $。

来自数据的顺序模式是各种时间序列预测任务的核心。深度学习模型大大优于许多传统模型，但是这些黑框模型通常缺乏预测和决策的解释性。为了揭示具有可理解的数学表达式的潜在趋势，科学家和经济学家倾向于使用部分微分方程（PDE）来解释顺序模式的高度非线性动力学。但是，它通常需要领域专家知识和一系列简化的假设，这些假设并不总是实用的，并且可能偏离不断变化的世界。是否可以动态地学习与数据的差异关系以解释时间不断发展的动态？在这项工作中，我们提出了一个学习框架，该框架可以自动从顺序数据中获取可解释的PDE模型。特别是，该框架由可学习的差分块组成，称为$ p $ blocks，事实证明，该框架能够近似于理论上随着时间不断变化的复杂连续功能。此外，为了捕获动力学变化，该框架引入了元学习控制器，以动态优化混合PDE模型的超参数。 《时代》系列预测金融，工程和健康数据的广泛实验表明，我们的模型可以提供有价值的解释性并实现与最先进模型相当的性能。从经验研究中，我们发现学习一些差异操作员可能会捕获无需大量计算复杂性的顺序动力学的主要趋势。

Ordinary Differential Equations (ODE)-based models have become popular foundation models to solve many time-series problems. Combining neural ODEs with traditional RNN models has provided the best representation for irregular time series. However, ODE-based models require the trajectory of hidden states to be defined based on the initial observed value or the last available observation. This fact raises questions about how long the generated hidden state is sufficient and whether it is effective when long sequences are used instead of the typically used shorter sequences. In this article, we introduce CrossPyramid, a novel ODE-based model that aims to enhance the generalizability of sequences representation. CrossPyramid does not rely only on the hidden state from the last observed value; it also considers ODE latent representations learned from other samples. The main idea of our proposed model is to define the hidden state for the unobserved values based on the non-linear correlation between samples. Accordingly, CrossPyramid is built with three distinctive parts: (1) ODE Auto-Encoder to learn the best data representation. (2) Pyramidal attention method to categorize the learned representations (hidden state) based on the relationship characteristics between samples. (3) Cross-level ODE-RNN to integrate the previously learned information and provide the final latent state for each sample. Through extensive experiments on partially-observed synthetic and real-world datasets, we show that the proposed architecture can effectively model the long gaps in intermittent series and outperforms state-of-the-art approaches. The results show an average improvement of 10\% on univariate and multivariate datasets for both forecasting and classification tasks.

随着现代深层学习技术的快速发展，动态系统和神经网络的研究越来越多地利用了很多不同的方式。由于在现实世界观察中经常出现不确定性，因此SDES（随机微分方程）来发挥重要作用。更具体地，在本文中，我们使用配备神经网络的SDE集合来预测具有大跳跃性能和高概率分布偏移的嘈杂时间序列的长期趋势。我们的贡献是，首先，我们使用相位空间重建方法来提取时间序列数据的内在尺寸，以确定我们预测模型的输入结构。其次，我们探索由$ \ alpha $ -stable l \'evy motion驱动的SDE来模拟时间序列数据，通过神经网络近似来解决问题。第三，我们构建了达到多时间步长预测的注意机制。最后，我们通过将其应用于股票营销时间序列预测并显示结果优于几个基线深度学习模型来说明我们的方法。

Recurrent neural networks (RNNs) have brought a lot of advancements in sequence labeling tasks and sequence data. However, their effectiveness is limited when the observations in the sequence are irregularly sampled, where the observations arrive at irregular time intervals. To address this, continuous time variants of the RNNs were introduced based on neural ordinary differential equations (NODE). They learn a better representation of the data using the continuous transformation of hidden states over time, taking into account the time interval between the observations. However, they are still limited in their capability as they use the discrete transformations and a fixed discrete number of layers (depth) over an input in the sequence to produce the output observation. We intend to address this limitation by proposing RNNs based on differential equations which model continuous transformations over both depth and time to predict an output for a given input in the sequence. Specifically, we propose continuous depth recurrent neural differential equations (CDR-NDE) which generalizes RNN models by continuously evolving the hidden states in both the temporal and depth dimensions. CDR-NDE considers two separate differential equations over each of these dimensions and models the evolution in the temporal and depth directions alternatively. We also propose the CDR-NDE-heat model based on partial differential equations which treats the computation of hidden states as solving a heat equation over time. We demonstrate the effectiveness of the proposed models by comparing against the state-of-the-art RNN models on real world sequence labeling problems and data.

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

由于非平稳性，现实世界多变量时间序列（MTS）的分布会随着时间而变化，称为分布漂移。大多数现有的MT预测模型都会极大地遭受分销漂移的影响，并随着时间的推移降低了预测性能。现有方法通过适应最新到达数据或根据未来数据得出的元知识进行自我纠正来解决分布漂移。尽管在MT的预测中取得了巨大的成功，但这些方法几乎无法捕获固有的分布变化，尤其是从分布的角度来看。因此，我们提出了一个新型的框架时间条件变化自动编码器（TCVAE），以对MTS中历史观察结果和未来数据之间的动态分布依赖性进行建模，并将依赖性作为时间条件分布推断为利用潜在变量。具体而言，新型的颞鹰注意机制代表了随后馈入馈送前网络的时间因素，以估计潜在变量的先前高斯分布。时间因素的表示进一步动态地调整了基于变压器的编码器和解码器的结构，以利用门控注意机制来变化。此外，我们引入条件连续归一化流量，以将先前的高斯转化为复杂且无形式的分布，以促进对时间条件分布的灵活推断。在六个现实世界MTS数据集上进行的广泛实验表明，与最先进的MTS预测基线相比，TCVAE的出色鲁棒性和有效性。我们进一步说明了TCVAE通过多方面的案例研究和现实情况下的可视化来说明TCVAE的适用性。

高性能的交通流量预测模型设计是一种智能运输系统的核心技术，是工业和学术社区的长期挑战，但仍然具有挑战性。物理原理和数据驱动模型之间缺乏整合是限制该领域发展的重要原因。在文献中，基于物理学的方法通常可以清楚地解释交通流系统的动态过程，但准确性有限，而数据驱动的方法，尤其是使用黑色盒子结构的深度学习，可以提高性能，但不能由于缺乏合理的身体依据，因此要完全信任。为了弥合纯粹数据驱动和物理驱动的方法之间的差距，我们提出了一个物理学引导的深度学习模型，名为时空微分方程网络（STDEN），该模型将交通流动器的物理机理投入到深度神经网络框架中。具体而言，我们假设道路网络上的交通流量是由潜在势能场驱动的（例如水流是由重力场驱动的），并将势能场的时空动态过程作为微分方程网络进行建模。 Stden吸收了数据驱动模型的性能优势和基于物理模型的可解释性，因此被命名为物理指导的预测模型。北京三个现实世界流量数据集的实验表明，我们的模型的表现优于最先进的基线。案例研究进一步验证了stden可以捕获城市交通机制，并具有物理含义的准确预测。提出的微分方程网络建模的框架也可能会阐明其他类似的应用程序。

对传染病疾病的准确预测是有效控制该地区流行病的关键。大多数现有方法忽略了区域之间的潜在动态依赖性或区域之间的时间依赖性和相互依存关系的重要性。在本文中，我们提出了一个内部和内部嵌入式融合网络（SEFNET），以改善流行病预测性能。 SEFNET由两个平行模块组成，分别是嵌入模块的系列间嵌入模块。在嵌入模块的串间嵌入模块中，提出了一个多尺度的统一卷积组件，称为“区域感知卷积”，该组件与自我发挥作用，以捕获从多个区域获得的时间序列之间捕获动态依赖性。内部嵌入模块使用长期的短期内存来捕获每个时间序列中的时间关系。随后，我们学习了两个嵌入的影响度，并将它们与参数矩阵融合法融合在一起。为了进一步提高鲁棒性，Sefnet还与非线性神经网络并行整合了传统的自回归组件。在四个现实世界流行有关的数据集上进行的实验表明，SEFNET具有有效性，并且表现优于最先进的基线。

大多数机器学习方法都用作建模的黑匣子。我们可能会尝试从基于物理学的训练方法中提取一些知识，例如神经颂（普通微分方程）。神经ODE具有可能具有更高类的代表功能的优势，与黑盒机器学习模型相比，扩展的可解释性，描述趋势和局部行为的能力。这种优势对于具有复杂趋势的时间序列尤其重要。但是，已知的缺点是与自回归模型和长期术语内存（LSTM）网络相比，广泛用于数据驱动的时间序列建模的高训练时间。因此，我们应该能够平衡可解释性和训练时间，以在实践中应用神经颂歌。该论文表明，现代神经颂歌不能简化为时间序列建模应用程序的模型。将神经ODE的复杂性与传统的时间序列建模工具进行比较。唯一可以提取的解释是操作员的特征空间，这对于大型系统来说是一个不适的问题。可以使用不同的经典分析方法提取光谱，这些方法没有延长时间的缺点。因此，我们将神经ODE缩小为更简单的线性形式，并使用合并的神经网络和ODE系统方法对时间序列建模进行了新的视图。

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

由于深层学习技术的显着发展，有一系列努力建立基于深入的学习的气候模型。然而，其中大多数利用经常性的神经网络和/或图形神经网络，我们设计了一种基于两个概念，神经常规差分方程（节点）和扩散方程的新型气候模型。可以通过扩散方程描述涉及棕色运动的许多物理过程，结果是广泛用于建模气候。另一方面，神经常规差分方程（节点）是学习来自数据的颂歌的潜在管理方程。在我们提出的方法中，我们将它们与一个框架相结合，并提出了一种称为神经扩散方程（NDE）的概念。我们的NDE配备了扩散方程和一个更额外的神经网络来模拟固有的不确定性，可以学习最能描述给定的气候数据集的适当潜在的控制方程。在我们用两个现实世界和一个合成数据集和11个基线的实验中，我们的方法始终如一地通过非琐碎的边缘地表达现有的基线。

Multivariate time series forecasting constitutes important functionality in cyber-physical systems, whose prediction accuracy can be improved significantly by capturing temporal and multivariate correlations among multiple time series. State-of-the-art deep learning methods fail to construct models for full time series because model complexity grows exponentially with time series length. Rather, these methods construct local temporal and multivariate correlations within subsequences, but fail to capture correlations among subsequences, which significantly affect their forecasting accuracy. To capture the temporal and multivariate correlations among subsequences, we design a pattern discovery model, that constructs correlations via diverse pattern functions. While the traditional pattern discovery method uses shared and fixed pattern functions that ignore the diversity across time series. We propose a novel pattern discovery method that can automatically capture diverse and complex time series patterns. We also propose a learnable correlation matrix, that enables the model to capture distinct correlations among multiple time series. Extensive experiments show that our model achieves state-of-the-art prediction accuracy.

由于在许多领域的无与伦比的成功，例如计算机视觉，自然语言处理，推荐系统以及最近在模拟多物理问题和预测非线性动力学系统方面，深度学习引起了人们的关注。但是，建模和预测混乱系统的动态仍然是一个开放的研究问题，因为训练深度学习模型需要大数据，在许多情况下，这并不总是可用的。可以通过从模拟结果获得的其他信息以及执行混乱系统的物理定律来培训这样的深度学习者。本文考虑了极端事件及其动态，并提出了基于深层神经网络的优雅模型，称为基于知识的深度学习（KDL）。我们提出的KDL可以通过直接从动力学及其微分方程中对真实和模拟数据进行联合培训来学习控制混乱系统的复杂模式。这些知识被转移到模型和预测现实世界中的混乱事件，表现出极端行为。我们通过在三个实际基准数据集上进行评估来验证模型的效率：El Nino海面温度，San Juan登革热病毒感染和BJ {\ o} rn {\ o} ya每日降水，所有这些都受极端事件的控制'动态。利用对极端事件和基于物理的损失功能的先验知识来领导神经网络学习，我们即使在小型数据制度中也可以确保身体一致，可推广和准确的预测。

大量量化在线用户活动数据，例如每周网络搜索量，这些数据与几个查询和位置的相互影响共同进化，是一个重要的社交传感器。通过从此类数据中发现潜在的相互作用，即每个查询之间的生态系统和每个区域之间的影响流，可以准确预测未来的活动。但是，就数据数量和涵盖动力学的复杂模式而言，这是一个困难的问题。为了解决这个问题，我们提出了FluxCube，这是一种有效的采矿方法，可预测大量共同发展的在线用户活动并提供良好的解释性。我们的模型是两个数学模型的组合的扩展：一个反应扩散系统为建模局部群体之间的影响流和生态系统建模的框架提供了一个模拟每个查询之间的潜在相互作用。同样，通过利用物理知识的神经网络的概念，FluxCube可以共同获得从参数和高预测性能获得的高解释性。在实际数据集上进行的广泛实验表明，从预测准确性方面，FluxCube优于可比较的模型，而FluxCube中的每个组件都会有助于增强性能。然后，我们展示了一些案例研究，即FluxCube可以在查询和区域组之间提取有用的潜在相互作用。

时间序列数据在现实世界应用中无处不在。但是，最常见的问题之一是，时间序列数据可能会通过数据收集过程的固有性质丢失值。因此，必须从多元（相关）时间序列数据中推出缺失值，这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果，但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中，我们提出了一种用于多变量时间序列数据的新型插补方法，称为sting（使用GAN基于自我注意的时间序列插补网络）。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外，我们引入了一种新型的注意机制，以捕获整个序列的加权相关性，并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明，刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。

使用变压器的深度学习最近在许多重要领域取得了很大的成功，例如自然语言处理，计算机视觉，异常检测和推荐系统等。在变压器的几种优点中，对于时间序列预测，捕获远程时间依赖性和相互作用的能力是可取的，从而导致其在各种时间序列应用中的进步。在本文中，我们为非平稳时间序列构建了变压器模型。这个问题具有挑战性，但至关重要。我们为基于小波的变压器编码器体系结构提供了一个新颖的单变量时间序列表示学习框架，并将其称为W-Transformer。所提出的W-Transformer使用最大重叠离散小波转换（MODWT）到时间序列数据，并在分解数据集上构建本地变压器，以生动地捕获时间序列中的非机构性和远程非线性依赖性。在来自各个领域的几个公共基准时间序列数据集和具有不同特征的几个公开基准时间序列数据集上评估我们的框架，我们证明它的平均表现明显优于短期和长期预测的基线预报器，即使是由包含的数据集组成的数据集只有几百个培训样本。

多元时间序列预测已在各种领域（包括金融，交通，能源和医疗保健）中广泛范围的应用程序。为了捕获复杂的时间模式，大量研究设计了基于RNN，GNN和Transformers的许多变体的复杂神经网络体系结构。但是，复杂的模型在计算上通常是昂贵的，因此当应用于大型现实世界数据集时，在训练和推理效率方面面临严重的挑战。在本文中，我们介绍了Lightts，这是一种基于简单的基于MLP的结构的轻度深度学习体系结构。 LightT的关键思想是在两种微妙的下采样策略之上应用基于MLP的结构，包括间隔抽样和连续采样，灵感来自至关重要的事实，即下采样时间序列通常保留其大多数信息。我们对八个广泛使用的基准数据集进行了广泛的实验。与现有的最新方法相比，Lightts在其中五个方面表现出更好的性能，其余的性能可比性。此外，Lightts高效。与最大的基准数据集上的先前SOTA方法相比，它使用的触发器少于5％。此外，Lightts的预测准确性与以前的SOTA方法相比，在长序列预测任务中，预测准确性的差异要小得多。

在过去的几年里，通过微分方程激发的神经网络已经增殖。神经常规方程（节点）和神经控制微分方程（NCDE）是它们的两个代表性示例。理论上，NCDES提供比节点的时间序列数据更好的表示学习能力。特别地，已知NCDE适用于处理不规则的时间序列数据。然而，在采用关注之后，节点已成功扩展，但是尚未研究如何将注意力集成到NCDE中。为此，我们介绍了用于时间序列分类和预测的周度神经控制微分方程（ANCDES）的方法，其中使用了双nCDE：一个用于生成注意值，另一个用于改进下游机器学习任务的隐藏向量。我们用三个真实世界时间序列数据集和10个基线进行实验。丢弃一些值后，我们还进行不规则的时间序列实验。我们的方法一致地显示所有案例中的最佳准确性。我们的可视化还表明，通过专注于关键信息，所提出的注意机制如预期的工作。

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。