深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

近年来，已对变压器进行了积极研究，以预测。尽管在各种情况下经常显示出令人鼓舞的结果，但传统的变压器并非旨在充分利用时间序列数据的特征，因此遭受了一些根本的限制，例如，它们通常缺乏分解能力和解释性，并且既不有效，也没有有效的效率 - 期望。在本文中，我们提出了一种新颖的时间序列变压器体系结构Etsformer，它利用了指数平滑的原理，以改善变压器的时间序列预测。特别是，受到预测时间序列的经典指数平滑方法的启发，我们提出了新型的指数平滑注意力（ESA）和频率注意（FA），以替代香草变压器中的自我发挥机制，从而提高了准确性和效率。基于这些，我们使用模块化分解块重新设计了变压器体系结构，以便可以学会将时间序列数据分解为可解释的时间序列组件，例如水平，增长和季节性。对各种时间序列基准的广泛实验验证了该方法的功效和优势。代码可从https://github.com/salesforce/etsformer获得。

神经预测的最新进展加速了大规模预测系统的性能。然而，长途预测仍然是一项非常艰巨的任务。困扰任务的两个常见挑战是预测的波动及其计算复杂性。我们介绍了N-HITS，该模型通过结合新的分层插值和多率数据采样技术来解决挑战。这些技术使提出的方法能够顺序组装其预测，并在分解输入信号并合成预测的同时强调不同频率和尺度的组件。我们证明，在平稳性的情况下，层次结构插值技术可以有效地近似于任意长的视野。此外，我们从长远的预测文献中进行了广泛的大规模数据集实验，证明了我们方法比最新方法的优势，在该方法中，N-HITS可提供比最新的16％的平均准确性提高。变压器体系结构在减少计算时间的同时（50次）。我们的代码可在https://bit.ly/3jlibp8上找到。

虽然古典时间系列预测被隔离考虑个人时间序列，但基于深度学习的最近进步表明，从大型相关时间序列中共同学习可以提高预测精度。然而，与古典预测方法相比，这些方法的准确性大大限制了它们的适用性，这是极大的。为了弥合这一差距，我们采用了一个时间序列预测问题的元学习视图。我们介绍了一种新的预测方法，称为Meta全球 - 本地自动回归（Meta-Glar），通过从经常性神经网络（RNN）产生的映射到一个 - 前方预测。至关重要的是，RNN的参数在多个时间序列中学习通过闭合形式适配机制来抛弃多个时间序列。在我们广泛的实证评估中，我们表明，我们的方法与先前工作中报告的样本超出预测精度有竞争力。

各种深度学习模型，尤其是一些最新的基于变压器的方法，已大大改善了长期时间序列预测的最新性能。但是，这些基于变压器的模型遭受了严重的恶化性能，并延长了输入长度除了使用扩展的历史信息。此外，这些方法倾向于在长期预测中处理复杂的示例，并增加模型复杂性，这通常会导致计算的显着增加和性能较低的鲁棒性（例如，过度拟合）。我们提出了一种新型的神经网络架构，称为Treedrnet，以进行更有效的长期预测。受稳健回归的启发，我们引入了双重残差链接结构，以使预测更加稳健。对Kolmogorov-Arnold表示定理进行了明确的介绍，并明确介绍了特征选择，模型集合和树结构，以进一步利用扩展输入序列，从而提高了可靠的输入序列和Treedrnet的代表力。与以前的顺序预测工作的深层模型不同，Treedrnet完全建立在多层感知下，因此具有很高的计算效率。我们广泛的实证研究表明，Treedrnet比最先进的方法更有效，将预测错误降低了20％至40％。特别是，Treedrnet的效率比基于变压器的方法高10倍。该代码将很快发布。

最近的研究表明，诸如RNN和Transformers之类的深度学习模型为长期预测时间序列带来了显着的性能增长，因为它们有效地利用了历史信息。但是，我们发现，如何在神经网络中保存历史信息，同时避免过度适应历史上的噪音，这仍然有很大的改进空间。解决此问题可以更好地利用深度学习模型的功能。为此，我们设计了一个\ textbf {f}要求\ textbf {i} mpraved \ textbf {l} egendre \ textbf {m} emory模型，或{\ bf film}：它应用了legendre promotions topimate legendre provientions近似历史信息，近似历史信息，使用傅立叶投影来消除噪声，并添加低级近似值以加快计算。我们的实证研究表明，所提出的膜显着提高了由（\ textbf {20.3 \％}，\ textbf {22.6 \％}）的多变量和单变量长期预测中最新模型的准确性。我们还证明，这项工作中开发的表示模块可以用作一般插件，以提高其他深度学习模块的长期预测性能。代码可从https://github.com/tianzhou2011/film/获得。

尽管基于变压器的方法已显着改善了长期序列预测的最新结果，但它们不仅在计算上昂贵，而且更重要的是，无法捕获全球时间序列的观点（例如，整体趋势）。为了解决这些问题，我们建议将变压器与季节性趋势分解方法相结合，在这种方法中，分解方法捕获了时间序列的全局概况，而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能，我们利用了以下事实：大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式，并开发出频率增强的变压器。除了更有效外，所提出的方法被称为频率增强分解变压器（{\ bf fedFormer}），比标准变压器更有效，具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FedFormer可以将预测错误降低14.8 \％$ $和$ 22.6 \％\％\％\％$ $，分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

最近，由于引入变压器，时间序列的性能最近得到了极大的改善。在本文中，我们提出了一个一般的多尺度框架，可以应用于基于最新的变压器的时间序列预测模型，包括自动构造和告密者。使用具有共同权重，体系结构适应和专门设计的归一化方案的多个尺度上的预测时间序列，我们能够通过最小的其他计算开销来实现重大的性能改进。通过详细的消融研究，我们证明了我们提出的建筑和方法论创新的有效性。此外，我们在四个公共数据集上的实验表明，所提出的多规模框架的表现优于相应的基线，平均改善比自动型和告密者的平均改善分别为13％和38％。

延长预测时间是对真实应用的危急需求，例如极端天气预警和长期能源消耗规划。本文研究了时间序列的长期预测问题。基于现有的变压器的模型采用各种自我关注机制来发现远程依赖性。然而，长期未来的复杂时间模式禁止模型找到可靠的依赖项。此外，变压器必须采用长期级效率的稀疏版本的点明显自我关注，从而导致信息利用瓶颈。超越变形金刚，我们将自动运气设计为具有自动相关机制的新型分解架构。我们突破了序列分解的预处理公约，并将其翻新为深层模型的基本内部。这种设计为复杂的时间序列具有渐进式分解容量的自动成形。此外，由随机过程理论的启发，我们基于串联周期性设计自相关机制，这在子系列级别进行了依赖关系发现和表示聚合。自动相关性效率和准确性的自我关注。在长期预测中，自动成形器产生最先进的准确性，六个基准测试中的相对改善38％，涵盖了五种实际应用：能源，交通，经济，天气和疾病。此存储库中可用的代码：\ url {https：//github.com/thuml/autoformer}。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

Time series, sets of sequences in chronological order, are essential data in statistical research with many forecasting applications. Although recent performance in many Transformer-based models has been noticeable, long multi-horizon time series forecasting remains a very challenging task. Going beyond transformers in sequence translation and transduction research, we observe the effects of down-and-up samplings that can nudge temporal saliency patterns to emerge in time sequences. Motivated by the mentioned observation, in this paper, we propose a novel architecture, Temporal Saliency Detection (TSD), on top of the attention mechanism and apply it to multi-horizon time series prediction. We renovate the traditional encoder-decoder architecture by making as a series of deep convolutional blocks to work in tandem with the multi-head self-attention. The proposed TSD approach facilitates the multiresolution of saliency patterns upon condensed multi-heads, thus progressively enhancing complex time series forecasting. Experimental results illustrate that our proposed approach has significantly outperformed existing state-of-the-art methods across multiple standard benchmark datasets in many far-horizon forecasting settings. Overall, TSD achieves 31% and 46% relative improvement over the current state-of-the-art models in multivariate and univariate time series forecasting scenarios on standard benchmarks. The Git repository is available at https://github.com/duongtrung/time-series-temporal-saliency-patterns.

Many real-world applications require the prediction of long sequence time-series, such as electricity consumption planning. Long sequence time-series forecasting (LSTF) demands a high prediction capacity of the model, which is the ability to capture precise long-range dependency coupling between output and input efficiently. Recent studies have shown the potential of Transformer to increase the prediction capacity. However, there are several severe issues with Transformer that prevent it from being directly applicable to LSTF, including quadratic time complexity, high memory usage, and inherent limitation of the encoder-decoder architecture. To address these issues, we design an efficient transformer-based model for LSTF, named Informer, with three distinctive characteristics: (i) a ProbSparse self-attention mechanism, which achieves O(L log L) in time complexity and memory usage, and has comparable performance on sequences' dependency alignment. (ii) the self-attention distilling highlights dominating attention by halving cascading layer input, and efficiently handles extreme long input sequences. (iii) the generative style decoder, while conceptually simple, predicts the long time-series sequences at one forward operation rather than a step-by-step way, which drastically improves the inference speed of long-sequence predictions. Extensive experiments on four large-scale datasets demonstrate that Informer significantly outperforms existing methods and provides a new solution to the LSTF problem.

我们向Facebook先知推出了一位继任者，为可解释，可扩展和用户友好的预测框架制定了一个行业标准。随着时间序列数据的扩散，可说明的预测仍然是企业和运营决策的具有挑战性的任务。需要混合解决方案来弥合可解释的古典方法与可扩展深层学习模型之间的差距。我们将先知视为这样一个解决方案的前兆。然而，先知缺乏本地背景，这对于预测近期未来至关重要，并且由于其斯坦坦后代而挑战。 NeultProphet是一种基于Pytorch的混合预测框架，并用标准的深度学习方法培训，开发人员可以轻松扩展框架。本地上下文使用自动回归和协变量模块引入，可以配置为经典线性回归或作为神经网络。否则，NeultProphet保留了先知的设计理念，提供了相同的基本模型组件。我们的结果表明，NeultProcrophet在一组生成的时间序列上产生了相当或优质的质量的可解释的预测组件。 NeultProphet在各种各样的现实数据集合中占先知。对于中期预测，NeultProclecrophet将预测精度提高55％至92％。

时间序列预测是一个重要的问题，具有许多现实世界的应用。深度神经网络的合奏最近实现了令人印象深刻的预测准确性，但是在许多现实世界中，如此大的合奏是不切实际的。变压器模型已成功应用于各种具有挑战性的问题。我们建议对原始变压器体系结构进行新颖的改编，重点是时间序列预测的任务，称为持久性初始化。该模型通过使用与残留跳过连接的乘法门控机制初始化为幼稚的持久性模型。我们使用具有REZERO标准化和旋转位置编码的解码器变压器，但适应适用于任何自动回归神经网络模型。我们评估了有关挑战性M4数据集的拟议体系结构，与基于合奏的方法相比，取得了竞争性能。我们还将最近提议的变压器模型进行比较，以预测时间序列，显示了M4数据集中的卓越性能。广泛的消融研究表明，持久性初始化会导致更好的性能和更快的收敛性。随着模型的大小的增加，只有我们提出的适应性增长的模型。我们还进行了一项额外的消融研究，以确定正常化和位置编码的选择的重要性，并发现旋转编码的使用和REZERO归一化对于良好的预测性能至关重要。

时间是时间序列最重要的特征之一，但没有得到足够的关注。先前的时间序列预测研究主要集中于将过去的子序列（查找窗口）映射到未来的系列（预测窗口），而系列的时间通常只是在大多数情况下都扮演辅助角色。由于这些窗口中的点处理，将其推断为长期未来在模式上是艰难的。为了克服这一障碍，我们提出了一个名为DateFormer的全新时间序列预测框架，他将注意力转移到建模时间上，而不是遵循上述实践。具体而言，首先按时间序列分为补丁，以监督通过Transformers（DERT）的日期编码器表示的动态日期代表的学习。然后将这些表示形式馈入一个简单的解码器，以产生更粗的（或全局）预测，并用于帮助模型从回顾窗口中寻求有价值的信息，以学习精致（或本地）的预测。 DateFormer通过将上述两个部分求和来获得最终结果。我们对七个基准测试的经验研究表明，与序列建模方法相比，时间模型方法对于长期序列预测更有效。 DateFormer产生最先进的准确性，相对改进40％，并将最大可靠的预测范围扩大到半年水平。

最近的工作表明，深度学习模型（如全卷积网络（FCN）或经常性神经网络（RNN）的效率为处理时间序列回归（TSR）问题。这些模型有时需要大量数据能够泛化，但时间序列有时不足以学习模式。因此，重要的是在时间序列中利用信息来改善学习。在本文中，我们将探讨使用元学习的想法，以便通过修改模型不可知元学习（MAML）\ Cite {Finn2017Model}的原始思想来快速调整模型参数到新的短历史时间序列。此外，基于在多模式MAML \ CITE {Vuorio2019MultiModal}上的先前工作，提出了一种通过辅助网络调节模型参数的方法，该辅助网络编码时间序列的全局信息以提取元特征。最后，我们将数据应用于不同域的时间序列，例如污染测量，心率传感器和电池数据。我们凭经验表明，我们的建议的元学习方法在12个实验中的9个实验中快速地学习TSR，以少量数据快速，优于基线。

概率时间序列预测在许多应用领域至关重要，例如零售，电子商务，金融或生物学。随着大量数据的增加，已经提出了许多神经架构为此问题。特别是，基于变压器的方法实现了现实世界基准的最先进的性能。然而，这些方法需要了解大量参数，这对培训此类模型的计算资源施加了高的内存要求。为了解决这个问题，我们介绍了一种新颖的双向时间卷积网络（Bitcn），该网络（Bitcn）需要比公共变换器的方法更少的参数较少的阶数。我们的模型结合了两个时间卷积网络（TCN）：第一个网络编码了时间序列的未来协变量，而第二网络编码过往观察和协变量。我们通过这两个网络联合估计输出分布的参数。四个现实世界数据集的实验表明，我们的方法与四个最先进的概率预测方法进行了表演，包括基于变压器的方法和Wavenet，在两点指标（Smape，NRMSE）以及A上大多数情况下的范围指标（定量损失百分位数）集。其次，我们证明我们的方法比基于变压器的方法所需的参数明显更少，这意味着模型可以培训更快，内存要求显着降低，因此降低了部署这些模型的基础架构成本。

学习复杂的时间序列预测模型通常需要大量数据，因为每个任务/数据集都会从头开始训练每个模型。利用类似数据集利用学习经验是一种公认​​的技术，用于分类问题，称为几个射击分类。但是，现有方法不能应用于预测时间序列，因为i）多元时间序列数据集具有不同的渠道，ii）预测与分类主要不同。在本文中，我们首次使用异质通道对时间序列的几个预测进行正式的问题。扩展了有关矢量数据中异质属性的最新工作，我们开发了一个由置换不变的深set块组成的模型，该模型结合了时间嵌入。我们组装了40个多元时间序列数据集的第一个元数据集，并通过实验显示我们的模型提供了一个良好的概括，优于从更简单的场景中延续的基线，这些基线要么无法跨任务学习或错过时间信息。