神经预测的最新进展加速了大规模预测系统的性能。然而，长途预测仍然是一项非常艰巨的任务。困扰任务的两个常见挑战是预测的波动及其计算复杂性。我们介绍了N-HITS，该模型通过结合新的分层插值和多率数据采样技术来解决挑战。这些技术使提出的方法能够顺序组装其预测，并在分解输入信号并合成预测的同时强调不同频率和尺度的组件。我们证明，在平稳性的情况下，层次结构插值技术可以有效地近似于任意长的视野。此外，我们从长远的预测文献中进行了广泛的大规模数据集实验，证明了我们方法比最新方法的优势，在该方法中，N-HITS可提供比最新的16％的平均准确性提高。变压器体系结构在减少计算时间的同时（50次）。我们的代码可在https://bit.ly/3jlibp8上找到。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

各种深度学习模型，尤其是一些最新的基于变压器的方法，已大大改善了长期时间序列预测的最新性能。但是，这些基于变压器的模型遭受了严重的恶化性能，并延长了输入长度除了使用扩展的历史信息。此外，这些方法倾向于在长期预测中处理复杂的示例，并增加模型复杂性，这通常会导致计算的显着增加和性能较低的鲁棒性（例如，过度拟合）。我们提出了一种新型的神经网络架构，称为Treedrnet，以进行更有效的长期预测。受稳健回归的启发，我们引入了双重残差链接结构，以使预测更加稳健。对Kolmogorov-Arnold表示定理进行了明确的介绍，并明确介绍了特征选择，模型集合和树结构，以进一步利用扩展输入序列，从而提高了可靠的输入序列和Treedrnet的代表力。与以前的顺序预测工作的深层模型不同，Treedrnet完全建立在多层感知下，因此具有很高的计算效率。我们广泛的实证研究表明，Treedrnet比最先进的方法更有效，将预测错误降低了20％至40％。特别是，Treedrnet的效率比基于变压器的方法高10倍。该代码将很快发布。

最近的研究表明，诸如RNN和Transformers之类的深度学习模型为长期预测时间序列带来了显着的性能增长，因为它们有效地利用了历史信息。但是，我们发现，如何在神经网络中保存历史信息，同时避免过度适应历史上的噪音，这仍然有很大的改进空间。解决此问题可以更好地利用深度学习模型的功能。为此，我们设计了一个\ textbf {f}要求\ textbf {i} mpraved \ textbf {l} egendre \ textbf {m} emory模型，或{\ bf film}：它应用了legendre promotions topimate legendre provientions近似历史信息，近似历史信息，使用傅立叶投影来消除噪声，并添加低级近似值以加快计算。我们的实证研究表明，所提出的膜显着提高了由（\ textbf {20.3 \％}，\ textbf {22.6 \％}）的多变量和单变量长期预测中最新模型的准确性。我们还证明，这项工作中开发的表示模块可以用作一般插件，以提高其他深度学习模块的长期预测性能。代码可从https://github.com/tianzhou2011/film/获得。

Time series, sets of sequences in chronological order, are essential data in statistical research with many forecasting applications. Although recent performance in many Transformer-based models has been noticeable, long multi-horizon time series forecasting remains a very challenging task. Going beyond transformers in sequence translation and transduction research, we observe the effects of down-and-up samplings that can nudge temporal saliency patterns to emerge in time sequences. Motivated by the mentioned observation, in this paper, we propose a novel architecture, Temporal Saliency Detection (TSD), on top of the attention mechanism and apply it to multi-horizon time series prediction. We renovate the traditional encoder-decoder architecture by making as a series of deep convolutional blocks to work in tandem with the multi-head self-attention. The proposed TSD approach facilitates the multiresolution of saliency patterns upon condensed multi-heads, thus progressively enhancing complex time series forecasting. Experimental results illustrate that our proposed approach has significantly outperformed existing state-of-the-art methods across multiple standard benchmark datasets in many far-horizon forecasting settings. Overall, TSD achieves 31% and 46% relative improvement over the current state-of-the-art models in multivariate and univariate time series forecasting scenarios on standard benchmarks. The Git repository is available at https://github.com/duongtrung/time-series-temporal-saliency-patterns.

尽管基于变压器的方法已显着改善了长期序列预测的最新结果，但它们不仅在计算上昂贵，而且更重要的是，无法捕获全球时间序列的观点（例如，整体趋势）。为了解决这些问题，我们建议将变压器与季节性趋势分解方法相结合，在这种方法中，分解方法捕获了时间序列的全局概况，而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能，我们利用了以下事实：大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式，并开发出频率增强的变压器。除了更有效外，所提出的方法被称为频率增强分解变压器（{\ bf fedFormer}），比标准变压器更有效，具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FedFormer可以将预测错误降低14.8 \％$ $和$ 22.6 \％\％\％\％$ $，分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。

当时间序列具有自然组结构时，出现分层预测问题，并且需要在多个聚集水平和对组中分类的预测。在这些问题中，通常希望满足给定层次结构中的聚合约束，称为文献中的分层一致性。在生产准确的预测的同时保持层次连贯可能是一个具有挑战性的问题，特别是在概率预测的情况下。我们提出了一种能够对等级序列准确和相干的概率预测的新方法。我们称之为Deep Poisson混合网络（DPMN）。它依赖于神经网络的组合和用于分层多变量时间序列结构的关节分布的统计模型。通过施工，模型可确保分层一致性，并为预测分布的聚集和分解提供简单的规则。我们进行广泛的实证评估，将DPMN与其他最先进的方法进行比较，该方法在多个公共数据集上产生分层相干的概率预测。与现有的相干概率模型相比，我们在澳大利亚国内旅游数据的总体连续排名概率评分（CRP）的总体连续排名概率评分（CRP）的相对改善，24.2位于青年杂货店销售数据集中，6.9％在旧金山湾区公路交通数据集。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

近年来，已对变压器进行了积极研究，以预测。尽管在各种情况下经常显示出令人鼓舞的结果，但传统的变压器并非旨在充分利用时间序列数据的特征，因此遭受了一些根本的限制，例如，它们通常缺乏分解能力和解释性，并且既不有效，也没有有效的效率 - 期望。在本文中，我们提出了一种新颖的时间序列变压器体系结构Etsformer，它利用了指数平滑的原理，以改善变压器的时间序列预测。特别是，受到预测时间序列的经典指数平滑方法的启发，我们提出了新型的指数平滑注意力（ESA）和频率注意（FA），以替代香草变压器中的自我发挥机制，从而提高了准确性和效率。基于这些，我们使用模块化分解块重新设计了变压器体系结构，以便可以学会将时间序列数据分解为可解释的时间序列组件，例如水平，增长和季节性。对各种时间序列基准的广泛实验验证了该方法的功效和优势。代码可从https://github.com/salesforce/etsformer获得。

多元时间序列预测已在各种领域（包括金融，交通，能源和医疗保健）中广泛范围的应用程序。为了捕获复杂的时间模式，大量研究设计了基于RNN，GNN和Transformers的许多变体的复杂神经网络体系结构。但是，复杂的模型在计算上通常是昂贵的，因此当应用于大型现实世界数据集时，在训练和推理效率方面面临严重的挑战。在本文中，我们介绍了Lightts，这是一种基于简单的基于MLP的结构的轻度深度学习体系结构。 LightT的关键思想是在两种微妙的下采样策略之上应用基于MLP的结构，包括间隔抽样和连续采样，灵感来自至关重要的事实，即下采样时间序列通常保留其大多数信息。我们对八个广泛使用的基准数据集进行了广泛的实验。与现有的最新方法相比，Lightts在其中五个方面表现出更好的性能，其余的性能可比性。此外，Lightts高效。与最大的基准数据集上的先前SOTA方法相比，它使用的触发器少于5％。此外，Lightts的预测准确性与以前的SOTA方法相比，在长序列预测任务中，预测准确性的差异要小得多。

最近，由于引入变压器，时间序列的性能最近得到了极大的改善。在本文中，我们提出了一个一般的多尺度框架，可以应用于基于最新的变压器的时间序列预测模型，包括自动构造和告密者。使用具有共同权重，体系结构适应和专门设计的归一化方案的多个尺度上的预测时间序列，我们能够通过最小的其他计算开销来实现重大的性能改进。通过详细的消融研究，我们证明了我们提出的建筑和方法论创新的有效性。此外，我们在四个公共数据集上的实验表明，所提出的多规模框架的表现优于相应的基线，平均改善比自动型和告密者的平均改善分别为13％和38％。

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

为了提高风能生产的安全性和可靠性，短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络（GNN）体系结构用于提取空间依赖性，具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来，一种这样的架构，即变压器，在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动，以更好地促进时间序列预测，本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测，并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆（LSTM）和多层感知器（MLP）模型，该研究表明，使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外，我们提出了快速的傅立叶变压器（FFTRANSFORMER），该变压器是基于信号分解的新型变压器体系结构，由两个单独的流组成，分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果，而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后，通过改变图表表示的连通性程度，该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。

时间序列数据在研究以及各种工业应用中无处不在。有效地分析可用的历史数据并提供对未来的见解，使我们能够做出有效的决策。最近的研究见证了基于变压器的架构的出色表现，尤其是在《远距离时间序列》的政权预测中。但是，稀疏变压器体系结构的当前状态无法将其简化和上取样过程磨损，无法以与输入相似的分辨率产生输出。我们提出了基于新颖的Y形编码器架构的Yformer模型，该架构（1）在U-NET启发的体系结构中使用从缩小的编码层到相应的UPSMPLED DEXODER层的直接连接，（2）组合了降尺度/降压/以稀疏的注意来提高采样，以捕获远距离效应，（3）通过添加辅助重建损失来稳定编码器堆栈。已经在四个基准数据集上使用相关基线进行了广泛的实验，与单变量和多元设置的艺术现状相比，MAE的平均改善为19.82，18.41百分比和13.62，11.85百分比MAE。

延长预测时间是对真实应用的危急需求，例如极端天气预警和长期能源消耗规划。本文研究了时间序列的长期预测问题。基于现有的变压器的模型采用各种自我关注机制来发现远程依赖性。然而，长期未来的复杂时间模式禁止模型找到可靠的依赖项。此外，变压器必须采用长期级效率的稀疏版本的点明显自我关注，从而导致信息利用瓶颈。超越变形金刚，我们将自动运气设计为具有自动相关机制的新型分解架构。我们突破了序列分解的预处理公约，并将其翻新为深层模型的基本内部。这种设计为复杂的时间序列具有渐进式分解容量的自动成形。此外，由随机过程理论的启发，我们基于串联周期性设计自相关机制，这在子系列级别进行了依赖关系发现和表示聚合。自动相关性效率和准确性的自我关注。在长期预测中，自动成形器产生最先进的准确性，六个基准测试中的相对改善38％，涵盖了五种实际应用：能源，交通，经济，天气和疾病。此存储库中可用的代码：\ url {https：//github.com/thuml/autoformer}。

时空时间序列的神经预测推动了几个相关应用领域的研究和工业创新。图神经网络（GNN）通常是预测体系结构的核心组成部分。但是，在大多数时空gnns中，计算复杂度比序列时间长度缩放到二次因子，图中链接的数量是图中的链接数，因此阻碍了这些模型在大图和长时间序列中的应用。尽管在静态图的背景下提出了提高可伸缩性的方法，但很少有研究工作专门用于时空情况。为了填补这一空白，我们提出了一个可扩展的体系结构，该体系结构利用了时间和空间动力学的有效编码。特别是，我们使用一个随机的复发神经网络将输入时间序列的历史嵌入到包括多尺度时间动力学的高维状态表示中。然后，使用图形邻接矩阵的不同功率沿空间维度沿空间维度传播，以生成以富含时空特征池的特征的节点嵌入。可以在不监督的方式中有效地预先计算所得的节点嵌入，然后将其馈送到馈送前向解码器，该解码器学会映射多尺度时空表示形式为预测。然后，可以通过对节点的嵌入而无需破坏任何依赖性，从而使训练过程在节点方面并行化，从而可以对大型网络进行可扩展性。相关数据集的经验结果表明，我们的方法可以与最新技术的状态竞争，同时大大减轻了计算负担。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

我们向Facebook先知推出了一位继任者，为可解释，可扩展和用户友好的预测框架制定了一个行业标准。随着时间序列数据的扩散，可说明的预测仍然是企业和运营决策的具有挑战性的任务。需要混合解决方案来弥合可解释的古典方法与可扩展深层学习模型之间的差距。我们将先知视为这样一个解决方案的前兆。然而，先知缺乏本地背景，这对于预测近期未来至关重要，并且由于其斯坦坦后代而挑战。 NeultProphet是一种基于Pytorch的混合预测框架，并用标准的深度学习方法培训，开发人员可以轻松扩展框架。本地上下文使用自动回归和协变量模块引入，可以配置为经典线性回归或作为神经网络。否则，NeultProphet保留了先知的设计理念，提供了相同的基本模型组件。我们的结果表明，NeultProcrophet在一组生成的时间序列上产生了相当或优质的质量的可解释的预测组件。 NeultProphet在各种各样的现实数据集合中占先知。对于中期预测，NeultProclecrophet将预测精度提高55％至92％。