We propose a novel multi-task method for quantile forecasting with shared Linear layers. Our method is based on the Implicit quantile learning approach, where samples from the Uniform distribution $\mathcal{U}(0, 1)$ are reparameterized to quantile values of the target distribution. We combine the implicit quantile and input time series representations to directly forecast multiple quantile estimations for multiple horizons jointly. Prior works have adopted a Linear layer for the direct estimation of all forecasting horizons in a multi-task learning setup. We show that following similar intuition from multi-task learning to exploit correlations among forecast horizons, we can model multiple quantile estimates as auxiliary tasks for each of the forecast horizon to improve forecast accuracy across the quantile estimates compared to modeling only a single quantile estimate. We show learning auxiliary quantile tasks leads to state-of-the-art performance on deterministic forecasting benchmarks concerning the main-task of forecasting the 50$^{th}$ percentile estimate.

时间序列数据在研究以及各种工业应用中无处不在。有效地分析可用的历史数据并提供对未来的见解，使我们能够做出有效的决策。最近的研究见证了基于变压器的架构的出色表现，尤其是在《远距离时间序列》的政权预测中。但是，稀疏变压器体系结构的当前状态无法将其简化和上取样过程磨损，无法以与输入相似的分辨率产生输出。我们提出了基于新颖的Y形编码器架构的Yformer模型，该架构（1）在U-NET启发的体系结构中使用从缩小的编码层到相应的UPSMPLED DEXODER层的直接连接，（2）组合了降尺度/降压/以稀疏的注意来提高采样，以捕获远距离效应，（3）通过添加辅助重建损失来稳定编码器堆栈。已经在四个基准数据集上使用相关基线进行了广泛的实验，与单变量和多元设置的艺术现状相比，MAE的平均改善为19.82，18.41百分比和13.62，11.85百分比MAE。

在这项工作中，我们提出了使用量子缩放（MQ-DRN-S）的分位数回归和扩张的经常性神经网络，并将其应用于库存管理任务。该模型在统计基准（具有外源性变量，QAR-X）的统计基准（分位式自回归模型，QAR-X）而言，该模型更好地表现出更好的性能，而不是在没有时间缩放的MQ-DRNN的情况下更好。以上一系列10,000次销售的elllobo销售超过53周的地平线，每周使用滚动窗口为7天。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

概率时间序列预测在许多应用领域至关重要，例如零售，电子商务，金融或生物学。随着大量数据的增加，已经提出了许多神经架构为此问题。特别是，基于变压器的方法实现了现实世界基准的最先进的性能。然而，这些方法需要了解大量参数，这对培训此类模型的计算资源施加了高的内存要求。为了解决这个问题，我们介绍了一种新颖的双向时间卷积网络（Bitcn），该网络（Bitcn）需要比公共变换器的方法更少的参数较少的阶数。我们的模型结合了两个时间卷积网络（TCN）：第一个网络编码了时间序列的未来协变量，而第二网络编码过往观察和协变量。我们通过这两个网络联合估计输出分布的参数。四个现实世界数据集的实验表明，我们的方法与四个最先进的概率预测方法进行了表演，包括基于变压器的方法和Wavenet，在两点指标（Smape，NRMSE）以及A上大多数情况下的范围指标（定量损失百分位数）集。其次，我们证明我们的方法比基于变压器的方法所需的参数明显更少，这意味着模型可以培训更快，内存要求显着降低，因此降低了部署这些模型的基础架构成本。

定量回归是一种有效的技术，可以量化不确定性，符合挑战的潜在分布，并且通常通过在多个分位数水平上的联合学习提供完全概率预测。然而，这些关节分位数回归的常见缺点是\ textit {stantile交叉}，其违反了条件分位式函数的理想单调属性。在这项工作中，我们提出了增量（样条曲线）量子函数I（S）QF，灵活和有效的无分布定量位估计框架，其解决了与简单的神经网络层的定量交叉。此外，I（s）QF Inter /外推预测与底层训练不同的任意定量水平。配备了对I（S）QF表示的连续排名概率得分的分析评估，我们将方法应用于基于NN的时间系列预测案例，其中尤其是昂达训练的分位数的昂贵重新培训成本的节省重大。我们还提供了在序列到序列设置下我们提出的方法的泛化误差分析。最后，广泛的实验证明了在其他基线上提高了一致性和准确性误差。

近年来，已对变压器进行了积极研究，以预测。尽管在各种情况下经常显示出令人鼓舞的结果，但传统的变压器并非旨在充分利用时间序列数据的特征，因此遭受了一些根本的限制，例如，它们通常缺乏分解能力和解释性，并且既不有效，也没有有效的效率 - 期望。在本文中，我们提出了一种新颖的时间序列变压器体系结构Etsformer，它利用了指数平滑的原理，以改善变压器的时间序列预测。特别是，受到预测时间序列的经典指数平滑方法的启发，我们提出了新型的指数平滑注意力（ESA）和频率注意（FA），以替代香草变压器中的自我发挥机制，从而提高了准确性和效率。基于这些，我们使用模块化分解块重新设计了变压器体系结构，以便可以学会将时间序列数据分解为可解释的时间序列组件，例如水平，增长和季节性。对各种时间序列基准的广泛实验验证了该方法的功效和优势。代码可从https://github.com/salesforce/etsformer获得。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.

时间序列预测是一个重要的问题，具有许多现实世界的应用。深度神经网络的合奏最近实现了令人印象深刻的预测准确性，但是在许多现实世界中，如此大的合奏是不切实际的。变压器模型已成功应用于各种具有挑战性的问题。我们建议对原始变压器体系结构进行新颖的改编，重点是时间序列预测的任务，称为持久性初始化。该模型通过使用与残留跳过连接的乘法门控机制初始化为幼稚的持久性模型。我们使用具有REZERO标准化和旋转位置编码的解码器变压器，但适应适用于任何自动回归神经网络模型。我们评估了有关挑战性M4数据集的拟议体系结构，与基于合奏的方法相比，取得了竞争性能。我们还将最近提议的变压器模型进行比较，以预测时间序列，显示了M4数据集中的卓越性能。广泛的消融研究表明，持久性初始化会导致更好的性能和更快的收敛性。随着模型的大小的增加，只有我们提出的适应性增长的模型。我们还进行了一项额外的消融研究，以确定正常化和位置编码的选择的重要性，并发现旋转编码的使用和REZERO归一化对于良好的预测性能至关重要。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

最近，由于引入变压器，时间序列的性能最近得到了极大的改善。在本文中，我们提出了一个一般的多尺度框架，可以应用于基于最新的变压器的时间序列预测模型，包括自动构造和告密者。使用具有共同权重，体系结构适应和专门设计的归一化方案的多个尺度上的预测时间序列，我们能够通过最小的其他计算开销来实现重大的性能改进。通过详细的消融研究，我们证明了我们提出的建筑和方法论创新的有效性。此外，我们在四个公共数据集上的实验表明，所提出的多规模框架的表现优于相应的基线，平均改善比自动型和告密者的平均改善分别为13％和38％。

使用变压器的深度学习最近在许多重要领域取得了很大的成功，例如自然语言处理，计算机视觉，异常检测和推荐系统等。在变压器的几种优点中，对于时间序列预测，捕获远程时间依赖性和相互作用的能力是可取的，从而导致其在各种时间序列应用中的进步。在本文中，我们为非平稳时间序列构建了变压器模型。这个问题具有挑战性，但至关重要。我们为基于小波的变压器编码器体系结构提供了一个新颖的单变量时间序列表示学习框架，并将其称为W-Transformer。所提出的W-Transformer使用最大重叠离散小波转换（MODWT）到时间序列数据，并在分解数据集上构建本地变压器，以生动地捕获时间序列中的非机构性和远程非线性依赖性。在来自各个领域的几个公共基准时间序列数据集和具有不同特征的几个公开基准时间序列数据集上评估我们的框架，我们证明它的平均表现明显优于短期和长期预测的基线预报器，即使是由包含的数据集组成的数据集只有几百个培训样本。

多元时间序列预测已在各种领域（包括金融，交通，能源和医疗保健）中广泛范围的应用程序。为了捕获复杂的时间模式，大量研究设计了基于RNN，GNN和Transformers的许多变体的复杂神经网络体系结构。但是，复杂的模型在计算上通常是昂贵的，因此当应用于大型现实世界数据集时，在训练和推理效率方面面临严重的挑战。在本文中，我们介绍了Lightts，这是一种基于简单的基于MLP的结构的轻度深度学习体系结构。 LightT的关键思想是在两种微妙的下采样策略之上应用基于MLP的结构，包括间隔抽样和连续采样，灵感来自至关重要的事实，即下采样时间序列通常保留其大多数信息。我们对八个广泛使用的基准数据集进行了广泛的实验。与现有的最新方法相比，Lightts在其中五个方面表现出更好的性能，其余的性能可比性。此外，Lightts高效。与最大的基准数据集上的先前SOTA方法相比，它使用的触发器少于5％。此外，Lightts的预测准确性与以前的SOTA方法相比，在长序列预测任务中，预测准确性的差异要小得多。

Multivariate time series forecasting with hierarchical structure is pervasive in real-world applications, demanding not only predicting each level of the hierarchy, but also reconciling all forecasts to ensure coherency, i.e., the forecasts should satisfy the hierarchical aggregation constraints. Moreover, the disparities of statistical characteristics between levels can be huge, worsened by non-Gaussian distributions and non-linear correlations. To this extent, we propose a novel end-to-end hierarchical time series forecasting model, based on conditioned normalizing flow-based autoregressive transformer reconciliation, to represent complex data distribution while simultaneously reconciling the forecasts to ensure coherency. Unlike other state-of-the-art methods, we achieve the forecasting and reconciliation simultaneously without requiring any explicit post-processing step. In addition, by harnessing the power of deep model, we do not rely on any assumption such as unbiased estimates or Gaussian distribution. Our evaluation experiments are conducted on four real-world hierarchical datasets from different industrial domains (three public ones and a dataset from the application servers of Alipay's data center) and the preliminary results demonstrate efficacy of our proposed method.

概率分层时间序列预测是时间序列预测的重要变体，其目标是建模和预测具有基本层次关系的多元时间序列。大多数方法都集中在点预测上，并且不提供良好的概率预测分布。最近的最先进的概率预测方法还对点预测和分布样本施加了层次关系，这并不能说明预测分布的相干性。先前的作品还默默地假设数据集始终与给定的层次关系一致，并且不适应显示出与此假设偏差的现实世界数据集。我们弥合了这两个差距，并提出了Profhit，这是一个完全概率的层次预测模型，共同模拟整个层次结构的预测分布。 Profhit使用一种灵活的概率贝叶斯方法，并引入了一种新颖的分布相干性正规化，以从层次关系中学习整个预测分布，以实现强大和校准的预测以及适应不同层次结构一致性的数据集。在评估广泛数据集的PROFHIT时，我们观察到准确性和校准的性能提高了41-88％。由于对完整分布的相干性进行了建模，我们观察到，即使缺少多达10％的输入时间序列数据，其他方法的性能严重降低70％以上，即使最多10％的输入时间序列数据也可以提供可靠的预测。

在各种下游机器学习任务中，多元时间序列的可靠和有效表示至关重要。在多元时间序列预测中，每个变量都取决于其历史值，并且变量之间也存在相互依存关系。必须设计模型以捕获时间序列之间的内部和相互关系。为了朝着这一目标迈进，我们提出了时间序列注意变压器（TSAT），以进行多元时间序列表示学习。使用TSAT，我们以边缘增强动态图来表示多元时间序列的时间信息和相互依赖性。在动态图中的节点表示，串行中的相关性表示。修改了一种自我注意力的机制，以使用超经验模式分解（SMD）模块捕获序列间的相关性。我们将嵌入式动态图应用于时代序列预测问题，包括两个现实世界数据集和两个基准数据集。广泛的实验表明，TSAT显然在各种预测范围内使用六种最先进的基线方法。我们进一步可视化嵌入式动态图，以说明TSAT的图形表示功能。我们在https://github.com/radiantresearch/tsat上共享代码。

Accurate uncertainty measurement is a key step to building robust and reliable machine learning systems. Conformal prediction is a distribution-free uncertainty quantification algorithm popular for its ease of implementation, statistical coverage guarantees, and versatility for underlying forecasters. However, existing conformal prediction algorithms for time series are limited to single-step prediction without considering the temporal dependency. In this paper we propose a Copula Conformal Prediction algorithm for multivariate, multi-step Time Series forecasting, CopulaCPTS. On several synthetic and real-world multivariate time series datasets, we show that CopulaCPTS produces more calibrated and sharp confidence intervals for multi-step prediction tasks than existing techniques.