Probabilistic forecasting, i.e. estimating the probability distribution of a time series' future given its past, is a key enabler for optimizing business processes. In retail businesses, for example, forecasting demand is crucial for having the right inventory available at the right time at the right place. In this paper we propose DeepAR, a methodology for producing accurate probabilistic forecasts, based on training an auto-regressive recurrent network model on a large number of related time series. We demonstrate how by applying deep learning techniques to forecasting, one can overcome many of the challenges faced by widely-used classical approaches to the problem. We show through extensive empirical evaluation on several real-world forecasting data sets accuracy improvements of around 15% compared to state-of-the-art methods.

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

建模传染病传播的时空性质可以提供有用的直觉，以了解疾病传播的时变方面，并且在人们的行动模式中观察到的潜在的复杂空间依赖性。此外，可以利用县级多相关时间序列信息，以便在单个时间序列进行预测。添加到这一挑战是实时数据常常偏离单向高斯分布假设，并且可以显示一些复杂的混合模式。由此激励，我们开发了一种基于深度学习的时间序列模型，用于自动回归混合密度动态扩散网络（ARM3DNet）的概率预测，其认为人们的移动性和疾病在动态定向图上传播。实现高斯混合模型层以考虑从多个相关时间序列学习的实时数据的多模式性质。我们展示了我们的模型，当由于动态协变量特征和混合成分的最佳组合培训时，可以超越传统的统计和深度学习模式，以预测美国县级的Covid-19死亡和案例的数量。

电力行业正在大力实施智能网格技术，以提高可靠性，可用性，安全性和效率。该实施需要技术进步，标准和法规的发展以及测试和计划。智能电网载荷预测和管理对于降低需求波动和改善连接发电机，分销商和零售商的市场机制至关重要。在政策实施或外部干预措施中，有必要分析其对电力需求的影响的不确定性，以使系统对需求的波动更加准确。本文分析了外部干预的不确定性对电力需求的影响。它实现了一种结合概率和全局预测模型的框架，使用深度学习方法来估计干预措施的因果影响分布。通过预测受影响实例的反事实分布结果，然后将其与实际结果进行对比来评估因果效应。我们将COVID-19锁定对能源使用的影响视为评估这种干预对电力需求分布的不均匀影响的案例研究。我们可以证明，在澳大利亚和某些欧洲国家的最初封锁期间，槽通常比峰值更大的下降，而平均值几乎不受影响。

Time series forecasting is an important problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. In this paper, we propose to tackle such forecasting problem with Transformer [1]. Although impressed by its performance in our preliminary study, we found its two major weaknesses: (1) locality-agnostics: the point-wise dotproduct self-attention in canonical Transformer architecture is insensitive to local context, which can make the model prone to anomalies in time series; (2) memory bottleneck: space complexity of canonical Transformer grows quadratically with sequence length L, making directly modeling long time series infeasible. In order to solve these two issues, we first propose convolutional self-attention by producing queries and keys with causal convolution so that local context can be better incorporated into attention mechanism. Then, we propose LogSparse Transformer with only O(L(log L) 2 ) memory cost, improving forecasting accuracy for time series with fine granularity and strong long-term dependencies under constrained memory budget. Our experiments on both synthetic data and realworld datasets show that it compares favorably to the state-of-the-art.

当时间序列具有自然组结构时，出现分层预测问题，并且需要在多个聚集水平和对组中分类的预测。在这些问题中，通常希望满足给定层次结构中的聚合约束，称为文献中的分层一致性。在生产准确的预测的同时保持层次连贯可能是一个具有挑战性的问题，特别是在概率预测的情况下。我们提出了一种能够对等级序列准确和相干的概率预测的新方法。我们称之为Deep Poisson混合网络（DPMN）。它依赖于神经网络的组合和用于分层多变量时间序列结构的关节分布的统计模型。通过施工，模型可确保分层一致性，并为预测分布的聚集和分解提供简单的规则。我们进行广泛的实证评估，将DPMN与其他最先进的方法进行比较，该方法在多个公共数据集上产生分层相干的概率预测。与现有的相干概率模型相比，我们在澳大利亚国内旅游数据的总体连续排名概率评分（CRP）的总体连续排名概率评分（CRP）的相对改善，24.2位于青年杂货店销售数据集中，6.9％在旧金山湾区公路交通数据集。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

在本文中，我们呈现SSDNet，这是一个新的时间序列预测的深层学习方法。SSDNet将变压器架构与状态空间模型相结合，提供概率和可解释的预测，包括趋势和季节性成分以及前一步对预测很重要。变压器架构用于学习时间模式并直接有效地估计状态空间模型的参数，而无需对卡尔曼滤波器的需要。我们全面评估了SSDNET在五个数据集上的性能，显示SSDNet是一种有效的方法，可在准确性和速度，优于最先进的深度学习和统计方法方面是一种有效的方法，能够提供有意义的趋势和季节性组件。

时间序列预测是许多域中的重要问题，在多个现实世界应用中发挥着至关重要的作用。在本文中，我们提出了一种预测架构，将深度自回归模型与光谱注意力（SA）模块结合起来，其在模型的嵌入式空间中合并全局和局域域信息。通过在光谱域中表征，将时间序列嵌入为随机过程的发生，我们的方法可以识别全球趋势和季节性模式。两个光谱注意力模型，全局和本地序列，将这些信息集成在预测中，并执行频谱滤波以删除时间序列的噪声。所提出的架构具有许多有用的属性：可以有效地结合到众所周知的预测架构中，需要较低的参数，并产生提高预测精度的可解释结果。我们在几个知名的预测数据集中测试频谱注意力归档型号（Saam），始终如一地证明我们的模型对最先进的方法有利地进行了比较。

概率时间序列预测在许多应用领域至关重要，例如零售，电子商务，金融或生物学。随着大量数据的增加，已经提出了许多神经架构为此问题。特别是，基于变压器的方法实现了现实世界基准的最先进的性能。然而，这些方法需要了解大量参数，这对培训此类模型的计算资源施加了高的内存要求。为了解决这个问题，我们介绍了一种新颖的双向时间卷积网络（Bitcn），该网络（Bitcn）需要比公共变换器的方法更少的参数较少的阶数。我们的模型结合了两个时间卷积网络（TCN）：第一个网络编码了时间序列的未来协变量，而第二网络编码过往观察和协变量。我们通过这两个网络联合估计输出分布的参数。四个现实世界数据集的实验表明，我们的方法与四个最先进的概率预测方法进行了表演，包括基于变压器的方法和Wavenet，在两点指标（Smape，NRMSE）以及A上大多数情况下的范围指标（定量损失百分位数）集。其次，我们证明我们的方法比基于变压器的方法所需的参数明显更少，这意味着模型可以培训更快，内存要求显着降低，因此降低了部署这些模型的基础架构成本。

Classifying forecasting methods as being either of a "machine learning" or "statistical" nature has become commonplace in parts of the forecasting literature and community, as exemplified by the M4 competition and the conclusion drawn by the organizers. We argue that this distinction does not stem from fundamental differences in the methods assigned to either class. Instead, this distinction is probably of a tribal nature, which limits the insights into the appropriateness and effectiveness of different forecasting methods. We provide alternative characteristics of forecasting methods which, in our view, allow to draw meaningful conclusions. Further, we discuss areas of forecasting which could benefit most from cross-pollination between the ML and the statistics communities.

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

在环境中，从天气预报到财务预测的政治预测，未来二元成果的概率估计通常随着时间的推移而发展。例如，随着新信息可用的时间，特定日期的估计可能性在特定日变化。鉴于这种概率路径的集合，我们介绍了一个贝叶斯框架 - 我们称之为高斯潜在信息鞅，或粘合 - 用于模拟动态预测的结构随着时间的推移。例如，假设一个星期下雨的可能性是50％，并考虑两个假设情景。首先，人们希望预测同样可能成为明天的25％或75％;第二，人们预计预测将在未来几天保持不变。一个时间敏感的决策者可以在后一种情况下立即选择一个行动方案，但可能会推迟他们在前者的决定，知道新信息迫在眉睫。我们通过假设根据信息流的潜在进程的预测更新来模拟这些轨迹，从历史数据推断出来。与时间序列分析的一般方法相比，这种方法保留了诸如Martingale结构的概率路径的重要属性，以及适当的挥发性，并且更好地量化了概率路径周围的未来不确定性。我们表明光泽优于三种流行的基线方法，产生了由三种不同度量测量的更高估计的后验概率路径分布。通过阐明时间随着时间的推移来解除预测的动态结构，希望能帮助个人做出更明智的选择。

Multivariate time series forecasting with hierarchical structure is pervasive in real-world applications, demanding not only predicting each level of the hierarchy, but also reconciling all forecasts to ensure coherency, i.e., the forecasts should satisfy the hierarchical aggregation constraints. Moreover, the disparities of statistical characteristics between levels can be huge, worsened by non-Gaussian distributions and non-linear correlations. To this extent, we propose a novel end-to-end hierarchical time series forecasting model, based on conditioned normalizing flow-based autoregressive transformer reconciliation, to represent complex data distribution while simultaneously reconciling the forecasts to ensure coherency. Unlike other state-of-the-art methods, we achieve the forecasting and reconciliation simultaneously without requiring any explicit post-processing step. In addition, by harnessing the power of deep model, we do not rely on any assumption such as unbiased estimates or Gaussian distribution. Our evaluation experiments are conducted on four real-world hierarchical datasets from different industrial domains (three public ones and a dataset from the application servers of Alipay's data center) and the preliminary results demonstrate efficacy of our proposed method.

虽然古典时间系列预测被隔离考虑个人时间序列，但基于深度学习的最近进步表明，从大型相关时间序列中共同学习可以提高预测精度。然而，与古典预测方法相比，这些方法的准确性大大限制了它们的适用性，这是极大的。为了弥合这一差距，我们采用了一个时间序列预测问题的元学习视图。我们介绍了一种新的预测方法，称为Meta全球 - 本地自动回归（Meta-Glar），通过从经常性神经网络（RNN）产生的映射到一个 - 前方预测。至关重要的是，RNN的参数在多个时间序列中学习通过闭合形式适配机制来抛弃多个时间序列。在我们广泛的实证评估中，我们表明，我们的方法与先前工作中报告的样本超出预测精度有竞争力。

预测可帮助企业分配资源并实现目标。在LinkedIn，产品所有者使用预测来设定业务目标，跟踪前景和监视健康。工程师使用预测有效地提供硬件。开发一种预测解决方案来满足这些需求，需要对各种时间序列进行准确，可解释的预测，并以次数至季度的频率。我们提出了Greykite，这是一个用于预测的开源Python库，已在LinkedIn上部署了二十多种用例。它的旗舰算法Silverkite提供了可解释的，快速且高度灵活的单变量预测，可捕获诸如时期增长和季节性，自相关，假期和回归剂等效果。该库通过促进数据探索，模型配置，执行和解释来实现自我服务的准确性和信任。我们的基准结果显示了来自各个域的数据集的现成速度和准确性。在过去的两年中，金融，工程和产品团队的资源计划和分配，目标设置和进度跟踪，异常检测和根本原因分析的资源团队一直信任灰金矿的预测。我们希望灰金矿对具有类似应用的预测从业者有用，这些应用需要准确，可解释的预测，这些预测捕获了与人类活动相关的时间序列共有的复杂动力学。

对极端事件的风险评估需要准确估算超出历史观察范围的高分位数。当风险取决于观察到的预测因子的值时，回归技术用于在预测器空间中插值。我们提出的EQRN模型将来自神经网络和极值理论的工具结合到能够在存在复杂预测依赖性的情况下外推的方法中。神经网络自然可以在数据中融合其他结构。我们开发了EQRN的经常性版本，该版本能够在时间序列中捕获复杂的顺序依赖性。我们将这种方法应用于瑞士AARE集水区中洪水风险的预测。它利用从时空和时间上的多个协变量中利用信息，以提供对回报水平和超出概率的一日预测。该输出从传统的极值分析中补充了静态返回水平，并且预测能够适应不断变化的气候中经历的分配变化。我们的模型可以帮助当局更有效地管理洪水，并通过预警系统最大程度地减少其灾难性影响。

在这项工作中，我们提出了使用量子缩放（MQ-DRN-S）的分位数回归和扩张的经常性神经网络，并将其应用于库存管理任务。该模型在统计基准（具有外源性变量，QAR-X）的统计基准（分位式自回归模型，QAR-X）而言，该模型更好地表现出更好的性能，而不是在没有时间缩放的MQ-DRNN的情况下更好。以上一系列10,000次销售的elllobo销售超过53周的地平线，每周使用滚动窗口为7天。

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.