Hierarchical time series are common in several applied fields. Forecasts are required to be coherent, that is, to satisfy the constraints given by the hierarchy. The most popular technique to enforce coherence is called reconciliation, which adjusts the base forecasts computed for each time series. However, recent works on probabilistic reconciliation present several limitations. In this paper, we propose a new approach based on conditioning to reconcile any type of forecast distribution. We then introduce a new algorithm, called Bottom-Up Importance Sampling, to efficiently sample from the reconciled distribution. It can be used for any base forecast distribution: discrete, continuous, or in the form of samples, providing a major speedup compared to the current methods. Experiments on several temporal hierarchies show a significant improvement over base probabilistic forecasts.

我们提出了一种对任何概率基础预测进行核对的原则方法。我们展示了如何通过通过贝叶斯规则合并底部预测和上层时间序列中包含的信息来获得概率对帐。我们在玩具层次结构上说明了我们的方法，展示了我们的框架如何允许对任何基本预测的概率对帐。我们对计数时间序列的时间层次结构进行对帐进行实验，与基于高斯或截短的高斯分布相比，获得了重大改进。

当时间序列具有自然组结构时，出现分层预测问题，并且需要在多个聚集水平和对组中分类的预测。在这些问题中，通常希望满足给定层次结构中的聚合约束，称为文献中的分层一致性。在生产准确的预测的同时保持层次连贯可能是一个具有挑战性的问题，特别是在概率预测的情况下。我们提出了一种能够对等级序列准确和相干的概率预测的新方法。我们称之为Deep Poisson混合网络（DPMN）。它依赖于神经网络的组合和用于分层多变量时间序列结构的关节分布的统计模型。通过施工，模型可确保分层一致性，并为预测分布的聚集和分解提供简单的规则。我们进行广泛的实证评估，将DPMN与其他最先进的方法进行比较，该方法在多个公共数据集上产生分层相干的概率预测。与现有的相干概率模型相比，我们在澳大利亚国内旅游数据的总体连续排名概率评分（CRP）的总体连续排名概率评分（CRP）的相对改善，24.2位于青年杂货店销售数据集中，6.9％在旧金山湾区公路交通数据集。

Multivariate time series forecasting with hierarchical structure is pervasive in real-world applications, demanding not only predicting each level of the hierarchy, but also reconciling all forecasts to ensure coherency, i.e., the forecasts should satisfy the hierarchical aggregation constraints. Moreover, the disparities of statistical characteristics between levels can be huge, worsened by non-Gaussian distributions and non-linear correlations. To this extent, we propose a novel end-to-end hierarchical time series forecasting model, based on conditioned normalizing flow-based autoregressive transformer reconciliation, to represent complex data distribution while simultaneously reconciling the forecasts to ensure coherency. Unlike other state-of-the-art methods, we achieve the forecasting and reconciliation simultaneously without requiring any explicit post-processing step. In addition, by harnessing the power of deep model, we do not rely on any assumption such as unbiased estimates or Gaussian distribution. Our evaluation experiments are conducted on four real-world hierarchical datasets from different industrial domains (three public ones and a dataset from the application servers of Alipay's data center) and the preliminary results demonstrate efficacy of our proposed method.

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

Scientists continue to develop increasingly complex mechanistic models to reflect their knowledge more realistically. Statistical inference using these models can be highly challenging, since the corresponding likelihood function is often intractable, and model simulation may be computationally burdensome or infeasible. Fortunately, in many of these situations, it is possible to adopt a surrogate model or approximate likelihood function. It may be convenient to base Bayesian inference directly on the surrogate, but this can result in bias and poor uncertainty quantification. In this paper we propose a new method for adjusting approximate posterior samples to reduce bias and produce more accurate uncertainty quantification. We do this by optimising a transform of the approximate posterior that minimises a scoring rule. Our approach requires only a (fixed) small number of complex model simulations and is numerically stable. We demonstrate good performance of the new method on several examples of increasing complexity.

我们介绍了称为\ texttt {mecats}的异构专家框架的混合，其同时预测通过聚合层次结构相关的一组时间序列的值。不同类型的预测模型可以作为个别专家使用，以便可以根据相应时间序列的性质来定制每个模型的形式。 \ TextTt {Mecats}在培训阶段期间了解分层关系，以帮助概括在被建模的所有时间序列中更好地提高，并且还减轻了由于层次结构施加的约束而产生的一致性问题。我们进一步在点预测的顶部构建多个分位数估计值。由此产生的概率预测几乎是连贯的，无分布的，并且独立于预测模型的选择。我们对两点和概率预测进行了全面的评估，并制定了序列数据中存在变化点的情况的扩展。通常，我们的方法是强大的，适用于具有不同特性的数据集，对大规模预测管道具有高度可配置和高效的。

我们表明，概率编程系统（PPSS）的标准计算管道可能无效地估计期望，并介绍期望编程的概念以解决这一问题。在预期的编程中，后端推理引擎的目的是直接估计程序的预期返回值，而不是近似其条件分布。这种区别虽然微妙，但使我们能够通过根据我们关心的期望来将计算定制计算来实现对标准PPS计算管道的实质性改进。我们通过扩展PPS图灵以允许自动运行的所谓目标推理来实现我们的期望编程概念，图灵（EPT）中的期望编程（EPT）的特定实例。然后，我们从理论上验证EPT的统计声音，并表明它在实践中提供了可观的经验收益。

这是模型选择和假设检测的边缘似然计算的最新介绍和概述。计算概率模型（或常量比率）的常规规定常数是许多统计数据，应用数学，信号处理和机器学习中的许多应用中的基本问题。本文提供了对主题的全面研究。我们突出了不同技术之间的局限性，优势，连接和差异。还描述了使用不正确的前沿的问题和可能的解决方案。通过理论比较和数值实验比较一些最相关的方法。

我们开发了一个探索漏洞利用马尔可夫链Monte Carlo算法（$ \ OperatorName {ex ^ 2mcmc} $），它结合了多个全局提议和本地移动。所提出的方法是巨大的平行化和极其计算的高效。我们证明$ \ operatorname {ex ^ 2mcmc} $下的$ v $ v $ -unique几何ergodicity在现实条件下，并计算混合速率的显式界限，显示多个全局移动带来的改进。我们展示$ \ operatorname {ex ^ 2mcmc} $允许通过提出依赖全局移动的新方法进行微调剥削（本地移动）和探索（全球移动）。最后，我们开发了一个自适应方案，$ \ OperatorName {Flex ^ 2mcmc} $，它学习使用归一化流的全局动作的分布。我们说明了许多经典采样基准测试的$ \ OperatorName {ex ^ 2mccmc} $及其自适应版本的效率。我们还表明，这些算法提高了对基于能量的模型的抽样GAN的质量。

Accurate uncertainty measurement is a key step to building robust and reliable machine learning systems. Conformal prediction is a distribution-free uncertainty quantification algorithm popular for its ease of implementation, statistical coverage guarantees, and versatility for underlying forecasters. However, existing conformal prediction algorithms for time series are limited to single-step prediction without considering the temporal dependency. In this paper we propose a Copula Conformal Prediction algorithm for multivariate, multi-step Time Series forecasting, CopulaCPTS. On several synthetic and real-world multivariate time series datasets, we show that CopulaCPTS produces more calibrated and sharp confidence intervals for multi-step prediction tasks than existing techniques.

We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

梯度增强的树木是竞争获奖，通用，非参数回归器，它们利用顺序模型拟合和梯度下降以最大程度地减少特定的损失函数。最受欢迎的实现是针对单变量回归和分类任务量身定制的，排除了捕获多变量目标互相关并将结构性惩罚应用于预测的可能性。在本文中，我们提出了一种用于拟合多元增强树的计算有效算法。我们表明，当预测相关时，多元树可以胜过单变量。此外，该算法允许任意规范预测，以便可以实施平滑度，一致性和功能关系之类的属性。我们提出了与预测和控制有关的应用程序和数值结果。

标准GPS为行为良好的流程提供了灵活的建模工具。然而，预计与高斯的偏差有望在现实世界数据集中出现，结构异常值和冲击通常会观察到。在这些情况下，GP可能无法充分建模不确定性，并且可能会过度推动。在这里，我们将GP框架扩展到一类新的时间变化的GP，从而可以直接建模重尾非高斯行为，同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的，并使用L \'{e} Vy过程对潜在转化的随机演变进行建模，该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序，并证明了与标准GP相比的潜在好处。

概率预测包括基于过去观察的未来结果的概率分布组成。在气象中，运行基于物理的数值模型的集合以获得此类分发。通常，使用评分规则，预测分配的功能和观察结果进行评估。通过一些评分规则，可以同时评估预测的校准和清晰度。在深度学习中，生成神经网络参数化在高维空间上的分布，并通过从潜变量转换绘制来轻松允许采样。条件生成网络另外限制输入变量上的分布。在此稿件中，我们使用培训的条件生成网络执行概率预测，以最小化评分规则值。与生成的对抗网络（GANS）相比，不需要鉴别者，培训是稳定的。我们对两种混沌模型进行实验和天气观测的全球数据集;结果令人满意，更好地校准而不是由GANS实现的。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

We introduce and study a novel model-selection strategy for Bayesian learning, based on optimal transport, along with its associated predictive posterior law: the Wasserstein population barycenter of the posterior law over models. We first show how this estimator, termed Bayesian Wasserstein barycenter (BWB), arises naturally in a general, parameter-free Bayesian model-selection framework, when the considered Bayesian risk is the Wasserstein distance. Examples are given, illustrating how the BWB extends some classic parametric and non-parametric selection strategies. Furthermore, we also provide explicit conditions granting the existence and statistical consistency of the BWB, and discuss some of its general and specific properties, providing insights into its advantages compared to usual choices, such as the model average estimator. Finally, we illustrate how this estimator can be computed using the stochastic gradient descent (SGD) algorithm in Wasserstein space introduced in a companion paper arXiv:2201.04232v2 [math.OC], and provide a numerical example for experimental validation of the proposed method.

概率分层时间序列预测是时间序列预测的重要变体，其目标是建模和预测具有基本层次关系的多元时间序列。大多数方法都集中在点预测上，并且不提供良好的概率预测分布。最近的最先进的概率预测方法还对点预测和分布样本施加了层次关系，这并不能说明预测分布的相干性。先前的作品还默默地假设数据集始终与给定的层次关系一致，并且不适应显示出与此假设偏差的现实世界数据集。我们弥合了这两个差距，并提出了Profhit，这是一个完全概率的层次预测模型，共同模拟整个层次结构的预测分布。 Profhit使用一种灵活的概率贝叶斯方法，并引入了一种新颖的分布相干性正规化，以从层次关系中学习整个预测分布，以实现强大和校准的预测以及适应不同层次结构一致性的数据集。在评估广泛数据集的PROFHIT时，我们观察到准确性和校准的性能提高了41-88％。由于对完整分布的相干性进行了建模，我们观察到，即使缺少多达10％的输入时间序列数据，其他方法的性能严重降低70％以上，即使最多10％的输入时间序列数据也可以提供可靠的预测。