对极端事件的风险评估需要准确估算超出历史观察范围的高分位数。当风险取决于观察到的预测因子的值时，回归技术用于在预测器空间中插值。我们提出的EQRN模型将来自神经网络和极值理论的工具结合到能够在存在复杂预测依赖性的情况下外推的方法中。神经网络自然可以在数据中融合其他结构。我们开发了EQRN的经常性版本，该版本能够在时间序列中捕获复杂的顺序依赖性。我们将这种方法应用于瑞士AARE集水区中洪水风险的预测。它利用从时空和时间上的多个协变量中利用信息，以提供对回报水平和超出概率的一日预测。该输出从传统的极值分析中补充了静态返回水平，并且预测能够适应不断变化的气候中经历的分配变化。我们的模型可以帮助当局更有效地管理洪水，并通过预警系统最大程度地减少其灾难性影响。
translated by 谷歌翻译
在许多环境环境中的风险管理需要了解驱动极端事件的机制。量化这种风险的有用指标是响应变量的极端分位数，该变量是基于描述气候，生物圈和环境状态的预测变量的。通常，这些分位数位于可观察数据的范围之内，因此，为了估算，需要在回归框架内规范参数极值模型。在这种情况下，经典方法利用预测变量和响应变量之间的线性或加性关系，并在其预测能力或计算效率中受苦；此外，它们的简单性不太可能捕获导致极端野火创造的真正复杂结构。在本文中，我们提出了一个新的方法学框架，用于使用人工中性网络执行极端分位回归，该网络能够捕获复杂的非线性关系并很好地扩展到高维数据。神经网络的“黑匣子”性质意味着它们缺乏从业者通常会喜欢的可解释性的理想特征。因此，我们将线性和加法模型的各个方面与深度学习相结合，以创建可解释的神经网络，这些神经网络可用于统计推断，但保留了高预测准确性。为了补充这种方法，我们进一步提出了一个新颖的点过程模型，以克服与广义极值分布类别相关的有限的下端问题。我们的统一框架的功效在具有高维预测器集的美国野火数据上说明了，我们说明了基于线性和基于样条的回归技术的预测性能的大幅改进。
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。
translated by 谷歌翻译
We develop Bayesian neural networks (BNNs) that permit to model generic nonlinearities and time variation for (possibly large sets of) macroeconomic and financial variables. From a methodological point of view, we allow for a general specification of networks that can be applied to either dense or sparse datasets, and combines various activation functions, a possibly very large number of neurons, and stochastic volatility (SV) for the error term. From a computational point of view, we develop fast and efficient estimation algorithms for the general BNNs we introduce. From an empirical point of view, we show both with simulated data and with a set of common macro and financial applications that our BNNs can be of practical use, particularly so for observations in the tails of the cross-sectional or time series distributions of the target variables.
translated by 谷歌翻译
使用可能的异质动力学估算时间序列数据的价值风险是一项高度挑战的任务。通常，我们面临着一个小的数据问题，结合了高度的非线性，因此对于经典和机器学习估计算法造成了困难。在本文中，我们提出了使用长期记忆（LSTM）神经网络的新型价值估计器，并将其性能与基准GARCH估计器进行比较。我们的结果表明，即使在相对较短的时间序列中，LSTM也可以用于完善或监视风险估计过程，并以非参数方式正确识别潜在的风险动态。我们对模拟和市场数据的估计器进行了评估，重点是异方差，发现LSTM在模拟数据上表现出与GARCH估算器相似的性能，而在实际市场数据上，它对增加波动性或降低波动性更为敏感，并且优于所有现有的现有估计器在异常率和平均分位数评分方面，价值风险。
translated by 谷歌翻译
在这项工作中，我们提出了使用量子缩放（MQ-DRN-S）的分位数回归和扩张的经常性神经网络，并将其应用于库存管理任务。该模型在统计基准（具有外源性变量，QAR-X）的统计基准（分位式自回归模型，QAR-X）而言，该模型更好地表现出更好的性能，而不是在没有时间缩放的MQ-DRNN的情况下更好。以上一系列10,000次销售的elllobo销售超过53周的地平线，每周使用滚动窗口为7天。
translated by 谷歌翻译
预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。
translated by 谷歌翻译
神经网络最近显示出对无似然推理的希望，从而为经典方法提供了魔力的速度。但是，当从独立重复估计参数时，当前的实现是次优的。在本文中，我们使用决策理论框架来争辩说，如果这些模型的模拟很简单，则理想地放置了置换不变的神经网络，可用于为任意模型构造贝叶斯估计器。我们说明了这些估计量在传统空间模型以及高度参数化的空间发射模型上的潜力，并表明它们在其网络设计中不适当地说明复制的神经估计量相当大。同时，它们比基于传统可能性的估计量具有很高的竞争力和更快的速度。我们将估计量应用于红海中海面温度的空间分析，在训练之后，我们获得参数估计值，并通过引导采样对估计值进行不确定性定量，从一秒钟的数百个空间场中获取。
translated by 谷歌翻译
我们提出了一种利用分布人工神经网络的概率电价预测（EPF）的新方法。EPF的新型网络结构基于包含概率层的正则分布多层感知器（DMLP）。使用TensorFlow概率框架，神经网络的输出被定义为一个分布，是正常或可能偏斜且重尾的Johnson的SU（JSU）。在预测研究中，将该方法与最新基准进行了比较。该研究包括预测，涉及德国市场的日常电价。结果显示了对电价建模时较高时刻的重要性的证据。
translated by 谷歌翻译
学习条件密度和识别影响整个分布的因素是数据驱动应用程序中的重要任务。常规方法主要与摘要统计数据合作，因此不足以进行全面的调查。最近，关于功能回归方法的发展，将密度曲线作为功能结果建模。开发此类模型的一个主要挑战在于非阴性的固有约束和密度结果功能空间的单位积分。为了克服这个基本问题，我们建议Wasserstein分销学习（WDL），这是一个柔性在尺度回归建模框架，始于Wasserstein距离$ W_2 $，作为密度结果空间的适当指标。然后，我们将半参数条件高斯混合模型（SCGMM）作为模型类$ \ mathfrak {f} \ otimes \ Mathcal {t} $作为模型类$ \ mathfrak {scgmm）介绍。生成的度量空间$（\ Mathfrak {f} \ otimes \ Mathcal {t}，W_2）$满足所需的约束，并提供密集且封闭的功能子空间。为了拟合所提出的模型，我们基于增强树的大量最小化优化进一步开发了有效的算法。与以前的文献中的方法相比，WDL更好地表征了条件密度的非线性依赖性及其得出的摘要统计。我们通过模拟和现实世界应用来证明WDL框架的有效性。
translated by 谷歌翻译
有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。
translated by 谷歌翻译
概率时间序列预测在许多应用领域至关重要，例如零售，电子商务，金融或生物学。随着大量数据的增加，已经提出了许多神经架构为此问题。特别是，基于变压器的方法实现了现实世界基准的最先进的性能。然而，这些方法需要了解大量参数，这对培训此类模型的计算资源施加了高的内存要求。为了解决这个问题，我们介绍了一种新颖的双向时间卷积网络（Bitcn），该网络（Bitcn）需要比公共变换器的方法更少的参数较少的阶数。我们的模型结合了两个时间卷积网络（TCN）：第一个网络编码了时间序列的未来协变量，而第二网络编码过往观察和协变量。我们通过这两个网络联合估计输出分布的参数。四个现实世界数据集的实验表明，我们的方法与四个最先进的概率预测方法进行了表演，包括基于变压器的方法和Wavenet，在两点指标（Smape，NRMSE）以及A上大多数情况下的范围指标（定量损失百分位数）集。其次，我们证明我们的方法比基于变压器的方法所需的参数明显更少，这意味着模型可以培训更快，内存要求显着降低，因此降低了部署这些模型的基础架构成本。
translated by 谷歌翻译
在智能电网和负载平衡的背景下，每日峰值负荷预测已成为能源行业利益相关者的关键活动。对峰值幅度和时序的理解对于实现峰值剃须等智能电网策略至关重要。本文提出的建模方法利用了高分辨率和低分辨率信息来预测每日峰值需求规模和时序。由此产生的多分辨率建模框架可以适应不同的模型类。本文的主要贡献是一般性和正式介绍多分辨率建模方法，b）关于通过广义添加剂模型和神经网络和C）实验结果的不同决议的建模方法的讨论英国电力市场。结果证实，建议的建模方法的预测性能与低分辨率和高分辨率替代品具有竞争力。
translated by 谷歌翻译
本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。
translated by 谷歌翻译
Forecasting time series with extreme events has been a challenging and prevalent research topic, especially when the time series data are affected by complicated uncertain factors, such as is the case in hydrologic prediction. Diverse traditional and deep learning models have been applied to discover the nonlinear relationships and recognize the complex patterns in these types of data. However, existing methods usually ignore the negative influence of imbalanced data, or severe events, on model training. Moreover, methods are usually evaluated on a small number of generally well-behaved time series, which does not show their ability to generalize. To tackle these issues, we propose a novel probability-enhanced neural network model, called NEC+, which concurrently learns extreme and normal prediction functions and a way to choose among them via selective back propagation. We evaluate the proposed model on the difficult 3-day ahead hourly water level prediction task applied to 9 reservoirs in California. Experimental results demonstrate that the proposed model significantly outperforms state-of-the-art baselines and exhibits superior generalization ability on data with diverse distributions.
translated by 谷歌翻译
在许多应用和研究领域，时间序列的概率预测是重要的事情。为了从概率预测中得出结论，我们必须确保用于近似真实预测分布的模型类足够表达。然而，模型本身的特征，例如其不确定性或特征结果关系并不重要。本文提出了自回旋转换模型（ATM），该模型类是受各种研究方向启发的模型类别，使用半参数分布假设和可解释的模型规范结合表达性分布预测。我们在理论上和通过几个模拟和真实的预测数据集上通过经验评估来证明ATM的属性。
translated by 谷歌翻译
自回旋运动平均值（ARMA）模型是经典的，可以说是模型时间序列数据的最多研究的方法之一。它具有引人入胜的理论特性，并在从业者中广泛使用。最近的深度学习方法普及了经常性神经网络（RNN），尤其是长期记忆（LSTM）细胞，这些细胞已成为神经时间序列建模中最佳性能和最常见的构件之一。虽然对具有长期效果的时间序列数据或序列有利，但复杂的RNN细胞并不总是必须的，有时甚至可能不如更简单的复发方法。在这项工作中，我们介绍了ARMA细胞，这是一种在神经网络中的时间序列建模的更简单，模块化和有效的方法。该单元可以用于存在复发结构的任何神经网络体系结构中，并自然地使用矢量自动进程处理多元时间序列。我们还引入了Convarma细胞作为空间相关时间序列的自然继任者。我们的实验表明，所提出的方法在性能方面与流行替代方案具有竞争力，同时由于其简单性而变得更加强大和引人注目。
translated by 谷歌翻译
近期不同尺度电力消耗的丰富数据开辟了新的挑战，并强调了新技术的需求，以利用更精细的尺度提供的信息，以便改善更广泛的尺度预测。在这项工作中，我们利用该分层预测问题与多尺度传输学习之间的相似性。我们分别开发了两种分层转移学习方法，分别基于广义添加剂模型和随机林的堆叠，以及专家聚合的使用。我们将这些方法应用于在第一种情况下使用智能仪表数据，以及第二种情况下的区域数据的智能仪表数据将这些方法应用于两种电力负荷预测。对于这两个useCases，我们将我们的方法的表现与基准算法的表演进行比较，我们使用可变重要性分析调查其行为。我们的结果表明了两种方法的兴趣，这导致预测的重大改善。
translated by 谷歌翻译
我们在在线环境中研究了非线性预测，并引入了混合模型，该模型通过端到端体系结构有效地减轻了对手工设计的功能的需求和传统非线性预测/回归方法的手动模型选择问题。特别是，我们使用递归结构从顺序信号中提取特征，同时保留状态信息，即历史记录和增强决策树以产生最终输出。该连接是以端到端方式的，我们使用随机梯度下降共同优化整个体系结构，我们还为此提供了向后的通过更新方程。特别是，我们采用了一个经常性的神经网络（LSTM）来从顺序数据中提取自适应特征，并提取梯度增强机械（Soft GBDT），以进行有效的监督回归。我们的框架是通用的，因此可以使用其他深度学习体系结构进行特征提取（例如RNN和GRU）和机器学习算法进行决策，只要它们是可区分的。我们证明了算法对合成数据的学习行为以及各种现实生活数据集对常规方法的显着性能改进。此外，我们公开分享提出的方法的源代码，以促进进一步的研究。
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译