概率预测包括基于过去观察的未来结果的概率分布组成。在气象中，运行基于物理的数值模型的集合以获得此类分发。通常，使用评分规则，预测分配的功能和观察结果进行评估。通过一些评分规则，可以同时评估预测的校准和清晰度。在深度学习中，生成神经网络参数化在高维空间上的分布，并通过从潜变量转换绘制来轻松允许采样。条件生成网络另外限制输入变量上的分布。在此稿件中，我们使用培训的条件生成网络执行概率预测，以最小化评分规则值。与生成的对抗网络（GANS）相比，不需要鉴别者，培训是稳定的。我们对两种混沌模型进行实验和天气观测的全球数据集;结果令人满意，更好地校准而不是由GANS实现的。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译
生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。
translated by 谷歌翻译
尽管有持续的改进，但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是，几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络（GAN）在超分辨率问题上取得了成功，即学习为粗图像添加精细的结构。 Leinonen等。 （2020年）先前使用GAN来产生重建的高分辨率大气场的集合，并给定较粗糙的输入数据。在本文中，我们证明了这种方法可以扩展到更具挑战性的问题，即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构，同时考虑不可忽略的预测错误。我们表明，甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时，可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数，功率谱信息和等级直方图（用于评估校准）的最佳现有缩减方法。我们测试了我们的模型，并表明它们在各种场景中的表现，包括大雨。
translated by 谷歌翻译
在回归设置中量化不确定性的许多方法中，指定完整量子函数具有吸引力，随着量级可用于解释和评估。预测每个输入的真实条件定量的模型，在所有量化水平上都具有潜在的不确定性的正确和有效的表示。为实现这一目标，许多基于当前的分位式的方法侧重于优化所谓的弹球损失。然而，这种损失限制了适用的回归模型的范围，限制了靶向许多所需特性的能力（例如校准，清晰度，中心间隔），并且可能产生差的条件量数。在这项工作中，我们开发了满足这些缺点的新分位式方法。特别是，我们提出了可以适用于任何类别的回归模型的方法，允许在校准和清晰度之间选择权衡，优化校准中心间隔，并产生更准确的条件定位。我们对我们的方法提供了彻底的实验评估，其中包括核融合中的高维不确定性量化任务。
translated by 谷歌翻译
我们为无随机动态系统的数据驱动模拟提供了一个深度学习模型，而无需分布假设。深度学习模型包括一个经常性的神经网络，旨在学习时间行进结构，以及从随机动力系统的概率分布来学习和采样的生成的对抗性网络。虽然生成的对策网络提供了一个强大的工具来建模复杂的概率分布，但训练通常在没有适当的正则化的情况下失败。在这里，我们提出了一种基于顺序推理问题的一致性条件的生成对抗性网络的正则化策略。首先，最大平均差异（MMD）用于实施随机过程的条件和边际分布之间的一致性。然后，通过使用MMD或来自多个鉴别器来规范多步预测的边缘分布。通过使用具有复杂噪声结构的三个随机过程来研究所提出的模型的行为。
translated by 谷歌翻译
时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。
translated by 谷歌翻译
许多工程问题需要预测实现实现变异性或建模量的精致描述。在这种情况下，有必要采用未知高维空间的元素，其中可能具有数百万自由度。虽然存在能够具有具有已知形状的概率密度函数（PDF）的方法的方法，但是当分布未知时需要进行若干近似。在本文中，基础分布的采样方法以及底层分布的推动都是用一种称为生成对抗网络（GaN）的数据驱动方法，该方法列举了两个竞争的神经网络来生产可以有效地产生样本的网络从训练集分发。在实践中，通常需要从条件分布中绘制样品。当条件变量是连续的时，可以仅可用对应于调节变量的特定值的一个（如果有）数据点，这不足以估计条件分布。使用PDF的条件时刻的先验估计，处理此问题。这里比较两种方法，随机估计和外部神经网络，用于计算这些时刻;但是，可以使用任何优选的方法。在过滤的湍流流场的解构的情况下，证明了算法。结果表明，与最先进的方法相比，所提出的算法的所有版本有效地对目标条件分布进行了最小的影响，对样品的质量的影响最小。另外，该过程可以用作由连续变量的条件GaN（CGAN）产生的样本的分集的度量。
translated by 谷歌翻译
开发准确，灵活和数值有效的不确定性量化（UQ）方法是机器学习中的基本挑战之一。以前，已经提出了一种名为Disco Nets的UQ方法（Bouchacourt等，2016），该方法通过最大程度地减少训练数据中所谓的能量评分来训练神经网络。该方法在计算机视觉中的手姿势估计任务上表现出了出色的性能，但是尚不清楚该方法是否可以很好地对表格数据进行回归，以及它如何与较新的高级UQ方法（例如NGBOOST）竞争。在本文中，我们提出了改进的迪斯科网络神经结构，该建筑接受了更稳定和平稳的训练。我们将这种方法基于其他现实世界表格数据集，并确认它具有竞争力甚至优于标准的UQ基准。我们还为使用能量评分学习预测分布的有效性提供了新的基本证明。此外，我们指出的是，迪斯科的原始形式忽略了认知的不确定性，只捕获了不确定性。我们为这个问题提出了一个简单的解决方案。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramér GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。
translated by 谷歌翻译
Temporal data like time series are often observed at irregular intervals which is a challenging setting for existing machine learning methods. To tackle this problem, we view such data as samples from some underlying continuous function. We then define a diffusion-based generative model that adds noise from a predefined stochastic process while preserving the continuity of the resulting underlying function. A neural network is trained to reverse this process which allows us to sample new realizations from the learned distribution. We define suitable stochastic processes as noise sources and introduce novel denoising and score-matching models on processes. Further, we show how to apply this approach to the multivariate probabilistic forecasting and imputation tasks. Through our extensive experiments, we demonstrate that our method outperforms previous models on synthetic and real-world datasets.
translated by 谷歌翻译
可预测的不确定性可以通过两个性能 - 校准和清晰度来表征。本文争辩说明这些属性的不确定性，并提出了在深度学习中强制执行它们的简单算法。我们的方法专注于校准 - 分布校准的最强概念 - 并通过用神经估计器拟合低维密度或定量函数来实施它。由此产生的方法比以前的分类和回归方式更简单，更广泛适用。凭经验，我们发现我们的方法改善了几个任务的预测性不确定性，具有最小的计算和实现开销。我们的见解表明，培训深度学习模式的简单和改进方式，导致应准确的不确定性，应利用，以改善下游应用程序的性能。
translated by 谷歌翻译
在没有明确或易于处理的可能性的情况下，贝叶斯人经常诉诸于贝叶斯计算（ABC）进行推理。我们的工作基于生成的对抗网络（GAN）和对抗性变分贝叶斯（GAN），为ABC桥接了ABC。 ABC和GAN都比较了观察到的数据和假数据的各个方面，分别从后代和似然模拟。我们开发了一个贝叶斯gan（B-GAN）采样器，该采样器通过解决对抗性优化问题直接靶向后部。 B-GAN是由有条件gan在ABC参考上学习的确定性映射驱动的。一旦训练了映射，就可以通过以可忽略的额外费用过滤噪声来获得IID后样品。我们建议使用（1）数据驱动的提案和（2）变化贝叶斯提出两项后处理的本地改进。我们通过常见的bayesian结果支持我们的发现，表明对于某些神经网络发生器和歧视器，真实和近似后骨之间的典型总变化距离收敛到零。我们对模拟数据的发现相对于一些最新的无可能后验模拟器显示出竞争激烈的性能。
translated by 谷歌翻译
当时间序列具有自然组结构时，出现分层预测问题，并且需要在多个聚集水平和对组中分类的预测。在这些问题中，通常希望满足给定层次结构中的聚合约束，称为文献中的分层一致性。在生产准确的预测的同时保持层次连贯可能是一个具有挑战性的问题，特别是在概率预测的情况下。我们提出了一种能够对等级序列准确和相干的概率预测的新方法。我们称之为Deep Poisson混合网络（DPMN）。它依赖于神经网络的组合和用于分层多变量时间序列结构的关节分布的统计模型。通过施工，模型可确保分层一致性，并为预测分布的聚集和分解提供简单的规则。我们进行广泛的实证评估，将DPMN与其他最先进的方法进行比较，该方法在多个公共数据集上产生分层相干的概率预测。与现有的相干概率模型相比，我们在澳大利亚国内旅游数据的总体连续排名概率评分（CRP）的总体连续排名概率评分（CRP）的相对改善，24.2位于青年杂货店销售数据集中，6.9％在旧金山湾区公路交通数据集。
translated by 谷歌翻译
我们提出了一种对任何概率基础预测进行核对的原则方法。我们展示了如何通过通过贝叶斯规则合并底部预测和上层时间序列中包含的信息来获得概率对帐。我们在玩具层次结构上说明了我们的方法，展示了我们的框架如何允许对任何基本预测的概率对帐。我们对计数时间序列的时间层次结构进行对帐进行实验，与基于高斯或截短的高斯分布相比，获得了重大改进。
translated by 谷歌翻译
在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
我们提出了一种利用分布人工神经网络的概率电价预测（EPF）的新方法。EPF的新型网络结构基于包含概率层的正则分布多层感知器（DMLP）。使用TensorFlow概率框架，神经网络的输出被定义为一个分布，是正常或可能偏斜且重尾的Johnson的SU（JSU）。在预测研究中，将该方法与最新基准进行了比较。该研究包括预测，涉及德国市场的日常电价。结果显示了对电价建模时较高时刻的重要性的证据。
translated by 谷歌翻译
我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。
translated by 谷歌翻译