随机微分方程的系统定义了一系列随机波动率模型。尽管这些模型在金融和统计气候学等领域中取得了广泛的成功，但它们通常缺乏在历史数据上条件产生真正的后验分布的能力。为了解决这一基本限制，我们展示了如何将一类随机波动率模型重新塑造为具有专门协方差函数的层次高斯工艺（GP）模型。该GP模型保留了随机波动率模型的电感偏差，同时提供了GP推断给出的后验预测分布。在此框架内，我们从研究良好的域中汲取灵感，以引入新的型号，即Volt和Magpie，这些模型在库存和风速预测中的表现明显超过了基线，并且自然扩展到多任务设置。

在环境中，从天气预报到财务预测的政治预测，未来二元成果的概率估计通常随着时间的推移而发展。例如，随着新信息可用的时间，特定日期的估计可能性在特定日变化。鉴于这种概率路径的集合，我们介绍了一个贝叶斯框架 - 我们称之为高斯潜在信息鞅，或粘合 - 用于模拟动态预测的结构随着时间的推移。例如，假设一个星期下雨的可能性是50％，并考虑两个假设情景。首先，人们希望预测同样可能成为明天的25％或75％;第二，人们预计预测将在未来几天保持不变。一个时间敏感的决策者可以在后一种情况下立即选择一个行动方案，但可能会推迟他们在前者的决定，知道新信息迫在眉睫。我们通过假设根据信息流的潜在进程的预测更新来模拟这些轨迹，从历史数据推断出来。与时间序列分析的一般方法相比，这种方法保留了诸如Martingale结构的概率路径的重要属性，以及适当的挥发性，并且更好地量化了概率路径周围的未来不确定性。我们表明光泽优于三种流行的基线方法，产生了由三种不同度量测量的更高估计的后验概率路径分布。通过阐明时间随着时间的推移来解除预测的动态结构，希望能帮助个人做出更明智的选择。

Temporal data like time series are often observed at irregular intervals which is a challenging setting for existing machine learning methods. To tackle this problem, we view such data as samples from some underlying continuous function. We then define a diffusion-based generative model that adds noise from a predefined stochastic process while preserving the continuity of the resulting underlying function. A neural network is trained to reverse this process which allows us to sample new realizations from the learned distribution. We define suitable stochastic processes as noise sources and introduce novel denoising and score-matching models on processes. Further, we show how to apply this approach to the multivariate probabilistic forecasting and imputation tasks. Through our extensive experiments, we demonstrate that our method outperforms previous models on synthetic and real-world datasets.

高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。

标准GPS为行为良好的流程提供了灵活的建模工具。然而，预计与高斯的偏差有望在现实世界数据集中出现，结构异常值和冲击通常会观察到。在这些情况下，GP可能无法充分建模不确定性，并且可能会过度推动。在这里，我们将GP框架扩展到一类新的时间变化的GP，从而可以直接建模重尾非高斯行为，同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的，并使用L \'{e} Vy过程对潜在转化的随机演变进行建模，该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序，并证明了与标准GP相比的潜在好处。

深度学习模型在各种时间序列预测任务中显示出了令人印象深刻的结果，在这些任务中，对过去的未来有条件分布进行建模是本质。但是，当这种条件分布是非平稳的时候，这些模型始终学习并准确预测的挑战。在这项工作中，我们提出了一种新方法，通过清楚地将固定的条件分布模型从非平稳动力学建模中清晰地取消固定的条件分布建模，以对非平稳条件分布进行建模。我们的方法基于贝叶斯动态模型，该模型可以适应条件分布的变化和深层条件分布模型，该模型可以使用分解的输出空间处理大型多元时间序列。我们对合成和流行的公共数据集的实验结果表明，我们的模型可以比最先进的深度学习解决方案更好地适应非平稳时间序列。

引入了涉及高斯流程（GPS）的模型，以同时处理多个功能数据的多任务学习，聚类和预测。该过程充当了功能数据的基于模型的聚类方法，也是对新任务进行后续预测的学习步骤。该模型是将多任务GPS与常见平均过程的混合物实例化。得出了一种用于处理超参数的优化以及超构件对潜在变量和过程的估计的优化。我们建立了明确的公式，用于将平均过程和潜在聚类变量整合到预测分布中，这是两个方面的不确定性。该分布定义为集群特异性GP预测的混合物，在处理组结构数据时，可以增强性能。该模型处理观察的不规则网格，并提供了关于协方差结构的不同假设，用于在任务之间共享其他信息。聚类和预测任务上的性能将通过各种模拟方案和真实数据集进行评估。总体算法称为magmaclust，可公开作为R包。

我们开发了一种基于嘈杂观测值的时空动力学模型的完全贝叶斯学习和校准的方法。通过将观察到的数据与机械系统的模拟计算机实验融合信息来实现校准。联合融合使用高斯和非高斯州空间方法以及高斯工艺回归。假设动态系统受到有限的输入收集的控制，高斯过程回归通过许多训练运行来了解这些参数的效果，从而推动了时空状态空间组件的随机创新。这可以在空间和时间上对动态进行有效的建模。通过减少的高斯过程和共轭模型规范，我们的方法适用于大规模校准和反问题。我们的方法是一般，可扩展的，并且能够学习具有潜在模型错误指定的各种动力系统。我们通过解决普通和部分非线性微分方程的分析中产生的反问题来证明这种灵活性，此外，还可以在网络上生成时空动力学的黑盒计算机模型。

功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控，维护，设计和规划方面证明是有用的。然而，在实践中，测量并不总是对应于理想曲线：电源缩减将显示为（附加）功能组件。这种多值关系不能通过常规回归建模，并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法，可以在缩减电力数据中推断多值关系。使用基于人群的方法，将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型，以便在整个人口中提供精确的实际功率数据表示。

随机过程提供了数学上优雅的方式模型复杂数据。从理论上讲，它们为可以编码广泛有趣的假设的功能类提供了灵活的先验。但是，实际上，难以通过优化或边缘化来有效推断，这一问题进一步加剧了大数据和高维输入空间。我们提出了一种新颖的变性自动编码器（VAE），称为先前的编码变量自动编码器（$ \ pi $ vae）。 $ \ pi $ vae是有限的交换且Kolmogorov一致的，因此是一个连续的随机过程。我们使用$ \ pi $ vae学习功能类的低维嵌入。我们表明，我们的框架可以准确地学习表达功能类，例如高斯流程，也可以学习函数的属性以启用统计推断（例如log高斯过程的积分）。对于流行的任务，例如空间插值，$ \ pi $ vae在准确性和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了所学的低维独立分布的潜在空间表示提供了一种优雅，可扩展的方法，可以在概率编程语言（例如Stan）中对随机过程进行贝叶斯推断。

The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.

贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。

准确可靠的流行病预测是对公共卫生规划和疾病缓解影响的重要问题。大多数现有的疫情预测模型无视不确定性量化，导致错误校准的预测。近期神经模型的作品，用于不确定感知的时序预测也有几个限制;例如很难在贝叶斯NNS中指定有意义的前瞻，而Deep Leaseming的方法在实践中是计算昂贵的。在本文中，我们填补了这个重要的差距。我们将预测任务模拟为概率生成过程，并提出了一种名为EPIFNP的功能神经过程模型，其直接模拟预测值的概率密度。 EPIFNP利用动态随机相关图来模拟非参数方式之间序列之间的相关性，并设计不同的随机潜变量以捕获不同视角的功能不确定性。我们在实时流感预测环境中的广泛实验表明，EPIFNP在准确性和校准度量中显着优于先前的最先进模型，精度高达2.5倍，校准2.4倍。此外，由于其生成过程的性质，EPIFNP了解当前季节与历史季节类似模式之间的关系，从而实现可解释的预测。超越疫情预测，EPIFNP可以是独立的利益，以便在深度顺序模型中推进预测性分析的深度顺序模型

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

我们介绍了一种可扩展的方法来实现高斯工艺推断，它将时空滤波与自然梯度变化推断相结合，导致用于多变量数据的非共轭GP方法，其相对于时间线性缩放。我们的自然梯度方法可以应用并行滤波和平滑，进一步降低时间跨度复杂性在时间步长的对数。我们得出了稀疏近似，该稀疏近似值在减少的空间诱导点上构造一个状态空间模型，并且显示用于可分离的马尔可夫内核，完整和稀疏的情况完全恢复标准变分GP，同时表现出有利的计算特性。为了进一步改善空间缩放，我们提出了一种平均场景假设空间位置之间的独立性，当与稀疏性和平行化连接时，这导致了大规模的时空问题的有效和准确的方法。

线性系统发生在整个工程和科学中，最著名的是差分方程。在许多情况下，系统的强迫函数尚不清楚，兴趣在于使用对系统的嘈杂观察来推断强迫以及其他未知参数。在微分方程中，强迫函数是自变量（通常是时间和空间）的未知函数，可以建模为高斯过程（GP）。在本文中，我们展示了如何使用GP内核的截断基础扩展，如何使用线性系统的伴随有效地推断成GP的功能。我们展示了如何实现截短的GP的确切共轭贝叶斯推断，在许多情况下，计算的计算大大低于使用MCMC方法所需的计算。我们证明了普通和部分微分方程系统的方法，并表明基础扩展方法与数量适中的基础向量相近。最后，我们展示了如何使用贝叶斯优化来推断非线性模型参数（例如内核长度尺度）的点估计值。

许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

与常规的GPS相比，深层高斯工艺（DGP）提供了丰富的模型，可以更好地表示具有不同的机制或急剧变化的功能。在这项工作中，我们为计算机模型模拟的DGP提出了一种新颖的推理方法。通过随机归纳潜在层，我们的方法将DGP转换为链接的GP：为链接计算机模型系统开发的新型模拟器。这种转换允许有效的DGP培训程序，仅涉及常规GP的优化。此外，DGP模拟器的预测可以通过自然利用链接的GP仿真器的封闭形式的预测手段和方差来快速和分析性地进行。我们在一系列合成示例和经验应用中演示了该方法，并表明它是DGP替代推理的竞争候选者，将效率相结合，可与双随机的变异推理和不确定性量化相媲美，与完全巴约西亚方法相当。还生产了$ \ texttt {python} $ package $ \ texttt {dgpsi} $实现该方法并在https://github.com/mingdeyu/dgp上找到。

多任务高斯流程（MTGP）是高斯流程（GP）框架的多输出回归问题的解决方案，其中在观察值的情况下，回归器的$ T $元素不能被认为是有条件独立的。标准MTGP模型假设同时存在多任务协方差矩阵，该矩阵是插入式矩阵的函数和噪声协方差矩阵。这些矩阵需要通过订单$ p $的低级简化来近似，以减少从$ t^2 $到$ tp $学习的参数数量。在这里，我们介绍了一种新颖的方法，该方法通过将其减少到一组条件的单变量GP来简化了多任务学习，而无需任何低级近似值，因此完全消除了为超参数$ p $选择足够值的要求。同时，通过使用层次结构和近似模型扩展此方法，提出的扩展可以在仅学习$ 2T $参数后能够恢复多任务协方差和噪声矩阵，从而避免对任何模型超参数的验证并减少整体的验证模型的复杂性以及过度拟合的风险。关于合成和实际问题的实验结果证实了这种推论方法在其准确恢复原始噪声和信号矩阵的能力方面的优势，以及与其他最先进的MTGP方法相比，实现的性能提高。我们还将该模型与标准GP工具箱集成在一起，表明它具有与最先进的选项的计算竞争。