上印度河盆地喜马拉雅山为2.7亿人和无数的生态系统提供水。然而，在这一领域，降水是水文建模的关键组成部分。围绕这种不确定性的关键挑战来自整个盆地降水的复杂时空分布。在这项工作中，我们提出了具有结构化非平稳核的高斯过程，以模拟UIB中的降水模式。先前试图在印度库什karakoram喜马拉雅地区量化或建模降水的尝试通常是定性的，或者包括在较低分辨率下无法解决的粗略假设和简化。这项研究也几乎没有错误传播。我们用非平稳的Gibbs内核参数为输入依赖性长度尺度来解释降水的空间变化。这允许后函数样品适应印度河地区不同基础地形所固有的不同降水模式。输入依赖的长度尺寸由带有固定平方 - 指数内核的潜在高斯过程控制，以使功能级别的超参数平稳变化。在消融实验中，我们通过证明其对空间协方差，时间结构和关节时空重建的能力来激励所提出的内核的每个组成部分。我们通过固定的高斯工艺和深度高斯工艺进行基准测试模型。

The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.

高斯工艺（GPS）模型是具有由内核功能控制的电感偏差的功能丰富的分布。通过使用边际似然作为目标优化内核超参数来实现学习。这种称为II类型最大似然（ML-II）的经典方法产生了高参数的点估计，并继续成为培训GPS的默认方法。然而，这种方法在低估预测不确定性并且易于在有许多近似数目时易于过度拟合。此外，基于梯度的优化使ML-II点估计高度易受局部最小值的存在。这项工作提出了一种替代的学习过程，其中核心函数的超参数使用嵌套采样（NS）被边缘化，这是一种非常适合于复杂的多模态分布来采样的技术。我们专注于具有频谱混合物（SM）粒子的回归任务，并发现定量模型不确定性的原则方法导致在一系列合成和基准数据集中的预测性能中的大量收益。在这种情况下，还发现嵌套的抽样在汉密尔顿蒙特卡罗（HMC）上提供了速度优势，广泛认为是基于MCMC推断的金标准。

最近，疾病控制和预防中心（CDC）与其他联邦机构合作，以鉴定冠心病疾病2019年（Covid-19）发病率（热点）的县，并为当地卫生部门提供支持，以限制疾病的传播。了解热点事件的时空动态非常重视支持政策决策并防止大规模爆发。本文提出了一种时空贝叶斯框架，用于早期检测美国Covid-19热点（在县级）。我们假设观察到的病例和热点都依赖于一类潜随机变量，其编码Covid-19传输的底层时空动态。这种潜在的变量遵循零均值高斯过程，其协方差由非静止内核功能指定。我们内核功能的最突出的特征是引入深度神经网络，以增强模型的代表性，同时仍然享有内核的可解释性。我们得出了一种稀疏的模型，并使用变分的学习策略适合模型，以规避大数据集的计算诡计。与其他基线方法相比，我们的模型展示了更好的解释性和优越的热点检测性能。

随机微分方程的系统定义了一系列随机波动率模型。尽管这些模型在金融和统计气候学等领域中取得了广泛的成功，但它们通常缺乏在历史数据上条件产生真正的后验分布的能力。为了解决这一基本限制，我们展示了如何将一类随机波动率模型重新塑造为具有专门协方差函数的层次高斯工艺（GP）模型。该GP模型保留了随机波动率模型的电感偏差，同时提供了GP推断给出的后验预测分布。在此框架内，我们从研究良好的域中汲取灵感，以引入新的型号，即Volt和Magpie，这些模型在库存和风速预测中的表现明显超过了基线，并且自然扩展到多任务设置。

我们引入了一个计算有效的数据驱动框架，适合量化物理参数中的不确定性和计算机模型的模型公式，以微分方程为代表。我们构建了物理知识的先验，它们是多输出的GP先验，它们在协方差函数中编码模型的结构。我们将其扩展到一个完全贝叶斯的框架中，该框架量化了物理参数和模型预测的不确定性。由于物理模型通常是对实际过程的不完美描述，因此我们允许该模型通过考虑差异函数来偏离观察到的数据。为了获得后验分布，我们使用汉密尔顿蒙特卡洛采样。我们在使用血液动力学模型的仿真研究中证明了我们的方法，这些模型是时间依赖的微分方程。与我们的建模选择更复杂的模型模拟数据，目的是根据已知的数学连接学习物理参数。为了证明我们的方法的灵活性（使用热方程式的示例），还包括一个时空依赖的微分方程，其中还包括我们考虑偏见的数据收购过程的情况。最后，我们使用医学试验中获得的实际数据符合血液动力学模型。

这项工作提出了一个非参数时空模型，用于在长期背景下通过移动自主机器人绘制人类活动。基于变异性高斯过程回归，该模型结合了先前的空间和时间周期性依赖性信息，以创建人类事件的连续表示。由机器人运动产生的不均匀数据分布通过异源性可能性函数包括在模型中，可以作为预测性不确定性。使用稀疏的公式，可以在数周内进行数据集，并且可以将数百平方米用于模型创建。基于多周数据集的实验评估表明，所提出的方法在预测质量和随后的路径计划方面都超过了艺术的表现。

标准GPS为行为良好的流程提供了灵活的建模工具。然而，预计与高斯的偏差有望在现实世界数据集中出现，结构异常值和冲击通常会观察到。在这些情况下，GP可能无法充分建模不确定性，并且可能会过度推动。在这里，我们将GP框架扩展到一类新的时间变化的GP，从而可以直接建模重尾非高斯行为，同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的，并使用L \'{e} Vy过程对潜在转化的随机演变进行建模，该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序，并证明了与标准GP相比的潜在好处。

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。

We introduce scalable deep kernels, which combine the structural properties of deep learning architectures with the non-parametric flexibility of kernel methods. Specifically, we transform the inputs of a spectral mixture base kernel with a deep architecture, using local kernel interpolation, inducing points, and structure exploiting (Kronecker and Toeplitz) algebra for a scalable kernel representation. These closed-form kernels can be used as drop-in replacements for standard kernels, with benefits in expressive power and scalability. We jointly learn the properties of these kernels through the marginal likelihood of a Gaussian process. Inference and learning cost O(n) for n training points, and predictions cost O(1) per test point. On a large and diverse collection of applications, including a dataset with 2 million examples, we show improved performance over scalable Gaussian processes with flexible kernel learning models, and stand-alone deep architectures.

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性，以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵，因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中，我们使用现实世界的光检测和测量（LIDAR）测量的风力涡轮机唤醒，用机器学习构建预测代理模型。具体而言，我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间，其给出了唤醒激光雷达测量的计算易逼近的近似。然后，我们学习使用深神经网络的参数空间和（潜在空间）唤醒流场之间的映射。此外，我们还展示了使用概率机器学习技术，即高斯过程建模，除了数据中的认知和炼拉内不确定性之外，学习参数空间潜空间映射。最后，为了应对培训大型数据集，我们展示了使用变分高斯过程模型，为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外，我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说，我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似，其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。

In this work, we propose a novel generative model for mapping inputs to structured, high-dimensional outputs using structured conditional normalizing flows and Gaussian process regression. The model is motivated by the need to characterize uncertainty in the input/output relationship when making inferences on new data. In particular, in the physical sciences, limited training data may not adequately characterize future observed data; it is critical that models adequately indicate uncertainty, particularly when they may be asked to extrapolate. In our proposed model, structured conditional normalizing flows provide parsimonious latent representations that relate to the inputs through a Gaussian process, providing exact likelihood calculations and uncertainty that naturally increases away from the training data inputs. We demonstrate the methodology on laser-induced breakdown spectroscopy data from the ChemCam instrument onboard the Mars rover Curiosity. ChemCam was designed to recover the chemical composition of rock and soil samples by measuring the spectral properties of plasma atomic emissions induced by a laser pulse. We show that our model can generate realistic spectra conditional on a given chemical composition and that we can use the model to perform uncertainty quantification of chemical compositions for new observed spectra. Based on our results, we anticipate that our proposed modeling approach may be useful in other scientific domains with high-dimensional, complex structure where it is important to quantify predictive uncertainty.

Deep Gaussian工艺（DGP）作为贝叶斯学习的先验模型直观地利用功能组成中的表达能力。 DGP还提供了不同的建模功能，但是推断很具有挑战性，因为潜在功能空间的边缘化是无法处理的。借助Bochner定理，具有平方指数内核的DGP可以看作是由随机特征层，正弦和余弦激活单元以及随机重量层组成的深度三角网络。在具有瓶颈的宽极限中，我们表明重量空间视图产生了相同的有效协方差函数，该函数先前在功能空间中获得。同样，在网络参数上改变先前的分布相当于使用不同的内核。因此，DGP可以转换为深瓶颈触发网络，可以通过该网络获得确切的最大后验估计。有趣的是，网络表示可以研究DGP的神经切线核，这也可能揭示了棘手的预测分布的平均值。从统计上讲，与浅网络不同，有限宽度的深网具有与极限内核的协方差，并且内部和外部宽度可能在功能学习中起不同的作用。存在数值模拟以支持我们的发现。

高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。

使用马尔可夫链蒙特卡洛（Monte Carlo）以贝叶斯方式将理论模型拟合到实验数据中，通常需要一个评估数千（或数百万）型的型号。当模型是慢速到计算的物理模拟时，贝叶斯模型拟合就变得不可行。为了解决这个问题，可以使用模拟输出的第二个统计模型，该模型可以用来代替模型拟合期间的完整仿真。选择的典型仿真器是高斯过程（GP），这是一种灵活的非线性模型，在每个输入点提供了预测均值和方差。高斯流程回归对少量培训数据（$ n <10^3 $）非常有效，但是当数据集大小变大时，训练和用于预测的速度慢。可以使用各种方法来加快中高级数据集制度（$ n> 10^5 $）的加快高斯流程，从而使人们的预测准确性大大降低了。这项工作研究了几种近似高斯过程模型的准确度折叠 - 稀疏的变异GP，随机变异GP和深内核学习的GP - 在模拟密度功能理论（DFT）模型的预测时。此外，我们使用模拟器以贝叶斯的方式校准DFT模型参数，使用观察到的数据，解决数据集大小所施加的计算屏障，并将校准结果与先前的工作进行比较。这些校准的DFT模型的实用性是根据观察到的数据对实验意义的核素的性质进行预测，例如超重核。

Stellar photospheric activity is known to limit the detection and characterisation of extra-solar planets. In particular, the study of Earth-like planets around Sun-like stars requires data analysis methods that can accurately model the stellar activity phenomena affecting radial velocity (RV) measurements. Gaussian Process Regression Networks (GPRNs) offer a principled approach to the analysis of simultaneous time-series, combining the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian Processes. Using HARPS-N solar spectroscopic observations encompassing three years, we demonstrate that this framework is capable of jointly modelling RV data and traditional stellar activity indicators. Although we consider only the simplest GPRN configuration, we are able to describe the behaviour of solar RV data at least as accurately as previously published methods. We confirm the correlation between the RV and stellar activity time series reaches a maximum at separations of a few days, and find evidence of non-stationary behaviour in the time series, associated with an approaching solar activity minimum.

高斯过程（GPS）提供了对图表的推理和学习的原则和直接的方法。然而，缺乏用于时空建模的正义的图形内核已经备份了在图形问题中的使用。我们在图形上利用随机偏微分方程（SPDES）和GPS之间的显式链接，并导出捕获空间和时间交互的不可分离的时空图形内核。我们制定了随机热方程和波动方程的图形核。我们展示通过为图形提供新颖的时空GP建模的新型工具，我们在特征扩散，振荡和其他复杂交互中的实际应用中优先于现有的图形内核。