本文提出了一种有效的变分推导框架，用于导出结构化高斯进程回归网络（SGPRN）模型的系列。关键的想法是将辅助诱导变量合并到潜在函数中，并共同处理诱导变量和超参数的分布作为变分参数。然后，我们提出了结构化可变分布和边缘化潜变量，这使得可分解的变分性下限并导致随机优化。我们推断方法能够建模数据，其中输出不共享具有与输入和输出大小无关的计算复杂性的公共输入集，因此容易处理具有缺失值的数据集。我们说明了我们对合成数据和真实数据集的方法的性能，并显示我们的模型通常提供比最先进的数据缺失数据的更好的估算结果。我们还提供了一种可视化方法，用于电职业学数据的输出中的输出的时变相关性，并且这些估计提供了了解神经群体动态的洞察力。

The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.

隐式过程（IP）是高斯过程（GPS）的概括。 IP可能缺乏封闭形式的表达，但很容易采样。例子包括贝叶斯神经网络或神经抽样器。 IP可以用作功能的先验，从而产生具有良好预测不确定性估计值的灵活模型。基于IP的方法通常进行函数空间近似推断，从而克服了参数空间近似推断的一些困难。然而，所采用的近似值通常会限制最终模型的表现力，结果是\ emph {e.g。}，在高斯预测分布中，这可能是限制的。我们在这里提出了IPS的多层概括，称为“深层隐式”过程（DVIP）。这种概括与GPS上的深GPS相似，但是由于使用IPs作为潜在函数的先前分布，因此更灵活。我们描述了用于训练DVIP的可扩展变异推理算法，并表明它的表现优于先前的基于IP的方法和深度GPS。我们通过广泛的回归和分类实验来支持这些主张。我们还在大型数据集上评估了DVIP，最多可达数百万个数据实例，以说明其良好的可扩展性和性能。

隐式过程（IPS）代表一个灵活的框架，可用于描述各种模型，从贝叶斯神经网络，神经抽样器和数据生成器到许多其他模型。 IP还允许在功能空间上进行大致推断。公式的这种变化解决了参数空间的固有退化问题近似推断，即参数数量及其在大型模型中的强大依赖性。为此，文献中先前的作品试图采用IPS来设置先验并近似产生的后部。但是，这被证明是一项具有挑战性的任务。现有的方法可以调整先前的IP导致高斯预测分布，该分布未能捕获重要的数据模式。相比之下，通过使用另一个IP近似后验过程产生灵活预测分布的方法不能将先前的IP调整到观察到的数据中。我们在这里建议第一个可以实现这两个目标的方法。为此，我们依赖于先前IP的诱导点表示，就像在稀疏高斯过程中所做的那样。结果是一种可扩展的方法，用于与IP的近似推断，可以将先前的IP参数调整到数据中，并提供准确的非高斯预测分布。

We introduce stochastic variational inference for Gaussian process models. This enables the application of Gaussian process (GP) models to data sets containing millions of data points. We show how GPs can be variationally decomposed to depend on a set of globally relevant inducing variables which factorize the model in the necessary manner to perform variational inference. Our approach is readily extended to models with non-Gaussian likelihoods and latent variable models based around Gaussian processes. We demonstrate the approach on a simple toy problem and two real world data sets.

与高斯过程（GPS）的变异近似通常使用一组诱导点来形成与协方差矩阵的低级别近似值。在这项工作中，我们相反利用了精度矩阵的稀疏近似。我们提出了差异最近的邻居高斯工艺（VNNGP），该过程引入了先验，该过程仅保留在k最近的邻居观测中的相关性，从而诱导稀疏精度结构。使用变分框架，可以将VNNGP的目标分解在观测值和诱导点上，从而以O（$ k^3 $）的时间复杂性实现随机优化。因此，我们可以任意扩展诱导点大小，甚至可以在每个观察到的位置放置诱导点。我们通过各种实验将VNNGP与其他可扩展的GP进行比较，并证明VNNGP（1）可以极大地超过低级别方法，而（2）比其他最近的邻居方法较不适合过度拟合。

高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。

高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。

高斯过程中的变量选择（GPS）通常通过阈值平衡“自动相关性确定”内核的逆宽度，但在高维数据集中，这种方法可能是不可靠的。更概率的原则性的替代方案是使用尖峰和平板前沿并推断可变包裹物的后验概率。但是，GPS中的现有实现是以高维和大量$ N $数据集运行的昂贵，或者对于大多数内核都是棘手的。因此，我们为具有任意微分内核的秒杀和平板GP开发了一种快速且可扩展的变分推理算法。我们提高了算法通过贝叶斯模型对普遍存在的模型进行平均来适应相关变量的稀疏性的能力，并使用零温度后部限制，辍学灌注和最近的邻米匹配来实现大量速度UPS。在实验中，我们的方法始终如一地优于Vanilla和稀疏变分的GPS，同时保留类似的运行时间（即使是N = 10 ^ 6美元），并且使用MCMC使用Spike和Slab GP竞争地执行，但速度最高可达1000美元。

多维时空数据的概率建模对于许多现实世界应用至关重要。然而，现实世界时空数据通常表现出非平稳性的复杂依赖性，即相关结构随位置/时间而变化，并且在空间和时间之间存在不可分割的依赖性，即依赖关系。开发有效和计算有效的统计模型，以适应包含远程和短期变化的非平稳/不可分割的过程，成为一项艰巨的任务，尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中，我们提出了一个新的统计框架 - 贝叶斯互补内核学习（BCKL），以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性，BCKL与短距离时空高斯过程（GP）相结合的内核低级分解（GP），其中两个组件相互补充。具体而言，我们使用多线性低级分组组件来捕获数据中的全局/远程相关性，并基于紧凑的核心函数引入加法短尺度GP，以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛（MCMC）算法，并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。

高斯过程状态空间模型通过在转换功能上放置高斯过程来以原则方式捕获复杂的时间依赖性。这些模型具有自然的解释，作为离散的随机微分方程，但困难的长期序列的推断是困难的。快速过渡需要紧密离散化，而慢速转换需要在长副图层上备份梯度。我们提出了一种由多个组件组成的新型高斯过程状态空间架构，每个组件都培训不同的分辨率，以对不同时间尺度进行模拟效果。组合模型允许在自适应刻度上进行时间进行时间，为具有复杂动态的任意长序列提供有效推断。我们在半合成数据和发动机建模任务上基准我们的新方法。在这两个实验中，我们的方法对其最先进的替代品仅比单一时间级运行的最先进的替代品。

许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent an approximate posterior distribution and uses this for optimisation of a variational lower bound. We develop stochastic backpropagation -rules for gradient backpropagation through stochastic variables -and derive an algorithm that allows for joint optimisation of the parameters of both the generative and recognition models. We demonstrate on several real-world data sets that by using stochastic backpropagation and variational inference, we obtain models that are able to generate realistic samples of data, allow for accurate imputations of missing data, and provide a useful tool for high-dimensional data visualisation.

非线性状态空间模型是一种强大的工具，可以在复杂时间序列中描述动态结构。在一个流的媒体设置中，当一次处理一个样本的情况下，状态的同时推断及其非线性动力学在实践中提出了重大挑战。我们开发了一个小说在线学习框架，利用变分推理和顺序蒙特卡罗，这使得灵活和准确的贝叶斯联合过滤。我们的方法提供了滤波后的近似，这可以任意地接近针对广泛的动态模型和观察模型的真正滤波分布。具体地，所提出的框架可以使用稀疏高斯过程有效地近似于动态的后验，允许潜在动力学的可解释模型。每个样本的恒定时间复杂性使我们的方法能够适用于在线学习场景，适用于实时应用。

引入了涉及高斯流程（GPS）的模型，以同时处理多个功能数据的多任务学习，聚类和预测。该过程充当了功能数据的基于模型的聚类方法，也是对新任务进行后续预测的学习步骤。该模型是将多任务GPS与常见平均过程的混合物实例化。得出了一种用于处理超参数的优化以及超构件对潜在变量和过程的估计的优化。我们建立了明确的公式，用于将平均过程和潜在聚类变量整合到预测分布中，这是两个方面的不确定性。该分布定义为集群特异性GP预测的混合物，在处理组结构数据时，可以增强性能。该模型处理观察的不规则网格，并提供了关于协方差结构的不同假设，用于在任务之间共享其他信息。聚类和预测任务上的性能将通过各种模拟方案和真实数据集进行评估。总体算法称为magmaclust，可公开作为R包。

使用马尔可夫链蒙特卡洛（Monte Carlo）以贝叶斯方式将理论模型拟合到实验数据中，通常需要一个评估数千（或数百万）型的型号。当模型是慢速到计算的物理模拟时，贝叶斯模型拟合就变得不可行。为了解决这个问题，可以使用模拟输出的第二个统计模型，该模型可以用来代替模型拟合期间的完整仿真。选择的典型仿真器是高斯过程（GP），这是一种灵活的非线性模型，在每个输入点提供了预测均值和方差。高斯流程回归对少量培训数据（$ n <10^3 $）非常有效，但是当数据集大小变大时，训练和用于预测的速度慢。可以使用各种方法来加快中高级数据集制度（$ n> 10^5 $）的加快高斯流程，从而使人们的预测准确性大大降低了。这项工作研究了几种近似高斯过程模型的准确度折叠 - 稀疏的变异GP，随机变异GP和深内核学习的GP - 在模拟密度功能理论（DFT）模型的预测时。此外，我们使用模拟器以贝叶斯的方式校准DFT模型参数，使用观察到的数据，解决数据集大小所施加的计算屏障，并将校准结果与先前的工作进行比较。这些校准的DFT模型的实用性是根据观察到的数据对实验意义的核素的性质进行预测，例如超重核。

本文介绍了一种新型的因果结构，即多尺度非平稳的定向无环图（MN-DAG），该图将DAG概括为时频域。我们的贡献是双重的。首先，通过利用光谱和因果关系的结果，我们揭露了一种新型的概率生成模型，该模型允许根据用户指定的先验对因果图的时间依赖性和多尺度属性进行采样。其次，我们通过随机变异推理（SVI）（称为多阶层非稳态的因果结构学习者（MN-Castle））设计了一种用于估计Mn-DAGS的贝叶斯方法。除了直接观察外，MN-Castle还通过不同时间分辨率的时间序列的总功率谱分解来利用信息。在我们的实验中，我们首先使用所提出的模型根据潜在的MN-DAG生成合成数据，这表明数据生成的数据再现了不同域中时间序列的众所周知的特征。然后，我们将学习方法的MN媒体与基线模型进行比较，该模型在使用不同的多尺度和非平稳设置生成的合成数据上进行了比较，从而证实了MN-Castle的良好性能。最后，我们展示了一些从MN-Castle的应用中得出的一些见解，以研究COVID-19期间7个全球股票市场的因果结构。

最近，疾病控制和预防中心（CDC）与其他联邦机构合作，以鉴定冠心病疾病2019年（Covid-19）发病率（热点）的县，并为当地卫生部门提供支持，以限制疾病的传播。了解热点事件的时空动态非常重视支持政策决策并防止大规模爆发。本文提出了一种时空贝叶斯框架，用于早期检测美国Covid-19热点（在县级）。我们假设观察到的病例和热点都依赖于一类潜随机变量，其编码Covid-19传输的底层时空动态。这种潜在的变量遵循零均值高斯过程，其协方差由非静止内核功能指定。我们内核功能的最突出的特征是引入深度神经网络，以增强模型的代表性，同时仍然享有内核的可解释性。我们得出了一种稀疏的模型，并使用变分的学习策略适合模型，以规避大数据集的计算诡计。与其他基线方法相比，我们的模型展示了更好的解释性和优越的热点检测性能。

我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。

与常规的GPS相比，深层高斯工艺（DGP）提供了丰富的模型，可以更好地表示具有不同的机制或急剧变化的功能。在这项工作中，我们为计算机模型模拟的DGP提出了一种新颖的推理方法。通过随机归纳潜在层，我们的方法将DGP转换为链接的GP：为链接计算机模型系统开发的新型模拟器。这种转换允许有效的DGP培训程序，仅涉及常规GP的优化。此外，DGP模拟器的预测可以通过自然利用链接的GP仿真器的封闭形式的预测手段和方差来快速和分析性地进行。我们在一系列合成示例和经验应用中演示了该方法，并表明它是DGP替代推理的竞争候选者，将效率相结合，可与双随机的变异推理和不确定性量化相媲美，与完全巴约西亚方法相当。还生产了$ \ texttt {python} $ package $ \ texttt {dgpsi} $实现该方法并在https://github.com/mingdeyu/dgp上找到。