深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于模拟真实世界数据是必不可少的,并且可以通过将相关变量结合到模型来从DGP生成。先前关于DGP模型的工作已经引入了加性和使用变分推理,其中使用稀疏高斯过程和平均场高斯的组合用于近似后验。加性噪声衰减信号,并且高斯形式的变分布可能导致后验不准确。我们将噪声变量作为潜在协变量,并提出一种新颖的重要性加权目标,它利用分析结果并提供一种权衡计算的机制以提高准确性。我们的研究结果表明,重要加权目标在实践中运作良好,并且始终优于经典变分推理,尤其是对于更深层次的模型。
translated by 谷歌翻译
深度学习是图像分类大幅改进的基础。为了提高预测的稳健性,贝叶斯近似已被用于学习深度神经网络中的参数。我们采用另一种方法,通过使用高斯过程作为贝叶斯深度学习模型的构建模块,由于卷积和深层结构的推断,这种模型最近变得可行。我们研究了深度卷积高斯过程,并确定了一个保持逆流性能的问题。为了解决这个问题,我们引入了一个转换敏感卷积内核,它消除了对相同补丁输入的要求相同输出的限制。我们凭经验证明,这种卷积核可以改善浅层和深层模型的性能。在ONMNIST,FASHION-MNIST和CIFAR-10上,我们在准确性方面改进了以前的GP模型,增加了更简单的DNN模型的校准预测概率。
translated by 谷歌翻译
我们关注动态系统中的变分推理,其中离散时间转换函数(或演化规则)由高斯过程建模。迄今为止的主导方法是使用分解后的分布,将转移函数与系统状态解耦。这一般不准确,并且可能导致过渡后函数的过度自信以及对系统内在随机性的过高估计(过程噪声)。我们提出了一种解决这些问题的新方法,并且不会产生额外的计算成本。
translated by 谷歌翻译
高斯过程为预测,消除噪声和解释长时间数据集提供了灵活的框架。状态空间建模(Kalmanfiltering)通过将数据点数量的复杂性降低到线性,使这些非参数模型能够部署在长数据集上。复杂性在状态维度$ m $中仍然是立方的,这是一个障碍的实际应用。在某些特殊情况下(高斯似然,常规间距),当数据非常长时,GP后部将达到稳定的后部状态。我们利用这一点并为具有一般可能性的GP制定推理方案,其中推断基于单扫描EP(假设密度过滤)。无限期模型解决了状态维度中的立方成本,并将每个数据点的状态维度$ m $降低到$ \ mathcal {O}(m ^ 2)$。该模型扩展到高参数的在线学习。我们展示了大型有限长度建模问题的示例,并介绍了该方法如何在智能手机上以100~Hz更新的连续数据流上实时运行。
translated by 谷歌翻译
条件密度估计(CDE)模型处理估计条件分布。对分配施加的条件是模型的输入。 CDE是一项具有挑战性的任务,因为模型复杂性,代表性能力和过度拟合之间存在根本的权衡。在这项工作中,我们建议用潜在变量扩展模型的输入,并使用高斯过程(GP)将这个增强的输入映射到条件分布的样本上。我们的贝叶斯方法允许对小数据集进行建模,但我们也提供了使用随机变分推理将其应用于大数据的机制。我们的方法可用于在稀疏数据区域中对densitieseven进行建模,并允许在条件之间共享学习结构。我们说明了我们的模型在各种现实问题上的有效性和广泛适用性,例如出租车下降的时空密度估计,非高斯噪声建模,以及对全方位图像的少量学习。
translated by 谷歌翻译
在监督学习任务中很好地推广依赖于正确地将训练数据扩展到输入空间的大区域。实现此目的的一种方式是将预测约束为已知不相关的输入上的不变的变换(例如,翻译)。通常,这是通过数据增强来完成的,其中通过将手工制作的变换应用于输入来扩大训练集。我们认为,不变性应该被合并到模型结构中,并使用边际可能性来学习,这正确地奖励了不变模型的复杂性降低。我们用高斯过程模型证明了这一点,因为它们可以很容易地估计它们的边际可能性。我们的主要贡献是高斯过程的变分推理方案,其中包含由采样过程描述的不变性。我们通过反向传播来学习采样过程,以最大化边缘似然。
translated by 谷歌翻译
We present a practical way of introducing convolutional structure intoGaussian processes, making them more suited to high-dimensional inputs likeimages. The main contribution of our work is the construction of aninter-domain inducing point approximation that is well-tailored to theconvolutional kernel. This allows us to gain the generalisation benefit of aconvolutional kernel, together with fast but accurate posterior inference. Weinvestigate several variations of the convolutional kernel, and apply it toMNIST and CIFAR-10, which have both been known to be challenging for Gaussianprocesses. We also show how the marginal likelihood can be used to find anoptimal weighting between convolutional and RBF kernels to further improveperformance. We hope that this illustration of the usefulness of a marginallikelihood will help automate discovering architectures in larger models.
translated by 谷歌翻译
GPflow是一个高斯过程库,它使用TensorFlow进行核心计算,使用Python作为前端。 GPflow的显着特点是它使用变分推理作为主要的近似方法,通过使用自动差异提供简洁的代码,特别强调软件测试,并且能够开发GPU硬件。
translated by 谷歌翻译
Gaussian process (GP) models form a core part of probabilistic machinelearning. Considerable research effort has been made into attacking threeissues with GP models: how to compute efficiently when the number of data islarge; how to approximate the posterior when the likelihood is not Gaussian andhow to estimate covariance function parameter posteriors. This papersimultaneously addresses these, using a variational approximation to theposterior which is sparse in support of the function but otherwise free-form.The result is a Hybrid Monte-Carlo sampling scheme which allows for anon-Gaussian approximation over the function values and covariance parameterssimultaneously, with efficient computations based on inducing-point sparse GPs.Code to replicate each experiment in this paper will be available shortly.
translated by 谷歌翻译
Gaussian process classification is a popular method with a number ofappealing properties. We show how to scale the model within a variationalinducing point framework, outperforming the state of the art on benchmarkdatasets. Importantly, the variational formulation can be exploited to allowclassification in problems with millions of data points, as we demonstrate inexperiments.
translated by 谷歌翻译