高斯工艺（GPS）是高度表达的概率模型。一个主要的限制是他们的计算复杂性。天真，精确的GP推理需要$ \ MATHCAL {o}（n^3）$计算$ n $表示建模点的数量。当前克服此限制的方法分别依赖于数据或内核的稀疏，结构化或随机表示形式，并且通常涉及嵌套的优化以评估GP。我们提出了一种名为迭代图表改进（ICR）的新的，生成的方法，以在$ \ Mathcal {o}（n）$ ntive ntime ntime ntime ntake ntige内核中衰减内核，而无需嵌套优化的时间。 ICR通过将不同分辨率的建模位置的视图与用户提供的坐标图组合在一起，代表长期和短距离相关性。在我们对两个数量级的间距有所不同的点的实验中，ICR的准确性与最新的GP方法相当。 ICR在CPU和GPU上以一个数量级的计算速度来优于现有方法，并且已经成功地应用于具有122亿美元参数的GP模型。

高斯过程（GP），其结合了分类和连续输入变量模型已发现使用例如在纵向数据分析和计算机实验。然而，对于这些模型标准推理具有典型的立方缩放，并且不能应用于GPS共可扩展近似方案自协方差函数是不连续的。在这项工作中，我们导出用于混合域协方差函数，其中对于观察和基函数总数的数量成线性比例的基础函数近似方案。所提出的方法自然是适用于GP贝叶斯回归任意观测模型。我们证明在纵向数据建模上下文和显示的方法，它精确地近似于确切GP模型，只需要一个比较拟合对应精确模型运行时间的几分之一。

Despite advances in scalable models, the inference tools used for Gaussian processes (GPs) have yet to fully capitalize on developments in computing hardware. We present an efficient and general approach to GP inference based on Blackbox Matrix-Matrix multiplication (BBMM). BBMM inference uses a modified batched version of the conjugate gradients algorithm to derive all terms for training and inference in a single call. BBMM reduces the asymptotic complexity of exact GP inference from O(n 3 ) to O(n 2 ). Adapting this algorithm to scalable approximations and complex GP models simply requires a routine for efficient matrix-matrix multiplication with the kernel and its derivative. In addition, BBMM uses a specialized preconditioner to substantially speed up convergence. In experiments we show that BBMM effectively uses GPU hardware to dramatically accelerate both exact GP inference and scalable approximations. Additionally, we provide GPyTorch, a software platform for scalable GP inference via BBMM, built on PyTorch.

Machine learning models can be improved by adapting them to respect existing background knowledge. In this paper we consider multitask Gaussian processes, with background knowledge in the form of constraints that require a specific sum of the outputs to be constant. This is achieved by conditioning the prior distribution on the constraint fulfillment. The approach allows for both linear and nonlinear constraints. We demonstrate that the constraints are fulfilled with high precision and that the construction can improve the overall prediction accuracy as compared to the standard Gaussian process.

我们介绍了Hida-Mat'Ern内核的班级，这是整个固定式高斯 - 马尔可夫流程的整个空间的规范家庭协方差。它在垫子内核上延伸，通过允许灵活地构造具有振荡组件的过程。任何固定内核，包括广泛使用的平方指数和光谱混合核，要么直接在该类内，也是适当的渐近限制，展示了该类的一般性。利用其Markovian Nature，我们展示了如何仅使用内核及其衍生物来代表状态空间模型的过程。反过来，这使我们能够更有效地执行高斯工艺推论，并且侧面通常计算负担。我们还表明，除了进一步减少计算复杂性之外，我们还显示了如何利用状态空间表示的特殊属性。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

我们考虑使用高斯工艺（GP）先验在贝叶斯框架中解决反问题。众所周知，GPS的计算复杂性在数据点数中立方缩放。我们在这里表明，在涉及整体操作员的反问题的背景下，人们面临的其他困难阻碍了大网格上的倒置。此外，在这种情况下，协方差矩阵可能会变得太大而无法存储。通过利用有关高斯措施的顺序分解的结果，我们能够引入后协方差矩阵的隐式表示，该矩阵仅通过存储低级中间矩阵来降低记忆足迹，同时允许在不用的情况下访问单个元素建立完整的后协方差矩阵。此外，它允许快速顺序包含新的观测值。在考虑顺序实验设计任务时，这些功能至关重要。我们通过计算重量逆问题的偏移集合恢复的顺序数据收集计划来证明我们的方法，该计划的目标是提供意大利Stromboli火山内高密度区域的精细分辨率估计。顺序数据收集计划是通过将加权集成方差降低（WIVR）标准扩展到反问题来计算的。我们的结果表明，该标准能够显着减少偏移量的不确定性，达到接近最小的残余不确定性水平。总体而言，我们的技术允许将概率模型的优势带到自然科学中引起的大规模逆问题上。

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

随机kriging已被广泛用于模拟元模拟，以预测复杂模拟模型的响应表面。但是，它的使用仅限于设计空间低维的情况，因为通常，样品复杂性（即随机Kriging生成准确预测所需的设计点数量）在设计的维度上呈指数增长。空间。大型样本量导致运行模拟模型的过度样本成本和由于需要倒入大量协方差矩阵而引起的严重计算挑战。基于张量的马尔可夫内核和稀疏的网格实验设计，我们开发了一种新颖的方法，可极大地减轻维数的诅咒。我们表明，即使在模型错误指定下，提议的方法论的样本复杂性也仅在维度上略有增长。我们还开发了快速算法，这些算法以其精确形式计算随机kriging，而无需任何近似方案。我们通过广泛的数值实验证明，我们的方法可以通过超过10,000维的设计空间来处理问题，从而通过相对于典型的替代方法在实践中通过数量级来提高预测准确性和计算效率。

与高斯过程（GPS）的变异近似通常使用一组诱导点来形成与协方差矩阵的低级别近似值。在这项工作中，我们相反利用了精度矩阵的稀疏近似。我们提出了差异最近的邻居高斯工艺（VNNGP），该过程引入了先验，该过程仅保留在k最近的邻居观测中的相关性，从而诱导稀疏精度结构。使用变分框架，可以将VNNGP的目标分解在观测值和诱导点上，从而以O（$ k^3 $）的时间复杂性实现随机优化。因此，我们可以任意扩展诱导点大小，甚至可以在每个观察到的位置放置诱导点。我们通过各种实验将VNNGP与其他可扩展的GP进行比较，并证明VNNGP（1）可以极大地超过低级别方法，而（2）比其他最近的邻居方法较不适合过度拟合。

贝叶斯神经网络和深度集合代表了深入学习中不确定性量化的两种现代范式。然而，这些方法主要因内存低效率问题而争取，因为它们需要比其确定性对应物高出几倍的参数储存。为了解决这个问题，我们使用少量诱导重量增强每层的重量矩阵，从而将不确定性定量突出到这种低尺寸空间中。我们进一步扩展了Matheron的有条件高斯采样规则，以实现快速的重量采样，这使得我们的推理方法能够与合并相比保持合理的运行时间。重要的是，我们的方法在具有完全连接的神经网络和RESNET的预测和不确定性估算任务中实现了竞争性能，同时将参数大小减少到$单辆$ \ LEQ 24.3 \％$的参数大小神经网络。

高斯工艺是能够以代表不确定性的方式学习未知功能的机器学习模型，从而促进了最佳决策系统的构建。由于渴望部署新颖的科学领域的高斯过程，一种迅速增长的研究线路集中于建设性地扩展这些模型来处理非欧几里德域，包括黎曼歧管，例如球形和托尔。我们提出了概括这一类的技术，以模拟黎曼歧管上的矢量字段，这在物理科学中的许多应用领域都很重要。为此，我们介绍了构建规范独立核的一般配方，它诱导高斯矢量字段，即矢量值高斯工艺与几何形状相干，从标量值riemannian内核。我们扩展了标准高斯过程培训方法，例如变分推理，以此设置。这使得旨在使用标准方法培训的Riemannian歧管上的矢量值高斯流程，并使它们可以访问机器学习从业者。

高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。

高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。

低精度算术对神经网络的训练产生了变革性的影响，从而减少了计算，记忆和能量需求。然而，尽管有希望，低精确的算术对高斯流程（GPS）的关注很少，这主要是因为GPS需要在低精确度中不稳定的复杂线性代数例程。我们研究以一半精度训练GP时可能发生的不同故障模式。为了避免这些故障模式，我们提出了一种多方面的方法，该方法涉及具有重新构造，混合精度和预处理的共轭梯度。我们的方法大大提高了低精度在各种设置中的偶联梯度的数值稳定性和实践性能，从而使GPS能够在单个GPU上以10美元的$ 10 $ 10 $ 10 $ 10 $ 10的数据点进行培训，而没有任何稀疏的近似值。

稀疏变分高斯工艺（SVGP）方法是由于其计算效益的非共轭高斯工艺推论的常见选择。在本文中，我们通过使用双重参数化来提高其计算效率，其中每个数据示例被分配双参数，类似于期望传播中使用的站点参数。我们使用自然梯度下降的双重参数化速度推断，并提供了较小的证据，用于近似参数学习。该方法具有与当前SVGP方法相同的内存成本，但它更快，更准确。

We provide a new unifying view, including all existing proper probabilistic sparse approximations for Gaussian process regression. Our approach relies on expressing the effective prior which the methods are using. This allows new insights to be gained, and highlights the relationship between existing methods. It also allows for a clear theoretically justified ranking of the closeness of the known approximations to the corresponding full GPs. Finally we point directly to designs of new better sparse approximations, combining the best of the existing strategies, within attractive computational constraints.

深度高斯进程（DGP）使非参数方法能够量化复杂深机器学习模型的不确定性。 DGP模型的传统推理方法可以遭受高计算复杂性，因为它们需要使用核矩阵的大规模操作进行训练和推理。在这项工作中，我们提出了一种基于一系列高斯过程的准确推理和预测的有效方案，称为Tensor Markov高斯过程（TMGP）。我们构建称为分层扩展的TMGP的诱导近似。接下来，我们开发一个深入的TMGP（DTMGP）模型作为TMGPS的多个层次扩展的组成。所提出的DTMGP模型具有以下性质：（1）每个激活功能的输出是确定性的，而重量独立于标准高斯分布选择; （2）在训练或预测中，只有O（Polylog（M））（M）激活函数具有非零输出，这显着提高了计算效率。我们对实时数据集的数值实验显示了DTMGP与其他DGP型号的卓越计算效率。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。