我们提供了来自两个常见的低级内核近似产生的近似高斯过程（GP）回归的保证：基于随机傅里叶功能，并基于截断内核的Mercer扩展。特别地，我们将kullback-leibler在精确的gp和由一个上述低秩近似的一个与其内核中的一个引起的kullback-leibler发散相结合，以及它们的相应预测密度之间，并且我们还绑定了预测均值之间的误差使用近似GP使用精确的GP计算的矢量和预测协方差矩阵之间的载体。我们为模拟数据和标准基准提供了实验，以评估我们理论界的有效性。
translated by 谷歌翻译
我们提供了来自两个常见的低级内核近似产生的近似高斯过程（GP）回归的保证：基于随机傅里叶功能，并基于截断内核的Mercer扩展。特别地，我们将kullback-leibler在精确的gp和由一个上述低秩近似的一个与其内核中的一个引起的kullback-leibler发散相结合，以及它们的相应预测密度之间，并且我们还绑定了预测均值之间的误差使用近似GP使用精确的GP计算的矢量和预测协方差矩阵之间的载体。我们为模拟数据和标准基准提供了实验，以评估我们理论界的有效性。
translated by 谷歌翻译
When comparing approximate Gaussian process (GP) models, it can be helpful to be able to generate data from any GP. If we are interested in how approximate methods perform at scale, we may wish to generate very large synthetic datasets to evaluate them. Na\"{i}vely doing so would cost \(\mathcal{O}(n^3)\) flops and \(\mathcal{O}(n^2)\) memory to generate a size \(n\) sample. We demonstrate how to scale such data generation to large \(n\) whilst still providing guarantees that, with high probability, the sample is indistinguishable from a sample from the desired GP.
translated by 谷歌翻译
高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。
translated by 谷歌翻译
与高斯过程（GPS）的变异近似通常使用一组诱导点来形成与协方差矩阵的低级别近似值。在这项工作中，我们相反利用了精度矩阵的稀疏近似。我们提出了差异最近的邻居高斯工艺（VNNGP），该过程引入了先验，该过程仅保留在k最近的邻居观测中的相关性，从而诱导稀疏精度结构。使用变分框架，可以将VNNGP的目标分解在观测值和诱导点上，从而以O（$ k^3 $）的时间复杂性实现随机优化。因此，我们可以任意扩展诱导点大小，甚至可以在每个观察到的位置放置诱导点。我们通过各种实验将VNNGP与其他可扩展的GP进行比较，并证明VNNGP（1）可以极大地超过低级别方法，而（2）比其他最近的邻居方法较不适合过度拟合。
translated by 谷歌翻译
近年来目睹了采用灵活的机械学习模型进行乐器变量（IV）回归的兴趣，但仍然缺乏不确定性量化方法的发展。在这项工作中，我们为IV次数回归提出了一种新的Quasi-Bayesian程序，建立了最近开发的核化IV模型和IV回归的双/极小配方。我们通过在$ l_2 $和sobolev规范中建立最低限度的最佳收缩率，并讨论可信球的常见有效性来分析所提出的方法的频繁行为。我们进一步推出了一种可扩展的推理算法，可以扩展到与宽神经网络模型一起工作。实证评价表明，我们的方法对复杂的高维问题产生了丰富的不确定性估计。
translated by 谷歌翻译
深度高斯进程（DGP）使非参数方法能够量化复杂深机器学习模型的不确定性。 DGP模型的传统推理方法可以遭受高计算复杂性，因为它们需要使用核矩阵的大规模操作进行训练和推理。在这项工作中，我们提出了一种基于一系列高斯过程的准确推理和预测的有效方案，称为Tensor Markov高斯过程（TMGP）。我们构建称为分层扩展的TMGP的诱导近似。接下来，我们开发一个深入的TMGP（DTMGP）模型作为TMGPS的多个层次扩展的组成。所提出的DTMGP模型具有以下性质：（1）每个激活功能的输出是确定性的，而重量独立于标准高斯分布选择; （2）在训练或预测中，只有O（Polylog（M））（M）激活函数具有非零输出，这显着提高了计算效率。我们对实时数据集的数值实验显示了DTMGP与其他DGP型号的卓越计算效率。
translated by 谷歌翻译
最近出现了变异推断，成为大规模贝叶斯推理中古典马尔特·卡洛（MCMC）的流行替代品。变异推断的核心思想是贸易统计准确性以达到计算效率。它旨在近似后部，以降低计算成本，但可能损害其统计准确性。在这项工作中，我们通过推论模型选择中的案例研究研究了这种统计和计算权衡。侧重于具有对角和低级精度矩阵的高斯推论模型（又名变异近似族），我们在两个方面启动了对权衡的理论研究，贝叶斯后期推断误差和频繁的不确定性不确定定量误差。从贝叶斯后推理的角度来看，我们表征了相对于精确后部的变异后部的误差。我们证明，鉴于固定的计算预算，较低的推论模型会产生具有较高统计近似误差的变异后期，但计算误差较低。它减少了随机优化的方差，进而加速收敛。从频繁的不确定性定量角度来看，我们将变异后部的精度矩阵视为不确定性估计值。我们发现，相对于真实的渐近精度，变异近似遭受了来自数据的采样不确定性的附加统计误差。此外，随着计算预算的增加，这种统计误差成为主要因素。结果，对于小型数据集，推论模型不必全等级即可达到最佳估计误差。我们最终证明了在经验研究之间的这些统计和计算权衡推论，从而证实了理论发现。
translated by 谷歌翻译
本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。
translated by 谷歌翻译
我们在假设目标函数的先前和EIGENExpansion系数的假定下，我们将高斯进程回归（GPR）的幂律渐近学习曲线的幂律渐近学呈现出高斯过程回归（GPR）。在类似的假设下，我们利用GPR和内核RIDGE回归（KRR）之间的等价性来显示KRR的泛化误差。无限宽的神经网络可以与GPR相对于神经网络GP内核和神经切线内核有关，其中已知在几个情况下具有幂律谱。因此，我们的方法可以应用于研究无限宽神经网络的泛化误差。我们提出了展示理论的玩具实验。
translated by 谷歌翻译
我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。
translated by 谷歌翻译
来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。
translated by 谷歌翻译
高斯工艺高参数优化需要大核矩阵的线性溶解和对数确定因子。迭代数值技术依赖于线性溶液的共轭梯度方法（CG）和对数数据的随机痕迹估计的迭代数值技术变得越来越流行。这项工作介绍了用于预处理这些计算的新算法和理论见解。虽然在CG的背景下对预处理有充分的理解，但我们证明了它也可以加速收敛并减少对数数据及其衍生物的估计值的方差。我们证明了对数确定性，对数 - 界限可能性及其衍生物的预处理计算的一般概率误差界限。此外，我们得出了一系列内核 - 前提组合的特定速率，这表明可以达到指数收敛。我们的理论结果可以证明对内核超参数的有效优化，我们在大规模的基准问题上进行经验验证。我们的方法可以加速训练，最多可以达到数量级。
translated by 谷歌翻译
最近开发的基于矩阵的renyi的熵能够通过在再现内核Hilbert空间中的对称正半明确（PSD）矩阵中的EigensPectrum，而无需估计基础数据分布的情况下，能够测量数据中的信息。这种有趣的属性使得新信息测量在多种统计推理和学习任务中广泛采用。然而，这种数量的计算涉及PSD矩阵$ G $的跟踪运算符，以便为电源$ \ alpha $（即$ tr（g ^ \ alpha）$），具有近O $ o的正常复杂性（n ^ 3 ）$，当样品数量（即$ N $）大时，严重妨碍了它的实际用法。在这项工作中，我们向这种新的熵功能呈现计算有效的近似，这可以降低其复杂性，以明显不到$ O（n ^ 2）$。为此，我们首先将随机近似为$ \ tr（\ g ^ \ alpha）$，将跟踪估计转换为矩阵矢量乘法问题。我们扩展了$ \ Alpha $（整数或非整数）的任意值策略。然后，我们建立基于矩阵的renyi的熵和PSD矩阵近似之间的连接，这使我们能够利用群集和阻止$ \ g $的低级结构来进一步降低计算成本。理论上我们提供近似精度保证并说明不同近似的属性。综合性和现实数据的大规模实验评估证实了我们的理论发现，展示了有希望的加速，准确性可忽略不计。
translated by 谷歌翻译
随机梯度下降（SGD）及其变体已经建立为具有独立样本的大型机器学习问题的进入算法，由于其泛化性能和内在的计算优势。然而，随机梯度是具有相关样本的全梯度的偏置估计的事实导致了对SGD在相关环境中的表现和阻碍其在这种情况下使用的理解缺乏理论理解。在本文中，我们专注于高斯过程（GP）的近似参数估计，并通过证明小纤维SGD收敛到完整日志似然丢失功能的关键点来打破屏障的一步，并恢复速率$率的模型超参数o（\ frac {1} {k}）$ k $迭代，达到统计误差术语，具体取决于小靶大小。我们的理论担保仍然存在，内核功能表现出指数或多项式EIGENDECAY，这是通过GPS常用的各种核的满足。模拟和实时数据集的数值研究表明，Minibatch SGD在最先进的GP方法上具有更好的推广，同时降低了计算负担并开启了GPS的新的，先前未开发的数据大小制度。
translated by 谷歌翻译
Deep Gaussian工艺（DGP）作为贝叶斯学习的先验模型直观地利用功能组成中的表达能力。 DGP还提供了不同的建模功能，但是推断很具有挑战性，因为潜在功能空间的边缘化是无法处理的。借助Bochner定理，具有平方指数内核的DGP可以看作是由随机特征层，正弦和余弦激活单元以及随机重量层组成的深度三角网络。在具有瓶颈的宽极限中，我们表明重量空间视图产生了相同的有效协方差函数，该函数先前在功能空间中获得。同样，在网络参数上改变先前的分布相当于使用不同的内核。因此，DGP可以转换为深瓶颈触发网络，可以通过该网络获得确切的最大后验估计。有趣的是，网络表示可以研究DGP的神经切线核，这也可能揭示了棘手的预测分布的平均值。从统计上讲，与浅网络不同，有限宽度的深网具有与极限内核的协方差，并且内部和外部宽度可能在功能学习中起不同的作用。存在数值模拟以支持我们的发现。
translated by 谷歌翻译
现代深度神经网络（DNN）的成功基于其在多层转换投入以建立良好高级表示的能力。因此，了解这种表示学习过程至关重要。但是，我们不能使用涉及无限宽度限制的标准理论方法，因为它们消除了代表性学习。因此，我们开发了一个新的无限宽度限制，即表示的学习限制，该限制表现出表示形式的学习反映，但在有限宽度网络中，但同时仍然非常容易处理。例如，表示学习限制在深处的高斯过程中提供了恰好具有多种内核的多元高斯后期，包括所有各向同性（距离依赖）内核。我们得出一个优雅的目标，描述了每个网络层如何学习在输入和输出之间插值的表示形式。最后，我们使用此限制和目标来开发对内核方法的灵活，深刻的概括，我们称之为深内核机器（DKMS）。我们表明，可以使用受高斯过程文献中诱导点方法启发的方法将DKMS缩放到大数据集，并且我们表明DKMS表现出优于其他基于内核方法的性能。
translated by 谷歌翻译
高斯流程已成为各种安全至关重要环境的有前途的工具，因为后方差可用于直接估计模型误差并量化风险。但是，针对安全 - 关键环境的最新技术取决于核超参数是已知的，这通常不适用。为了减轻这种情况，我们在具有未知的超参数的设置中引入了强大的高斯过程统一误差界。我们的方法计算超参数空间中的一个置信区域，这使我们能够获得具有任意超参数的高斯过程模型误差的概率上限。我们不需要对超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中得出界限。我们还采用了建议的技术来为一类基于学习的控制问题提供绩效保证。实验表明，界限的性能明显优于香草和完全贝叶斯高斯工艺。
translated by 谷歌翻译
神经网络和高斯过程的优势和劣势是互补的。更好地了解他们的关系伴随着使每个方法从另一个方法中受益的承诺。在这项工作中，我们建立了神经网络的前进通行证与（深）稀疏高斯工艺模型之间的等价。我们开发的理论是基于解释激活函数作为跨域诱导功能，通过对激活函数和内核之间的相互作用进行严格分析。这导致模型可以被视为具有改善的不确定性预测或深度高斯过程的神经网络，其具有提高的预测精度。这些权利要求通过对回归和分类数据集进行实验结果来支持。
translated by 谷歌翻译
随机kriging已被广泛用于模拟元模拟，以预测复杂模拟模型的响应表面。但是，它的使用仅限于设计空间低维的情况，因为通常，样品复杂性（即随机Kriging生成准确预测所需的设计点数量）在设计的维度上呈指数增长。空间。大型样本量导致运行模拟模型的过度样本成本和由于需要倒入大量协方差矩阵而引起的严重计算挑战。基于张量的马尔可夫内核和稀疏的网格实验设计，我们开发了一种新颖的方法，可极大地减轻维数的诅咒。我们表明，即使在模型错误指定下，提议的方法论的样本复杂性也仅在维度上略有增长。我们还开发了快速算法，这些算法以其精确形式计算随机kriging，而无需任何近似方案。我们通过广泛的数值实验证明，我们的方法可以通过超过10,000维的设计空间来处理问题，从而通过相对于典型的替代方法在实践中通过数量级来提高预测准确性和计算效率。
translated by 谷歌翻译