汇总数据通常出现在社会经济和公共安全等各个领域。汇总数据与点不关联，而与支持（例如，城市中的空间区域）相关联。由于支撑物可能取决于属性（例如贫困率和犯罪率），因此对此类数据进行建模并不直接。本文提供了一个多输出高斯流程（MOGP）模型，该模型使用各自粒度的多个聚合数据集侵入属性的功能。在提出的模型中，每个属性的函数被认为是建模为独立潜在GPS的线性混合的依赖GP。我们设计一个具有每个属性聚合过程的观察模型；该过程是GP在相应支持上的组成部分。我们还引入了混合权重的先验分布，该分布可以通过共享先验来跨域（例如城市）进行知识转移。在这种情况下，这是有利的，因为城市中的空间汇总数据集太粗糙而无法插值。提出的模型仍然可以通过利用其他城市中的聚合数据集来准确地预测属性。提出的模型的推断是基于变异贝叶的，它使人们能够使用来自多个域的聚合数据集学习模型参数。该实验表明，所提出的模型在改善现实世界数据集上的粗粒骨料数据的任务中胜过：北京的空气污染物的时间序列以及来自纽约市和芝加哥的各种空间数据集。
translated by 谷歌翻译
本文提出了一种有效的变分推导框架，用于导出结构化高斯进程回归网络（SGPRN）模型的系列。关键的想法是将辅助诱导变量合并到潜在函数中，并共同处理诱导变量和超参数的分布作为变分参数。然后，我们提出了结构化可变分布和边缘化潜变量，这使得可分解的变分性下限并导致随机优化。我们推断方法能够建模数据，其中输出不共享具有与输入和输出大小无关的计算复杂性的公共输入集，因此容易处理具有缺失值的数据集。我们说明了我们对合成数据和真实数据集的方法的性能，并显示我们的模型通常提供比最先进的数据缺失数据的更好的估算结果。我们还提供了一种可视化方法，用于电职业学数据的输出中的输出的时变相关性，并且这些估计提供了了解神经群体动态的洞察力。
translated by 谷歌翻译
隐式过程（IP）是高斯过程（GPS）的概括。 IP可能缺乏封闭形式的表达，但很容易采样。例子包括贝叶斯神经网络或神经抽样器。 IP可以用作功能的先验，从而产生具有良好预测不确定性估计值的灵活模型。基于IP的方法通常进行函数空间近似推断，从而克服了参数空间近似推断的一些困难。然而，所采用的近似值通常会限制最终模型的表现力，结果是\ emph {e.g。}，在高斯预测分布中，这可能是限制的。我们在这里提出了IPS的多层概括，称为“深层隐式”过程（DVIP）。这种概括与GPS上的深GPS相似，但是由于使用IPs作为潜在函数的先前分布，因此更灵活。我们描述了用于训练DVIP的可扩展变异推理算法，并表明它的表现优于先前的基于IP的方法和深度GPS。我们通过广泛的回归和分类实验来支持这些主张。我们还在大型数据集上评估了DVIP，最多可达数百万个数据实例，以说明其良好的可扩展性和性能。
translated by 谷歌翻译
高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。
translated by 谷歌翻译
隐式过程（IPS）代表一个灵活的框架，可用于描述各种模型，从贝叶斯神经网络，神经抽样器和数据生成器到许多其他模型。 IP还允许在功能空间上进行大致推断。公式的这种变化解决了参数空间的固有退化问题近似推断，即参数数量及其在大型模型中的强大依赖性。为此，文献中先前的作品试图采用IPS来设置先验并近似产生的后部。但是，这被证明是一项具有挑战性的任务。现有的方法可以调整先前的IP导致高斯预测分布，该分布未能捕获重要的数据模式。相比之下，通过使用另一个IP近似后验过程产生灵活预测分布的方法不能将先前的IP调整到观察到的数据中。我们在这里建议第一个可以实现这两个目标的方法。为此，我们依赖于先前IP的诱导点表示，就像在稀疏高斯过程中所做的那样。结果是一种可扩展的方法，用于与IP的近似推断，可以将先前的IP参数调整到数据中，并提供准确的非高斯预测分布。
translated by 谷歌翻译
许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。
translated by 谷歌翻译
标准GPS为行为良好的流程提供了灵活的建模工具。然而，预计与高斯的偏差有望在现实世界数据集中出现，结构异常值和冲击通常会观察到。在这些情况下，GP可能无法充分建模不确定性，并且可能会过度推动。在这里，我们将GP框架扩展到一类新的时间变化的GP，从而可以直接建模重尾非高斯行为，同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的，并使用L \'{e} Vy过程对潜在转化的随机演变进行建模，该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序，并证明了与标准GP相比的潜在好处。
translated by 谷歌翻译
功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控，维护，设计和规划方面证明是有用的。然而，在实践中，测量并不总是对应于理想曲线：电源缩减将显示为（附加）功能组件。这种多值关系不能通过常规回归建模，并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法，可以在缩减电力数据中推断多值关系。使用基于人群的方法，将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型，以便在整个人口中提供精确的实际功率数据表示。
translated by 谷歌翻译
高斯过程状态空间模型通过在转换功能上放置高斯过程来以原则方式捕获复杂的时间依赖性。这些模型具有自然的解释，作为离散的随机微分方程，但困难的长期序列的推断是困难的。快速过渡需要紧密离散化，而慢速转换需要在长副图层上备份梯度。我们提出了一种由多个组件组成的新型高斯过程状态空间架构，每个组件都培训不同的分辨率，以对不同时间尺度进行模拟效果。组合模型允许在自适应刻度上进行时间进行时间，为具有复杂动态的任意长序列提供有效推断。我们在半合成数据和发动机建模任务上基准我们的新方法。在这两个实验中，我们的方法对其最先进的替代品仅比单一时间级运行的最先进的替代品。
translated by 谷歌翻译
随机过程提供了数学上优雅的方式模型复杂数据。从理论上讲，它们为可以编码广泛有趣的假设的功能类提供了灵活的先验。但是，实际上，难以通过优化或边缘化来有效推断，这一问题进一步加剧了大数据和高维输入空间。我们提出了一种新颖的变性自动编码器（VAE），称为先前的编码变量自动编码器（$ \ pi $ vae）。 $ \ pi $ vae是有限的交换且Kolmogorov一致的，因此是一个连续的随机过程。我们使用$ \ pi $ vae学习功能类的低维嵌入。我们表明，我们的框架可以准确地学习表达功能类，例如高斯流程，也可以学习函数的属性以启用统计推断（例如log高斯过程的积分）。对于流行的任务，例如空间插值，$ \ pi $ vae在准确性和计算效率方面都达到了最先进的性能。也许最有用的是，我们证明了所学的低维独立分布的潜在空间表示提供了一种优雅，可扩展的方法，可以在概率编程语言（例如Stan）中对随机过程进行贝叶斯推断。
translated by 谷歌翻译
贝叶斯后期和模型证据的计算通常需要数值整合。贝叶斯正交（BQ）是一种基于替代模型的数值整合方法，能够具有出色的样品效率，但其缺乏并行化阻碍了其实际应用。在这项工作中，我们提出了一种并行的（批次）BQ方法，该方法采用了核正素的技术，该技术具有证明是指数的收敛速率。另外，与嵌套采样一样，我们的方法允许同时推断后期和模型证据。重新选择了来自BQ替代模型的样品，通过内核重组算法获得一组稀疏的样品，需要可忽略的额外时间来增加批处理大小。从经验上讲，我们发现我们的方法显着优于在包括锂离子电池分析在内的各种现实世界数据集中，最先进的BQ技术和嵌套采样的采样效率。
translated by 谷歌翻译
我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。
translated by 谷歌翻译
高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。
translated by 谷歌翻译
封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
最近，疾病控制和预防中心（CDC）与其他联邦机构合作，以鉴定冠心病疾病2019年（Covid-19）发病率（热点）的县，并为当地卫生部门提供支持，以限制疾病的传播。了解热点事件的时空动态非常重视支持政策决策并防止大规模爆发。本文提出了一种时空贝叶斯框架，用于早期检测美国Covid-19热点（在县级）。我们假设观察到的病例和热点都依赖于一类潜随机变量，其编码Covid-19传输的底层时空动态。这种潜在的变量遵循零均值高斯过程，其协方差由非静止内核功能指定。我们内核功能的最突出的特征是引入深度神经网络，以增强模型的代表性，同时仍然享有内核的可解释性。我们得出了一种稀疏的模型，并使用变分的学习策略适合模型，以规避大数据集的计算诡计。与其他基线方法相比，我们的模型展示了更好的解释性和优越的热点检测性能。
translated by 谷歌翻译
与常规的GPS相比，深层高斯工艺（DGP）提供了丰富的模型，可以更好地表示具有不同的机制或急剧变化的功能。在这项工作中，我们为计算机模型模拟的DGP提出了一种新颖的推理方法。通过随机归纳潜在层，我们的方法将DGP转换为链接的GP：为链接计算机模型系统开发的新型模拟器。这种转换允许有效的DGP培训程序，仅涉及常规GP的优化。此外，DGP模拟器的预测可以通过自然利用链接的GP仿真器的封闭形式的预测手段和方差来快速和分析性地进行。我们在一系列合成示例和经验应用中演示了该方法，并表明它是DGP替代推理的竞争候选者，将效率相结合，可与双随机的变异推理和不确定性量化相媲美，与完全巴约西亚方法相当。还生产了$ \ texttt {python} $ package $ \ texttt {dgpsi} $实现该方法并在https://github.com/mingdeyu/dgp上找到。
translated by 谷歌翻译
引入了涉及高斯流程（GPS）的模型，以同时处理多个功能数据的多任务学习，聚类和预测。该过程充当了功能数据的基于模型的聚类方法，也是对新任务进行后续预测的学习步骤。该模型是将多任务GPS与常见平均过程的混合物实例化。得出了一种用于处理超参数的优化以及超构件对潜在变量和过程的估计的优化。我们建立了明确的公式，用于将平均过程和潜在聚类变量整合到预测分布中，这是两个方面的不确定性。该分布定义为集群特异性GP预测的混合物，在处理组结构数据时，可以增强性能。该模型处理观察的不规则网格，并提供了关于协方差结构的不同假设，用于在任务之间共享其他信息。聚类和预测任务上的性能将通过各种模拟方案和真实数据集进行评估。总体算法称为magmaclust，可公开作为R包。
translated by 谷歌翻译
本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。
translated by 谷歌翻译
高斯流程是许多灵活的统计和机器学习模型的关键组成部分。但是，由于需要倒转和存储完整的协方差矩阵，它们表现出立方计算的复杂性和高内存约束。为了解决这个问题，已经考虑了高斯流程专家的混合物，其中数据点被分配给独立专家，从而通过允许基于较小的局部协方差矩阵来降低复杂性。此外，高斯流程专家的混合物大大富含模型的灵活性，从而允许诸如非平稳性，异方差和不连续性等行为。在这项工作中，我们基于嵌套的蒙特卡洛采样器构建了一种新颖的推理方法，以同时推断门控网络和高斯工艺专家参数。与重要性采样相比，这大大改善了推断，尤其是在固定高斯流程不合适的情况下，同时仍然完全平行。
translated by 谷歌翻译