在几个应用程序域中获取的标签数据可能很昂贵，包括医学成像，机器人技术和计算机视觉。为了在如此高的标签成本下有效地培训机器学习模型，主动学习（AL）明智地选择了最有用的数据实例来进行贴标签。这种主动采样过程可以受益于统计函数模型，该模型通常由高斯过程（GP）捕获。尽管大多数基于GP的AL方法都依赖于单个内核函数，但目前的贡献提倡一个GP模型的集合，其权重适合于逐步收集的标记数据。在这个新颖的EGP模型的基础上，根据不确定性和分歧规则出现了一系列采集功能。还引入了基于EGP的采集功能的自适应加权合奏，以进一步鲁棒性能。关于合成和真实数据集的广泛测试展示了基于单一GP的AL替代方案所提出的基于EGP的方法的优点。
translated by 谷歌翻译
值函数近似是当状态空间大或连续时加强学习中的策略评估的重要模块。本文采用了通过时间差异（TD）学习的政策评估的生成透视，其中预先在寻求值函数上推出了高斯过程（GP），并且基于两个连续状态的价值函数评估，瞬时奖励是概率生成的。利用基于GP的随机特征的近似值，在线可扩展（OS）方法称为{OS-GPTD}，以通过观察一系列状态奖励对来估计给定策略的值函数。即使在侵犯建模假设中，也在侵犯假设的情况下基准测试OS-GPTD的性能，通过上限累积的Bellman误差以及相对于他们的长期奖励预测误差来执行互补的最坏情况分析。来自固定值函数估算器的对应物，并在后智中具有整个状态奖励轨迹。此外，为了减轻与单个固定内核相关的有限的表达性，采用GP前沿的加权集合（e）来产生替代方案，称为OS-EGPTD，可以联合推断价值函数，并交互式EGP内核选择EGP内核在飞行。最后，在两个基准问题上评估了新型OS-（e）GPTD方案的性能。
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
社会和自然中的极端事件，例如大流行尖峰，流氓波浪或结构性失败，可能会带来灾难性的后果。极端的表征很困难，因为它们很少出现，这似乎是由良性的条件引起的，并且属于复杂且通常是未知的无限维系统。这种挑战使他们将其描述为“毫无意义”。我们通过将贝叶斯实验设计（BED）中的新型训练方案与深神经操作员（DNOS）合奏结合在一起来解决这些困难。这个模型不足的框架配对了一个床方案，该床方案积极选择数据以用近似于无限二二维非线性运算符的DNO集合来量化极端事件。我们发现，这个框架不仅清楚地击败了高斯流程（GPS），而且只有两个成员的浅色合奏表现最好； 2）无论初始数据的状态如何（即有或没有极端），都会发现极端； 3）我们的方法消除了“双研究”现象； 4）与逐步全球Optima相比，使用次优的采集点的使用不会阻碍床的性能； 5）蒙特卡洛的获取优于高量级的标准优化器。这些结论共同构成了AI辅助实验基础设施的基础，该基础设施可以有效地推断并查明从物理到社会系统的许多领域的关键情况。
translated by 谷歌翻译
许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。
translated by 谷歌翻译
众所周知，即使通过核心点之间捕获数据点之间的相似性，也可以通过捕获相似性来提供准确的预测和不确定性估计，以提供准确的预测和不确定性估计。然而，传统的GP内核在捕获高维数据点之间的相似性时不是非常有效的。神经网络可用于学习在高维数据中编码复杂结构的良好表示，并且可以用作GP内核的输入。然而，神经网络的巨大数据要求使得这种方法在小数据设置中无效。为了解决代表学习和数据效率的冲突问题，我们建议通过使用概率神经网络来学习概率嵌入的深核。我们的方法将高维数据映射到低维子空间中的概率分布，然后计算这些分布之间的内核以捕获相似性。要启用端到端学习，我们可以推导出用于培训模型的功能梯度血清过程。各种数据集的实验表明，我们的方法在监督和半监督设置中占GP内核学习中的最先进。我们还将我们的方法扩展到其他小型数据范例，例如少量分类，在迷你想象网和小熊数据集上以前的方式胜过先前的方法。
translated by 谷歌翻译
并非所有数据都相等。误导或不必要的数据可能会严重阻碍机器学习（ML）模型的准确性。当数据丰富时，可以克服误导性效果，但是在许多现实世界中，数据稀疏且获取昂贵。我们提出了一种方法，该方法大大降低了准确训练ML模型所需的数据大小，从而有可能为ML中许多新的有限数据应用程序打开大门。我们的方法提取了最有用的数据，同时忽略和省略了将ML模型误导为下等级属性的数据。具体而言，该方法消除了“双重下降”的现象，其中更多的数据导致性能较差。这种方法为ML社区带来了一些关键功能。值得注意的是，该方法自然收敛并消除了将数据集分为培训，测试和验证数据的传统需求。相反，选择度量固有地评估了测试误差。这样可以确保在测试或验证中永远不会浪费关键信息。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
估算高维观测数据的个性化治疗效果在实验设计不可行，不道德或昂贵的情况下是必不可少的。现有方法依赖于拟合对治疗和控制人群的结果的深层模型。然而，当测量单独的结果是昂贵的时，就像肿瘤活检一样，需要一种用于获取每种结果的样本有效的策略。深度贝叶斯主动学习通过选择具有高不确定性的点来提供高效数据采集的框架。然而，现有方法偏置训练数据获取对处理和控制群体之间的非重叠支持区域。这些不是样本效率，因为在这些区域中不可识别治疗效果。我们介绍了因果关系，贝叶斯采集函数接地的信息理论，使数据采集朝向具有重叠支持的地区，以最大限度地提高学习个性化治疗效果的采样效率。我们展示了拟议的综合和半合成数据集IHDP和CMNIST上提出的收购策略及其扩展的表现，旨在模拟常见的数据集偏差和病理学。
translated by 谷歌翻译
当数据稀缺时，元学习可以通过利用相关的学习任务的先前经验来提高学习者的准确性。然而，现有方法具有不可靠的不确定性估计，通常过于自信。解决这些缺点，我们介绍了一个名为F-PACOH的新型元学习框架，该框架称为F-PACOH，该框架将Meta学习的前沿视为随机过程，并直接在函数空间中执行元级正则化。这使我们能够直接转向元学习者在元区域训练数据区域中对高至少认知不确定性的概率预测，从而获得良好的不确定性估计。最后，我们展示了我们的方法如何与顺序决策集成，其中可靠的不确定性量化是必要的。在我们对贝叶斯优化（BO）的元学习的基准研究中，F-PACOH显着优于所有其他元学习者和标准基线。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。
translated by 谷歌翻译
多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。
translated by 谷歌翻译
来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。
translated by 谷歌翻译
We introduce scalable deep kernels, which combine the structural properties of deep learning architectures with the non-parametric flexibility of kernel methods. Specifically, we transform the inputs of a spectral mixture base kernel with a deep architecture, using local kernel interpolation, inducing points, and structure exploiting (Kronecker and Toeplitz) algebra for a scalable kernel representation. These closed-form kernels can be used as drop-in replacements for standard kernels, with benefits in expressive power and scalability. We jointly learn the properties of these kernels through the marginal likelihood of a Gaussian process. Inference and learning cost O(n) for n training points, and predictions cost O(1) per test point. On a large and diverse collection of applications, including a dataset with 2 million examples, we show improved performance over scalable Gaussian processes with flexible kernel learning models, and stand-alone deep architectures.
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
高斯流程（GPS）实际应用的主要挑战是选择适当的协方差函数。 GPS的移动平均值或过程卷积的构建可以提供一些额外的灵活性，但仍需要选择合适的平滑核，这是非平凡的。以前的方法通过在平滑内核上使用GP先验，并通过扩展协方差来构建协方差函数，以绕过预先指定它的需求。但是，这样的模型在几种方面受到限制：它们仅限于单维输入，例如时间;它们仅允许对单个输出进行建模，并且由于推理并不简单，因此不会扩展到大型数据集。在本文中，我们引入了GPS的非参数过程卷积公式，该公式通过使用基于Matheron规则的功能采样方法来减轻这些弱点，以使用诱导变量的间域间采样进行快速采样。此外，我们提出了这些非参数卷积的组成，可作为经典深度GP模型的替代方案，并允许从数据中推断中间层的协方差函数。我们测试了单个输出GP，多个输出GPS和DEEP GPS在基准测试上的模型性能，并发现在许多情况下，我们的方法可以提供比标准GP模型的改进。
translated by 谷歌翻译
在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
近几十年来，科学和工程的可用数据数量的重大增长彻底改变了。然而，尽管现在收集和存储数据的空前很容易，但通过补充每个功能的标签来标记数据仍然是具有挑战性的。标签过程需要专家知识或乏味且耗时的说明任务包括用诊断X射线标记X射线，具有蛋白质类型的蛋白质序列，其主题的文本，通过其情感推文或视频通过其类型的视频。在这些和许多其他示例中，由于成本和时间限制，只能手动标记一些功能。我们如何才能最好地将标签信息从少数昂贵的标签功能到大量未标记的标签信息传播？这是半监督学习（SSL）提出的问题。本文概述了基于图的贝叶斯SSL的最新基础发展，这是一种使用功能之间的相似性的标签传播概率框架。 SSL是一个活跃的研究领域，对现有文献的彻底回顾超出了本文的范围。我们的重点将放在我们自己的研究中得出的主题，这些主题说明了对基于图的贝叶斯SSL的统计准确性和计算效率进行严格研究的广泛数学工具和思想。
translated by 谷歌翻译
我们提出了一种新的非参数混合物模型，用于多变量回归问题，灵感来自概率K-Nearthimest邻居算法。使用有条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，从而产生高斯混合物表示的预测分布。在混合物组件的参数以及距离度量标准的参数上，使用平均场变化贝叶斯算法进行后推断，并具有基于随机梯度的优化过程。在与数据大小相比，输入 - 输出关系很复杂，预测分布可能偏向或多模式的情况下，输入相对较高的尺寸，该方法尤其有利。对五个数据集进行的计算研究，其中两个是合成生成的，这说明了我们的高维输入的专家混合物方法的明显优势，在验证指标和视觉检查方面都优于竞争者模型。
translated by 谷歌翻译