贝叶斯优化（BO）的样品效率通常通过高斯工艺（GP）替代模型来提高。但是，在混合变量空间上，除GPS以外的其他替代模型很普遍，这主要是由于缺乏可以建模不同类型变量的复杂依赖性的内核。在本文中，我们提出了不同类型变量之间的频率调制（FM）内核灵活建模依赖性，以便BO可以享受进一步提高的样品效率。 FM内核使用连续变量上的距离来调节从离散变量得出的图形傅立叶光谱。但是，频率调制并不总是定义具有相似性度量行为的内核，该行为返回了更多相似点的对较高的值。因此，我们指定并证明了FM内核是正定义并表现出相似性度量行为的条件。在实验中，我们证明了使用FM内核（BO-FM）。在合成问题和超参数优化问题上提高了GP BO的样品效率，BO-FM始终优于竞争对手。同样，频率调制原理的重要性在相同的问题上得到了经验证明。关于神经体系结构和SGD超参数的联合优化，BO-FM优于包括正则演化（RE）和BOHB在内的竞争者。值得注意的是，BO-FM的性能是使用RE和BOHB的三倍，其性能比RE和BOHB更好。
translated by 谷歌翻译
优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如，在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量，以找到高性能的排列。使用贝叶斯优化（BO）框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中，我们提出并评估了博的两个算法（BOPS）。首先，BOPS-T采用高斯工艺（GP）代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法，以选择评估的排列顺序。其次，BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法，以优化预期的改进采集功能。理论上，从理论上分析BOPS-T的性能，以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明，BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究，我们为社区提供了新的资源和现实世界基准。
translated by 谷歌翻译
采集函数是贝叶斯优化（BO）中的关键组成部分，通常可以写为在替代模型下对效用函数的期望。但是，为了确保采集功能是可以优化的，必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序，我们提出了不含可能性的BO（LFBO），这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模，而无需单独使用概率替代模型进行推断。我们表明，可以将计算LFBO中的采集函数缩小为优化加权分类问题，而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能，LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构，从而进一步改善了其遗憾。
translated by 谷歌翻译
在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
贝叶斯优化是解决昂贵评估的黑盒功能的全球优化问题的流行方法。它依赖于目标函数的概率替代模型，在该模型上构建了采集函数，以确定接下来在哪里评估目标函数。通常，使用高斯工艺回归的贝叶斯优化在连续空间上运行。当输入变量分类或离散时，需要额外的护理。一种常见的方法是将单热编码或布尔表示形式用于可能产生组合爆炸问题的分类变量。在本文中，我们提出了一种在组合空间中进行贝叶斯优化的方法，该方法可以在大型组合空间中运行良好。主要思想是使用一个随机映射，该映射将组合空间嵌入到连续空间中的凸多角形中，在该空间上，所有基本过程都会在组合空间中确定黑框优化的解决方案。我们描述了我们的组合贝叶斯优化算法，并介绍其遗憾分析。数值实验表明，与现有方法相比，我们的方法表现出令人满意的性能。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
贝叶斯优化（BO）是一种基于替代物的全球优化策略，依靠高斯流程回归（GPR）模型来近似目标函数和采集功能，以建议候选点。众所周知，对于高维问题，BO不能很好地扩展，因为GPR模型需要更多的数据点才能实现足够的准确性，并且在高维度中，获取优化在计算上变得昂贵。最近的几项旨在解决这些问题的旨在，例如，实现在线变量选择的方法或对原始搜索空间的较低维度次级manifold进行搜索。本文提出了我们以前的PCA-BO的工作，该作品学习了线性子字节，因此提出了一种新颖的内核PCA辅助BO（KPCA-BO）算法，该算法将非线性子词嵌入搜索空间中并在搜索空间中执行BO这个子manifold。直观地，在较低维度的子序列上构建GPR模型有助于提高建模准确性，而无需从目标函数中获得更多数据。此外，我们的方法定义了较低维度的子元素的采集函数，从而使采集优化更易于管理。我们将KPCA-BO与香草bo的性能以及有关可可/BBOB基准套件的多模式问题的PCA-BO进行了比较。经验结果表明，在大多数测试问题上，KPCA-BO在收敛速度方面都优于BO，并且当维度增加时，这种好处变得更加显着。对于60D功能，KPCA-BO在许多测试用例中取得比PCA-BO更好的结果。与Vanilla BO相比，它有效地减少了训练GPR模型所需的CPU时间并优化与香草BO相比的采集功能。
translated by 谷歌翻译
自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。
translated by 谷歌翻译
Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
尽管自动超参数优化（HPO）的所有好处，但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置，减少对HPO的信任，从而阻碍其广泛采用的决策过程。在这里，我们研究了HPO与可解释的机器学习（IML）方法（例如部分依赖图）的组合。但是，如果将这种方法天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法，该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明我们的方法返回对基础黑盒的更可靠的解释，而不会损失优化性能。
translated by 谷歌翻译
Tree Ensembles可以非常适合黑盒优化任务，例如算法调整和神经体系结构搜索，因为它们在几乎没有手动调整的情况下实现了良好的预测性能，自然可以处理离散的功能空间，并且对培训中的异常值相对不敏感数据。在使用树的组合进行黑盒优化方面面临的两个众所周知的挑战是（i）有效地量化模型的不确定性，以进行探索，以及（ii）优化在零件的恒定采集函数上。为了同时解决这两个点，我们建议在获得模型方差估计之前使用树的内核解释为高斯过程，并为采集函数开发兼容的优化公式。后者进一步使我们能够通过考虑工程设置中的域知识和建模搜索空间对称性，例如神经体系结构搜索中的层次结构关系，从而无缝整合已知约束，以提高采样效率。我们的框架以及最先进的方法以及对连续/离散功能的不受限制的黑框优化，并且优于结合混合变量特征空间和已知输入约束的问题的竞争方法。
translated by 谷歌翻译
2022-09-22
贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
贝叶斯优化（BO）对评估昂贵的功能的全球优化表现出了巨大的希望，但是尽管取得了许多成功，但标准方法仍可能在高维度上挣扎。为了提高BO的性能，先前的工作建议将梯度信息纳入目标的高斯流程替代，从而产生了$ n $ nd $ nd $的内核矩阵，以$ d $ d $ dimensions中的$ n $观察。 na \“ intival”将这些矩阵乘以$ \ MATHCAL {o}（n^2d^2）$（resp。$ \ mathcal {o}（n^3d^3 $））的操作，它变成对于中等尺寸和样本量不可行。在这里，我们观察到众多的内核会产生结构化的矩阵，从而使精确的$ \ MATHCAL {O}（n^2d）$矩阵 - 矢量乘以梯度观察和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ {o}（n^2d^2）$用于Hessian观察。除了规范内核类别之外，我们得出了一种程序化方法来利用这种类型的结构进行转换和讨论的内核类的组合，该类别构成了一种结构意识到的自动差异算法。我们的方法几乎适用于所有规范内核，并自动扩展到复杂的内核，例如神经网络，径向基函数网络和光谱混合物内核，而无需任何其他衍生物，可以在将一阶BO缩放到高度的同时，使其具有灵活的，问题依赖性的建模$ D $。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。
translated by 谷歌翻译
贝叶斯优化（BO）已成为黑框函数的顺序优化。当BO用于优化目标函数时，我们通常可以访问对潜在相关功能的先前评估。这就提出了一个问题，即我们是否可以通过元学习（meta-bo）来利用这些先前的经验来加速当前的BO任务，同时确保稳健性抵抗可能破坏BO融合的潜在有害的不同任务。本文介绍了两种可扩展且可证明的稳健元算法：稳健的元高斯过程 - 加工置信度结合（RM-GP-UCB）和RM-GP-thompson采样（RM-GP-TS）。我们证明，即使某些或所有以前的任务与当前的任务不同，这两种算法在渐近上都是无重组的，并且证明RM-GP-UCB比RM-GP-TS具有更好的理论鲁棒性。我们还利用理论保证，通过通过在线学习最大程度地减少遗憾，优化分配给各个任务的权重，从而减少了相似任务的影响，从而进一步增强了稳健性。经验评估表明，（a）RM-GP-UCB在各种应用程序中都有效，一致地性能，（b）RM-GP-TS，尽管在理论上和实践中都比RM-GP-ucb稳健，但在实践中，在竞争性中表现出色某些方案具有较小的任务，并且在计算上更有效。
translated by 谷歌翻译