优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如，在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量，以找到高性能的排列。使用贝叶斯优化（BO）框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中，我们提出并评估了博的两个算法（BOPS）。首先，BOPS-T采用高斯工艺（GP）代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法，以选择评估的排列顺序。其次，BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法，以优化预期的改进采集功能。理论上，从理论上分析BOPS-T的性能，以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明，BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究，我们为社区提供了新的资源和现实世界基准。
translated by 谷歌翻译
我们考虑使用昂贵的黑盒功能评估优化组合空间（例如，序列，树木和图形）的问题。例如，使用物理实验室实验优化用于药物设计的分子。贝叶斯优化（BO）是一种有效的框架，可以通过智能地选择由学习的代理模型引导的高实用程序的输入来解决这些问题。最近用于组合空间的BO方法是通过使用深生成模型（DGMS）学习结构的潜在表示来减少到连续空间。从连续空间的所选输入被解码为用于执行功能评估的离散结构。然而，潜在空间上的代理模型仅使用DGM学习的信息，这可能不具有所需的感应偏压来近似于目标黑盒功能。为了克服这篇缺点，本文提出了一种原则方法，称为梯子。关键的想法是定义一种新颖的结构耦合内核，该内核明确地将结构信息与解码结构与学习的潜空间表示进行了解，以获得更好的代理建模。我们对现实世界基准测试的实验表明，梯子显着改善了纬度的潜伏空间方法，并表现出更好或更好地与最先进的方法。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。
translated by 谷歌翻译
贝叶斯优化是解决昂贵评估的黑盒功能的全球优化问题的流行方法。它依赖于目标函数的概率替代模型，在该模型上构建了采集函数，以确定接下来在哪里评估目标函数。通常，使用高斯工艺回归的贝叶斯优化在连续空间上运行。当输入变量分类或离散时，需要额外的护理。一种常见的方法是将单热编码或布尔表示形式用于可能产生组合爆炸问题的分类变量。在本文中，我们提出了一种在组合空间中进行贝叶斯优化的方法，该方法可以在大型组合空间中运行良好。主要思想是使用一个随机映射，该映射将组合空间嵌入到连续空间中的凸多角形中，在该空间上，所有基本过程都会在组合空间中确定黑框优化的解决方案。我们描述了我们的组合贝叶斯优化算法，并介绍其遗憾分析。数值实验表明，与现有方法相比，我们的方法表现出令人满意的性能。
translated by 谷歌翻译
在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
贝叶斯优化（BO）与高斯工艺（GP）作为代理模型广泛用于优化分析且昂贵的函数。在本文中，我们提出了先前的卑鄙贝叶斯优化（Probo），以特定问题表达了古典博。首先，我们研究高斯过程的效果对古典博的收敛性的先前规范。我们发现前面的平均参数对所有先前组件之间的收敛具有最高影响。响应于此结果，我们将probo介绍为博的概括，其旨在使该方法更加强大地朝着先前的平均参数误操作。这是通过明确地通过先前的近无知模型进行GP来实现的实现。在核心的核心是一种新的采集功能，广义较低的置信度（GLCB）。我们在物质科学的真实问题上测试我们对古典博的方法，并观察Progo更快地收敛。关于多模式和WIGGLY目标功能的进一步实验证实了我们方法的优越性。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
贝叶斯优化（BO）的样品效率通常通过高斯工艺（GP）替代模型来提高。但是，在混合变量空间上，除GPS以外的其他替代模型很普遍，这主要是由于缺乏可以建模不同类型变量的复杂依赖性的内核。在本文中，我们提出了不同类型变量之间的频率调制（FM）内核灵活建模依赖性，以便BO可以享受进一步提高的样品效率。 FM内核使用连续变量上的距离来调节从离散变量得出的图形傅立叶光谱。但是，频率调制并不总是定义具有相似性度量行为的内核，该行为返回了更多相似点的对较高的值。因此，我们指定并证明了FM内核是正定义并表现出相似性度量行为的条件。在实验中，我们证明了使用FM内核（BO-FM）。在合成问题和超参数优化问题上提高了GP BO的样品效率，BO-FM始终优于竞争对手。同样，频率调制原理的重要性在相同的问题上得到了经验证明。关于神经体系结构和SGD超参数的联合优化，BO-FM优于包括正则演化（RE）和BOHB在内的竞争者。值得注意的是，BO-FM的性能是使用RE和BOHB的三倍，其性能比RE和BOHB更好。
translated by 谷歌翻译
许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。
translated by 谷歌翻译
采集函数是贝叶斯优化（BO）中的关键组成部分，通常可以写为在替代模型下对效用函数的期望。但是，为了确保采集功能是可以优化的，必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序，我们提出了不含可能性的BO（LFBO），这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模，而无需单独使用概率替代模型进行推断。我们表明，可以将计算LFBO中的采集函数缩小为优化加权分类问题，而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能，LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构，从而进一步改善了其遗憾。
translated by 谷歌翻译
宏位置是将内存块放在芯片画布上的问题。它可以在序列对上表达为组合优化问题，该表示形式描述了宏的相对位置。解决此问题尤其具有挑战性，因为目标功能评估昂贵。在本文中，我们通过序列对使用贝叶斯优化（BO）开发了一种新颖的方法来宏观放置。 BO是一种机器学习技术，它使用概率的替代模型和一个采集功能，可以平衡探索和开发以有效地优化黑盒目标函数。 BO比强化学习更有效率，因此可以与更现实的目标一起使用。此外，从数据中学习并将算法适应目标函数的能力使BO成为其他黑盒优化方法（例如模拟退火）的吸引人替代方法，该方法依赖于问题依赖性的启发式方法和参数调整。我们在固定外线宏观位置问题上基准了我们的算法，并具有半二级线长度目标，并表现出竞争性能。
translated by 谷歌翻译
贝叶斯优化（BO）是一种基于替代物的全球优化策略，依靠高斯流程回归（GPR）模型来近似目标函数和采集功能，以建议候选点。众所周知，对于高维问题，BO不能很好地扩展，因为GPR模型需要更多的数据点才能实现足够的准确性，并且在高维度中，获取优化在计算上变得昂贵。最近的几项旨在解决这些问题的旨在，例如，实现在线变量选择的方法或对原始搜索空间的较低维度次级manifold进行搜索。本文提出了我们以前的PCA-BO的工作，该作品学习了线性子字节，因此提出了一种新颖的内核PCA辅助BO（KPCA-BO）算法，该算法将非线性子词嵌入搜索空间中并在搜索空间中执行BO这个子manifold。直观地，在较低维度的子序列上构建GPR模型有助于提高建模准确性，而无需从目标函数中获得更多数据。此外，我们的方法定义了较低维度的子元素的采集函数，从而使采集优化更易于管理。我们将KPCA-BO与香草bo的性能以及有关可可/BBOB基准套件的多模式问题的PCA-BO进行了比较。经验结果表明，在大多数测试问题上，KPCA-BO在收敛速度方面都优于BO，并且当维度增加时，这种好处变得更加显着。对于60D功能，KPCA-BO在许多测试用例中取得比PCA-BO更好的结果。与Vanilla BO相比，它有效地减少了训练GPR模型所需的CPU时间并优化与香草BO相比的采集功能。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。
translated by 谷歌翻译