贝叶斯优化(BO)与高斯工艺(GP)作为代理模型广泛用于优化分析且昂贵的函数。在本文中,我们提出了先前的卑鄙贝叶斯优化(Probo),以特定问题表达了古典博。首先,我们研究高斯过程的效果对古典博的收敛性的先前规范。我们发现前面的平均参数对所有先前组件之间的收敛具有最高影响。响应于此结果,我们将probo介绍为博的概括,其旨在使该方法更加强大地朝着先前的平均参数误操作。这是通过明确地通过先前的近无知模型进行GP来实现的实现。在核心的核心是一种新的采集功能,广义较低的置信度(GLCB)。我们在物质科学的真实问题上测试我们对古典博的方法,并观察Progo更快地收敛。关于多模式和WIGGLY目标功能的进一步实验证实了我们方法的优越性。
translated by 谷歌翻译
贝叶斯优化(BO)被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上,但许多应用程序都需要规避风险的策略,并且需要考虑分配尾巴的替代标准。在本文中,我们提出了针对贝叶斯分位数和预期回归的新变异模型,这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数(或期望)的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外,我们提出了基于最大值熵搜索和汤普森采样的两种BO策略,这些策略是针对此类型号量身定制的,可以容纳大量点。与现有的BO进行规避风险优化的方法相反,我们的策略可以直接针对分位数和预期进行优化,而无需复制观测值或假设噪声的参数形式。如实验部分所示,所提出的方法清楚地表现出异质的非高斯案例中的最新状态。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习,即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务,使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人,以前尚未应用于这个问题。然而,贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的,离散的受限搜索空间,包含无效配置。我们介绍了一种新颖的上下文方差探索因子,以及具有改进的可扩展性的新采集功能,与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能,以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现,我们证明我们的搜索策略概括了良好的良好,并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
Bayesian Optimization(Bo)是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是,有关客观函数计算的内部信息通常可用。例如,在使用模拟优化制造行的吞吐量时,除了整体吞吐量之外,我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法,因为它们将客观计算视为部分可观察且甚至可修改,将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法,专注于复合物镜功能的博,其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博,其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。
translated by 谷歌翻译
优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如,在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量,以找到高性能的排列。使用贝叶斯优化(BO)框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中,我们提出并评估了博的两个算法(BOPS)。首先,BOPS-T采用高斯工艺(GP)代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法,以选择评估的排列顺序。其次,BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法,以优化预期的改进采集功能。理论上,从理论上分析BOPS-T的性能,以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明,BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究,我们为社区提供了新的资源和现实世界基准。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估(也称为实验)的黑匣子多目标优化(MOO)的问题,其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如,在硬件设计优化中,我们需要使用昂贵的计算模拟找到权衡性能,能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中,我们提出了一种基于输出空间熵(OSE)搜索原理来解决MOO问题的一般框架:选择最大化每单位资源成本的信息的实验,这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理,以导出以下四个Moo问题设置的高效算法:1)最基本的EM单一保真设置,实验昂贵且准确; 2)处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3)离散的多保真设置,实验可以在消耗的资源量和评估准确度时变化; 4)EM连续保真设置,其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明,基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
由于其样本效率,贝叶斯优化(BO)已成为处理昂贵的黑匣子优化问题的流行方法,如Quand参数优化(HPO)。最近的实证实验表明,HPO问题的损失景观往往比以前假设的良好良好,即,在最佳的单模和凸起的情况下,如果它可以专注于那些有前途的当地地区,BO框架可能会更有效。在本文中,我们提出了船舶,这是一种双阶段方法,它针对中型配置空间量身定制,因为许多HPO问题中的一个遇到。在第一阶段,我们建立一个可扩展的全球代理模型,随机森林来描述整体景观结构。此外,我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段,利用该子区域中的本地模型来建议接下来进行评估。实证实验表明,鲍威能够利用典型的HPO问题的结构,并特别吻合来自合成功能和HPO的中型问题。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策,这些策略解释了在特定意见下评估目标函数的立即奖励,从而排除了更多的信息收益,这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架,以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数,可最大程度地提高累积奖励,从而测量解决方案的改进,超过了前面的两个步骤。我们证明,所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行,以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵,而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索(JES),这是一种新的信息理论采集函数,它考虑了全新的数量,即输入和输出空间上关节最佳概率密度的熵。为了结合此信息,我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械,并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销,JES展示了卓越的决策,并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法,JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.
translated by 谷歌翻译
尽管自动超参数优化(HPO)的所有好处,但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置,减少对HPO的信任,从而阻碍其广泛采用的决策过程。在这里,我们研究了HPO与可解释的机器学习(IML)方法(例如部分依赖图)的组合。但是,如果将这种方法天真地应用于HPO过程的实验数据,则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法,该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下,我们证明我们的方法返回对基础黑盒的更可靠的解释,而不会损失优化性能。
translated by 谷歌翻译
Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),
translated by 谷歌翻译
由于其数据效率,贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来,关于新贝叶斯优化算法及其应用的发展的研究激增。因此,本文试图对贝叶斯优化的最新进展进行全面和更新的调查,并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体,并根据所提出的算法的动机和重点。对于每个类别,我们介绍了替代模型的构建和采集功能的适应的主要进步。最后,我们讨论了开放的问题,并提出了有希望的未来研究方向,尤其是在分布式和联合优化系统中的异质性,隐私保护和公平性方面。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
自动化封路计优化(HPO)已经获得了很大的普及,并且是大多数自动化机器学习框架的重要成分。然而,设计HPO算法的过程仍然是一个不系统和手动的过程:确定了现有工作的限制,提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解,并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO(MF-HPO)的自动基准驱动算法设计的原则方法:首先,我们正式化包括的MF-HPO候选的丰富空间,但不限于普通的HPO算法,然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者,我们遵循通过优化方法,并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置,在某些方式中比建立的方法更简单,只要某些关键配置参数具有正确的值,就可以很好地执行得很好。
translated by 谷歌翻译
Bayesian Optimization(BO)是全球优化的黑匣子客观功能的方法,这是昂贵的评估。 Bo Powered实验设计在材料科学,化学,实验物理,药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处,并提供博手册,涵盖方法和软件,为了方便任何想要申请或学习博的人。特别是,我们简要解释了BO技术,审查BO中的所有应用程序在添加剂制造中,比较和举例说明不同开放BO库的功能,解锁BO的新潜在应用,以外的数据(例如,优先输出)。本文针对读者,了解贝叶斯方法的一些理解,但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外,我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
自动化的HyperParameter优化(HPO)可以支持从业者在机器学习模型中获得峰值性能。然而,通常缺乏有价值的见解,以对不同的超参数对最终模型性能的影响。这种缺乏可解释性使得难以信任并理解自动化的HPO过程及其结果。我们建议使用可解释的机器学习(IML)从HPO中获得的实验数据与贝叶斯优化(BO)一起获得见解。 BO倾向于专注于具有潜在高性能配置的有前途的区域,从而诱导采样偏差。因此,许多IML技术,例如部分依赖曲线(PDP),承载产生偏置解释的风险。通过利用BO代理模型的后部不确定性,我们引入了具有估计置信带的PDP的变种。我们建议分区Quand参数空间以获得相关子区域的更自信和可靠的PDP。在一个实验研究中,我们为子区域内PDP的质量提高提供了定量证据。
translated by 谷歌翻译
贝叶斯优化是一种全球优化未知和昂贵目标的方法。它结合了替代贝叶斯回归模型与采集函数,以决定在哪里评估目标。典型的回归模型是具有固定协方差函数的高斯流程,但是,该过程无法表达事先的输入依赖性信息,特别是有关最佳位置的信息。固定模型的普遍性导致了通过信息丰富的均值功能利用先验信息的共同实践。在本文中,我们强调说,这些模型会导致性能差,尤其是在高维度中。我们提出了新颖的信息协方差函数,以利用非平稳性来编码搜索空间某些区域的偏好,并在优化期间自适应促进局部探索。我们证明,即使在弱的先验信息下,它们也可以在高维度中提高优化的样本效率。
translated by 谷歌翻译
制造中的一个自主实验平台据说能够进行顺序搜索,以便自行为先进材料寻找合适的制造条件,甚至用于发现具有最小的人为干预的新材料。这种平台的智能控制的核心是政策指导顺序实验,即根据到目前为止所做的事情来决定在下次进行下一个实验的地方。此类政策不可避免地违反勘探,而目前的做法是利用预期改进标准或其变体的贝叶斯优化框架。我们讨论是否利用与直接观察相关的元素和惊喜程度来促进剥削与勘探有益。我们使用两个现有的惊喜指标设计了一个惊喜的反应政策,称为香农惊喜和贝叶斯惊喜。我们的分析表明,令人惊讶的反应政策似乎更适合于在资源限制下快速表征响应面或设计地点的整体景观。我们认为未来派自治实验平台需要这种能力。我们没有声称我们有一个完全自主的实验平台,但相信我们目前的努力揭示了新灯或提供了不同的视角,因为研究人员正在赛车提升各种原始自治实验系统的自主权。
translated by 谷歌翻译