计算高效的非近视贝叶斯优化(BO)的最新进展提高了传统近视方法的查询效率,如预期的改进,同时仅适度提高计算成本。然而,这些进展在很大程度上是有限的,因为不受约束的优化。对于约束优化,少数现有的非近视博方法需要重量计算。例如,一个现有的非近视约束BO方法[LAM和Willcox,2017]依赖于计算昂贵的不可靠的暴力衍生物的无可靠性衍生物优化蒙特卡罗卷展卷采集功能。使用Reparameterization技巧进行更有效的基于衍生物的优化的方法,如在不受约束的环境中,如样本平均近似和无限扰动分析,不扩展:约束在取样的采集功能表面中引入阻碍其优化的不连续性。此外,我们认为非近视在受限制问题中更为重要,因为违反限制的恐惧将近视方法推动了可行和不可行区域之间的边界,减缓了具有严格约束的最佳解决方案的发现。在本文中,我们提出了一种计算的有效的两步保护受限贝叶斯优化采集功能(2-OPT-C)支持顺序和批处理设置。为了实现快速采集功能优化,我们开发了一种新的基于似然比的非偏见估计,其两步最佳采集函数的梯度不使用Reparameterization技巧。在数值实验中,2-OPT-C通常通过先前的方法通过2倍或更多的查询效率,并且在某些情况下通过10倍或更大。
translated by 谷歌翻译
Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),
translated by 谷歌翻译
最大值熵搜索(MES)是贝叶斯优化(BO)的最先进的方法之一。在本文中,我们提出了一种用于受约束问题的MES的新型变型,通过信息下限(CMES-IBO)称为受约束的ME,其基于互信息的下限的蒙特卡罗(MC)估计器(MI)。我们首先定义定义最大值的MI,以便它可以在可行性方面结合不确定性。然后,我们得出了保证非消极性的MI的下限,而传统ME的受约束对应物可以是负的。我们进一步提供了理论分析,确保我们估算者的低变异性,从未针对任何现有的信息理论博进行调查。此外,使用条件MI,我们将CMES-1BO扩展到并联设置,同时保持所需的性质。我们展示了CMES-IBO对多个基准功能和真实问题的有效性。
translated by 谷歌翻译
Bayesian Optimization(Bo)是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是,有关客观函数计算的内部信息通常可用。例如,在使用模拟优化制造行的吞吐量时,除了整体吞吐量之外,我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法,因为它们将客观计算视为部分可观察且甚至可修改,将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法,专注于复合物镜功能的博,其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博,其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。
translated by 谷歌翻译
由于其数据效率,贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来,关于新贝叶斯优化算法及其应用的发展的研究激增。因此,本文试图对贝叶斯优化的最新进展进行全面和更新的调查,并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体,并根据所提出的算法的动机和重点。对于每个类别,我们介绍了替代模型的构建和采集功能的适应的主要进步。最后,我们讨论了开放的问题,并提出了有希望的未来研究方向,尤其是在分布式和联合优化系统中的异质性,隐私保护和公平性方面。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估(也称为实验)的黑匣子多目标优化(MOO)的问题,其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如,在硬件设计优化中,我们需要使用昂贵的计算模拟找到权衡性能,能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中,我们提出了一种基于输出空间熵(OSE)搜索原理来解决MOO问题的一般框架:选择最大化每单位资源成本的信息的实验,这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理,以导出以下四个Moo问题设置的高效算法:1)最基本的EM单一保真设置,实验昂贵且准确; 2)处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3)离散的多保真设置,实验可以在消耗的资源量和评估准确度时变化; 4)EM连续保真设置,其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明,基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
Bayesian Optimization(BO)是一种优化昂贵对评估黑匣子功能的采样有效的方法。大多数BO方法忽略了评估成本如何在优化域中变化。然而,这些成本可以是高度异质的并且通常提前未知。这发生在许多实际设置中,例如机器学习算法或基于物理的仿真优化的超参数调整。此外,那些确认成本异质性的现有方法并不自然地适应总评估成本的预算限制。这种未知的成本和预算限制的组合引入了勘探开发权衡的新维度,其中关于成本的学习成本本身。现有方法没有原因地理由以原则的方式对此问题的各种权衡,经常导致性能不佳。我们通过证明,每单位成本的预期改进和预期改善,可以使这两个最广泛使用的采购职能在实践中的预期改进和预期的索赔可以是任意劣等的。为了克服现有方法的缺点,我们提出了预算的多步预期改进,是一个非近视收购函数,以概括为异质和未知评估成本的古典预期改进。最后,我们表明我们的采集功能优于各种合成和实际问题的现有方法。
translated by 谷歌翻译
贝叶斯优化(BO)方法试图找到目标功能的全球最佳功能,这些功能仅作为黑盒或昂贵的评估。这样的方法为目标函数构建了替代模型,从而量化了通过贝叶斯推论的替代物中的不确定性。客观评估是通过在每个步骤中最大化采集函数来依次确定的。但是,由于采集函数的非转换性,尤其是在批处理贝叶斯优化的情况下,该辅助优化问题可能是高度不平凡的,因此可以解决。在这项工作中,我们将批处理重新定义为在概率措施空间上的优化问题。我们基于多点预期改进来构建一个新的采集函数,该功能是概率度量空间的凸面。解决此“内部”优化问题的实用方案自然会作为该目标函数的梯度流。我们证明了这种新方法对不同基准函数的功效,并与最先进的批次BO方法进行了比较。
translated by 谷歌翻译
贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策,这些策略解释了在特定意见下评估目标函数的立即奖励,从而排除了更多的信息收益,这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架,以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数,可最大程度地提高累积奖励,从而测量解决方案的改进,超过了前面的两个步骤。我们证明,所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。
translated by 谷歌翻译
许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时,多目标贝叶斯优化(BO)是一种流行的方法,因为其样品效率很高。但是,即使有了最近的方法学进步,大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差,并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中,我们提出了Morbo,这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明,Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高,包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上,如果现有的BO算法无法扩展和表现良好,Morbo为从业者提供了刻度级别的效率,则在当前方法上可以提高样本效率。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
深度神经网络(DNNS)和数据集的增长不断上升,这激发了对同时选择和培训的有效解决方案的需求。许多迭代学习者的高参数优化方法(HPO)的许多方法,包括DNNS试图通过查询和学习响应表面来解决该问题的最佳表面来解决此问题。但是,这些方法中的许多方法都会产生近视疑问,不考虑有关响应结构的先验知识和/或执行偏见的成本感知搜索,当指定总成本预算时,所有这些都会加剧识别表现最好的模型。本文提出了一种新颖的方法,称为迭代学习者(BAPI),以在成本预算有限的情况下解决HPO问题。 BAPI是一种有效的非洋流贝叶斯优化解决方案,可以说明预算,并利用有关目标功能和成本功能的先验知识来选择更好的配置,并在评估期间(培训)做出更明智的决策。针对迭代学习者的不同HPO基准测试的实验表明,在大多数情况下,BAPI的性能比最先进的基线表现更好。
translated by 谷歌翻译
我们考虑贝叶斯型优化函数网络的输出,其中每个功能都将其作为输入其父节点的输出,并且网络在其位置需要评估。例如,在强化学习,工程设计和制造中出现了这些问题。虽然标准贝叶斯优化方法只观察到最终输出,但我们的方法通过利用前者忽略的信息来提供更大的查询效率:网络内中间输出。这是通过使用高斯过程建模网络的节点来实现的实现,并选择要使用的点作为我们的采集功能来评估点,所以在物镜上的隐含后续计算的预期改进。尽管这种后部的非高斯性质阻止了以封闭形式计算我们的采集功能,但我们表明它可以通过样本平均近似有效地最大化。此外,我们证明我们的方法是渐近的,这意味着它发现全球最佳解决方案随着评估的数量增长到无穷大,因此概括了预期改进的先前已知的收敛结果。值得注意的是,即使我们的方法可能无法谨慎地评估域,而是利用问题结构留下未开发的区域。最后,我们表明我们的方法在几个合成和现实世界问题中显着优于标准贝叶斯优化方法。
translated by 谷歌翻译
在评估目标时,在线优化嘈杂的功能需要在部署系统上进行实验,这是制造,机器人技术和许多其他功能的关键任务。通常,对安全输入的限制是未知的,我们只会获得嘈杂的信息,表明我们违反约束的距离有多近。但是,必须始终保证安全性,不仅是算法的最终输出。我们介绍了一种通用方法,用于在高维非线性随机优化问题中寻求一个固定点,其中在学习过程中保持安全至关重要。我们称为LB-SGD的方法是基于应用随机梯度下降(SGD),其精心选择的自适应步长大小到原始问题的对数屏障近似。我们通过一阶和零阶反馈提供了非凸,凸面和强键平滑约束问题的完整收敛分析。与现有方法相比,我们的方法通过维度可以更好地更新和比例。我们从经验上将样本复杂性和方法的计算成本比较现有的安全学习方法。除了合成基准测试之外,我们还证明了方法对在安全强化学习(RL)中政策搜索任务中最大程度地减少限制违规的有效性。
translated by 谷歌翻译
We consider a sequential decision making task where we are not allowed to evaluate parameters that violate an a priori unknown (safety) constraint. A common approach is to place a Gaussian process prior on the unknown constraint and allow evaluations only in regions that are safe with high probability. Most current methods rely on a discretization of the domain and cannot be directly extended to the continuous case. Moreover, the way in which they exploit regularity assumptions about the constraint introduces an additional critical hyperparameter. In this paper, we propose an information-theoretic safe exploration criterion that directly exploits the GP posterior to identify the most informative safe parameters to evaluate. Our approach is naturally applicable to continuous domains and does not require additional hyperparameters. We theoretically analyze the method and show that we do not violate the safety constraint with high probability and that we explore by learning about the constraint up to arbitrary precision. Empirical evaluations demonstrate improved data-efficiency and scalability.
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择,采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战,因此是理想的测试床,以了解贝叶斯优化的性能,并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中,包括流体动力学的知识,这些知识是未知的。这项调查的结果表明,要做出的选择与相对简单的功能不相关,而乐观的采集功能(例如上限限制)应首选更复杂的目标函数。此外,蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下,多点方法提供了更快的替代方法,但它可能需要进行更多的客观函数评估。
translated by 谷歌翻译
采集函数是贝叶斯优化(BO)中的关键组成部分,通常可以写为在替代模型下对效用函数的期望。但是,为了确保采集功能是可以优化的,必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序,我们提出了不含可能性的BO(LFBO),这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模,而无需单独使用概率替代模型进行推断。我们表明,可以将计算LFBO中的采集函数缩小为优化加权分类问题,而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能,LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构,从而进一步改善了其遗憾。
translated by 谷歌翻译
贝叶斯优化(BO)被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上,但许多应用程序都需要规避风险的策略,并且需要考虑分配尾巴的替代标准。在本文中,我们提出了针对贝叶斯分位数和预期回归的新变异模型,这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数(或期望)的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外,我们提出了基于最大值熵搜索和汤普森采样的两种BO策略,这些策略是针对此类型号量身定制的,可以容纳大量点。与现有的BO进行规避风险优化的方法相反,我们的策略可以直接针对分位数和预期进行优化,而无需复制观测值或假设噪声的参数形式。如实验部分所示,所提出的方法清楚地表现出异质的非高斯案例中的最新状态。
translated by 谷歌翻译
强化学习(RL)旨在通过与环境的互动来找到最佳政策。因此,学习复杂行为需要大量的样本,这在实践中可能是持久的。然而,而不是系统地推理和积极选择信息样本,用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计,因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心,它构成了过去样本的目标的概率替代物,以推理信息的后来的随后。在本文中,我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型,该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法,我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外,我们突出了主动抽样对流行的RL基准测试的好处。
translated by 谷歌翻译