Tree Ensembles可以非常适合黑盒优化任务,例如算法调整和神经体系结构搜索,因为它们在几乎没有手动调整的情况下实现了良好的预测性能,自然可以处理离散的功能空间,并且对培训中的异常值相对不敏感数据。在使用树的组合进行黑盒优化方面面临的两个众所周知的挑战是(i)有效地量化模型的不确定性,以进行探索,以及(ii)优化在零件的恒定采集函数上。为了同时解决这两个点,我们建议在获得模型方差估计之前使用树的内核解释为高斯过程,并为采集函数开发兼容的优化公式。后者进一步使我们能够通过考虑工程设置中的域知识和建模搜索空间对称性,例如神经体系结构搜索中的层次结构关系,从而无缝整合已知约束,以提高采样效率。我们的框架以及最先进的方法以及对连续/离散功能的不受限制的黑框优化,并且优于结合混合变量特征空间和已知输入约束的问题的竞争方法。
translated by 谷歌翻译
由于强烈的非线性系统行为和多个竞争目标,能源系统优化问题很复杂,例如,经济增益与环境影响。此外,大量输入变量和不同的变量类型,例如,连续和分类,是现实世界应用中常见的挑战。在某些情况下,提出的最佳解决方案需要遵守与物理性质或安全关键操作条件相关的显式输入限制。本文提出了一种新的数据驱动策略,使用树集合用于对黑匣子问题的约束多目标优化,与模型或未知的基础系统动态太复杂的异构变量空间。在由合成基准和相关能源应用组成的广泛案例研究中,我们展示了与其他最先进的工具相比,所提出的算法的竞争性能和采样效率,使其成为一个有用的全能解决方案 - 世界申请有限评价预算。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
采集函数是贝叶斯优化(BO)中的关键组成部分,通常可以写为在替代模型下对效用函数的期望。但是,为了确保采集功能是可以优化的,必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序,我们提出了不含可能性的BO(LFBO),这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模,而无需单独使用概率替代模型进行推断。我们表明,可以将计算LFBO中的采集函数缩小为优化加权分类问题,而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能,LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构,从而进一步改善了其遗憾。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习,即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务,使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人,以前尚未应用于这个问题。然而,贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的,离散的受限搜索空间,包含无效配置。我们介绍了一种新颖的上下文方差探索因子,以及具有改进的可扩展性的新采集功能,与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能,以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现,我们证明我们的搜索策略概括了良好的良好,并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
由于其数据效率,贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来,关于新贝叶斯优化算法及其应用的发展的研究激增。因此,本文试图对贝叶斯优化的最新进展进行全面和更新的调查,并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体,并根据所提出的算法的动机和重点。对于每个类别,我们介绍了替代模型的构建和采集功能的适应的主要进步。最后,我们讨论了开放的问题,并提出了有希望的未来研究方向,尤其是在分布式和联合优化系统中的异质性,隐私保护和公平性方面。
translated by 谷歌翻译
贝叶斯优化(BO)是一种用于计算昂贵的黑盒优化的方法,例如模拟器校准和深度学习方法的超参数优化。在BO中,采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略,以在较短的时间内实现高质量的解决方案。但是,多点生成方案中的计算开销是设计BO方法的主要瓶颈,可以扩展到数千名工人。我们提出了一种异步分配的BO(ADBO)方法,其中每个工人都会运行搜索,并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人,并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。
translated by 谷歌翻译
神经建筑搜索(NAS)已被广泛研究,并已成长为具有重大影响的研究领域。虽然经典的单目标NAS搜索具有最佳性能的体系结构,但多目标NAS考虑了应同时优化的多个目标,例如,将沿验证错误最小化资源使用率。尽管在多目标NAS领域已经取得了长足的进步,但我们认为实际关注的实际优化问题与多目标NAS试图解决的优化问题之间存在一些差异。我们通过将多目标NAS问题作为质量多样性优化(QDO)问题来解决这一差异,并引入了三种质量多样性NAS优化器(其中两个属于多重速度优化器组),以寻求高度多样化但多样化的体系结构对于特定于应用程序特定的利基,例如硬件约束。通过将这些优化器与它们的多目标对应物进行比较,我们证明了质量多样性总体上优于多目标NA在解决方案和效率方面。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实,即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中,我们不仅有兴趣仅仅为了预测精度而优化ML管道;确定最佳配置时,必须考虑其他指标或约束,从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现,因此通常在实践中被忽略。在这项工作中,我们向读者介绍了多个客观超参数优化的基础知识,并激励其在应用ML中的实用性。此外,我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性,考虑了诸如操作条件,预测时间,稀疏,公平,可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
自动化封路计优化(HPO)已经获得了很大的普及,并且是大多数自动化机器学习框架的重要成分。然而,设计HPO算法的过程仍然是一个不系统和手动的过程:确定了现有工作的限制,提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解,并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO(MF-HPO)的自动基准驱动算法设计的原则方法:首先,我们正式化包括的MF-HPO候选的丰富空间,但不限于普通的HPO算法,然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者,我们遵循通过优化方法,并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置,在某些方式中比建立的方法更简单,只要某些关键配置参数具有正确的值,就可以很好地执行得很好。
translated by 谷歌翻译
贝叶斯优化(BO)是用于全局优化昂贵的黑盒功能的流行范式,但是在许多域中,该函数并不完全是黑色框。数据可能具有一些已知的结构(例如对称性)和/或数据生成过程可能是一个复合过程,除优化目标的值外,还可以产生有用的中间或辅助信息。但是,传统上使用的代孕模型,例如高斯工艺(GPS),随数据集大小的规模较差,并且不容易适应已知的结构。取而代之的是,我们使用贝叶斯神经网络,这是具有感应偏见的一类可扩展和灵活的替代模型,将BO扩展到具有高维度的复杂,结构化问题。我们证明了BO在物理和化学方面的许多现实问题,包括使用卷积神经网络对光子晶体材料进行拓扑优化,以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上,我们表明,就抽样效率和计算成本而言,神经网络通常优于GP作为BO的替代模型。
translated by 谷歌翻译
由于其样本效率,贝叶斯优化(BO)已成为处理昂贵的黑匣子优化问题的流行方法,如Quand参数优化(HPO)。最近的实证实验表明,HPO问题的损失景观往往比以前假设的良好良好,即,在最佳的单模和凸起的情况下,如果它可以专注于那些有前途的当地地区,BO框架可能会更有效。在本文中,我们提出了船舶,这是一种双阶段方法,它针对中型配置空间量身定制,因为许多HPO问题中的一个遇到。在第一阶段,我们建立一个可扩展的全球代理模型,随机森林来描述整体景观结构。此外,我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段,利用该子区域中的本地模型来建议接下来进行评估。实证实验表明,鲍威能够利用典型的HPO问题的结构,并特别吻合来自合成功能和HPO的中型问题。
translated by 谷歌翻译
在工程和科学的许多领域中,优化多个混合变量,昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵,嘈杂,黑盒的性质使它们成为贝叶斯优化(BO)的理想候选者。然而,由于BO的基础平稳的高斯工艺替代模型,混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo,这是第一个用于此类问题的混合变量,多目标贝叶斯优化框架。使用MixMobo,可以有效地找到用于多目标,混合变量设计空间的最佳帕累托叶,同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能,包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo,这是一种修改后的对冲策略,该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能,SMC。我们的结果表明,MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计,并表明我们的最佳设计是经过实验制造和验证的,其应变能密度$ 10^4 $ $ 10^4 $ $倍。
translated by 谷歌翻译
自动化的HyperParameter优化(HPO)可以支持从业者在机器学习模型中获得峰值性能。然而,通常缺乏有价值的见解,以对不同的超参数对最终模型性能的影响。这种缺乏可解释性使得难以信任并理解自动化的HPO过程及其结果。我们建议使用可解释的机器学习(IML)从HPO中获得的实验数据与贝叶斯优化(BO)一起获得见解。 BO倾向于专注于具有潜在高性能配置的有前途的区域,从而诱导采样偏差。因此,许多IML技术,例如部分依赖曲线(PDP),承载产生偏置解释的风险。通过利用BO代理模型的后部不确定性,我们引入了具有估计置信带的PDP的变种。我们建议分区Quand参数空间以获得相关子区域的更自信和可靠的PDP。在一个实验研究中,我们为子区域内PDP的质量提高提供了定量证据。
translated by 谷歌翻译
Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.
translated by 谷歌翻译
为了实现峰值预测性能,封路计优化(HPO)是机器学习的重要组成部分及其应用。在过去几年中,HPO的有效算法和工具的数量大幅增加。与此同时,社区仍缺乏现实,多样化,计算廉价和标准化的基准。这是多保真HPO方法的情况。为了缩短这个差距,我们提出了HPoBench,其中包括7个现有和5个新的基准家庭,共有100多个多保真基准问题。 HPobench允许以可重复的方式运行该可扩展的多保真HPO基准,通过隔离和包装容器中的各个基准。它还提供了用于计算实惠且统计数据的评估的代理和表格基准。为了展示HPoBench与各种优化工具的广泛兼容性,以及其有用性,我们开展了一个来自6个优化工具的13个优化器的示例性大规模研究。我们在这里提供HPobench:https://github.com/automl/hpobench。
translated by 谷歌翻译
尽管加权套索回归具有吸引力的统计保障,但由于其复杂的搜索空间,通常避免了已有数千个Quand参与的。另一方面,具有用于黑盒功能的高维HPO方法的最新进展表明,高维应用确实可以有效地优化。尽管这一初步成功,但高维HPO方法通常应用于具有适度数量的合成问题,这些尺寸限制了其对科学和工程应用的影响。为了解决这一限制,我们提出了一个新的基准套件,这是一个在卢赛社区中的一个重要的开放研究主题量身定制的,这是加权套索回归。 Lassobench由受良好控制的合成设置(样本,SNR,环境和有效维度以及多维保真度)和现实世界数据集组成的基准,这使得能够利用许多HPO算法来改进和扩展到高维设置。我们评估了5种最先进的HPO方法和3个基线,并表明贝叶斯优化可以改善通常用于稀疏回归的方法,同时突出显示这些框架在非常高的框架中的限制。值得注意的是,贝叶斯优化分别将60,100,300和1000个尺寸问题的卢斯基线分别改善了45.7%,19.2%,19.7%和15.5%。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
贝叶斯优化(BO)已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反,它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中,这些先验指定了有关功能的初始信念。但是,即使有专家知识,选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此,在这种模型中,调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是,我们考虑了从类似功能的数据中,使我们可以先验地进行更紧密的分布。从理论上讲,我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法,我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集,以及蛋白质序列数据集。我们的结果表明,平均而言,我们的方法能够比最佳竞争方法更有效地定位良好的超参数。
translated by 谷歌翻译
在开发和分析新的高参数优化方法时,在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中,我们提出了一套新的具有挑战性和相关的基准问题,这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案,这些方案总共构成了700多个多保体超参数优化问题,所有这些方案都可以实现多目标超参数优化。此外,我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较,并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集,并提出了一个单目标和多目标基准套件,我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。
translated by 谷歌翻译