在处理多点测量时,即传统的黑盒优化方法效率低下,即,当控制域中的每个查询需要在次级域中的一组测量以计算目标时。在粒子加速器中,四极扫描的发射率调整是具有多点测量的优化示例。尽管发射率是高亮度机器(包括X射线激光器和线性碰撞者)的性能的关键参数,但综合优化通常受到调整所需的时间的限制。在这里,我们将最近提供的贝叶斯算法执行(BAX)扩展到具有多点测量的优化任务。 BAX通过在关节控制测量域中选择和建模各个点来实现样品效率。我们将BAX应用于Linac相干光源(LCLS)和晚期加速器实验测试II(Facet-II)粒子加速器的设施。在LCLS模拟环境中,我们表明BAX的效率提高了20倍,同时与传统优化方法相比,噪声也更强。此外,我们在LCLS和facet-II上运行了Bax,与Facet-II的手工调整发射率相匹配,并获得了比LCLS在LCLS上获得的最佳发射率低24%。我们预计我们的方法很容易适应其他类型的优化问题,这些优化问题涉及科学仪器中常见的多点测量。
translated by 谷歌翻译
Bayesian Optimization(BO)是全球优化的黑匣子客观功能的方法,这是昂贵的评估。 Bo Powered实验设计在材料科学,化学,实验物理,药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处,并提供博手册,涵盖方法和软件,为了方便任何想要申请或学习博的人。特别是,我们简要解释了BO技术,审查BO中的所有应用程序在添加剂制造中,比较和举例说明不同开放BO库的功能,解锁BO的新潜在应用,以外的数据(例如,优先输出)。本文针对读者,了解贝叶斯方法的一些理解,但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外,我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。
translated by 谷歌翻译
粒子加速器的调谐计算机参数是一项重复且耗时的任务,可自动化。尽管可以使用许多现成的优化算法,但实际上它们的使用量有限,因为大多数方法都不考虑每种迭代中的安全至关重要的约束,例如损失信号或步骤尺寸的限制。一个值得注意的例外是安全的贝叶斯优化,这是一种以嘈杂的反馈进行数据驱动的调谐方法。我们建议并评估Paul Scherrer Institut(PSI)的两个研究设施的安全贝叶斯优化的阶梯尺寸有限变体:a)瑞士游离电子激光器(瑞士法)和b)高强度质子加速器(HIPA)。我们报告了两台机器上有希望的实验结果,最多调整了16个受约束约束的参数。
translated by 谷歌翻译
贝叶斯优化已被证明是优化昂贵至尊评估系统的有效方法。然而,根据单一观察的成本,一个或多个目标的多维优化可能仍然是昂贵的。多保真优化通过包括多个更便宜的信息来源,例如数值模拟中的低分辨率近似来解决这个问题。用于多保真优化的采集功能通常基于勘探重算法,这些算法难以与多种目标的优化结合。在这里,我们认为预期的超越改善政策可以在许多情况下作为合适的替代品起作用。我们通过两步评估或在单个采集函数内纳入评估成本,额外的保真相关目标。这允许同时多目标和多保真优化,这允许以分数成本准确地建立帕累托集和前部。基准显示成本降低了一个数量级或更多的顺序。因此,我们的方法允许极其膨胀的黑盒功能进行静态优化。在现有的优化贝叶斯优化框架中实现了本方法简单且直接,可以立即扩展到批量优化。该技术还可用于组合不同的连续和/或离散保真度尺寸,这使得它们特别相关地与等离子体物理,流体动力学和许多科学计算分支中的模拟问题相关。
translated by 谷歌翻译
由于毫米波通信中使用的非常狭窄的光束(MMWave),光束对准(BA)是一个关键问题。在这项工作中,我们研究了MMWave BA的问题,并根据机器学习策略贝叶斯优化(BO)提出了一种新颖的光束对齐方案。在这种情况下,我们将光束对齐问题视为黑匣子功能,然后使用BO找到可能的最佳光束对。在BA过程中,该策略利用了测量光束对的信息来预测最佳的光束对。此外,我们建议一种基于梯度增强回归树模型的新型BO算法。仿真结果证明了使用三种不同的替代模型,我们提出的BA方案的光谱效率性能。他们还表明,与正交匹配追踪(OMP)算法和基于汤普森采样的多臂Bandit(TS-MAB)方法相比,所提出的方案可以用小型开销实现光谱效率。
translated by 谷歌翻译
Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.
translated by 谷歌翻译
许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时,多目标贝叶斯优化(BO)是一种流行的方法,因为其样品效率很高。但是,即使有了最近的方法学进步,大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差,并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中,我们提出了Morbo,这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明,Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高,包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上,如果现有的BO算法无法扩展和表现良好,Morbo为从业者提供了刻度级别的效率,则在当前方法上可以提高样本效率。
translated by 谷歌翻译
贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择,采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战,因此是理想的测试床,以了解贝叶斯优化的性能,并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中,包括流体动力学的知识,这些知识是未知的。这项调查的结果表明,要做出的选择与相对简单的功能不相关,而乐观的采集功能(例如上限限制)应首选更复杂的目标函数。此外,蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下,多点方法提供了更快的替代方法,但它可能需要进行更多的客观函数评估。
translated by 谷歌翻译
Beam parameter optimization in accelerators involves multiple, sometimes competing objectives. Condensing these individual objectives into a single figure of merit unavoidably results in a bias towards particular outcomes, in absence of prior knowledge often in a non-desired way. Finding an optimal objective definition then requires operators to iterate over many possible objective weights and definitions, a process that can take many times longer than the optimization itself. A more versatile approach is multi-objective optimization, which establishes the trade-off curve or Pareto front between objectives. Here we present the first results on multi-objective Bayesian optimization of a simulated laser-plasma accelerator. We find that multi-objective optimization reaches comparable performance to its single-objective counterparts while allowing for instant evaluation of entirely new objectives. This dramatically reduces the time required to find appropriate objective definitions for new problems. Additionally, our multi-objective, multi-fidelity method reduces the time required for an optimization run by an order of magnitude. It does so by dynamically choosing simulation resolution and box size, requiring fewer slow and expensive simulations as it learns about the Pareto-optimal solutions from fast low-resolution runs. The techniques demonstrated in this paper can easily be translated into many different computational and experimental use cases beyond accelerator optimization.
translated by 谷歌翻译
我们提出了一个基于贝叶斯优化的昂贵评估高级制造方法的配置和操作的框架。该框架统一了量身定制的采集功能,并行的获取过程以及为优化过程提供上下文的过程信息的集成。\ cmtb {在最新的基准测试问题上展示,分析和比较了新颖的采集函数。我们将优化方法应用于大气等离子体喷涂和融合沉积建模。}我们的结果表明,所提出的框架可以有效地找到产生预期结果的输入参数并最大程度地减少过程成本。
translated by 谷歌翻译
信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行,以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵,而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索(JES),这是一种新的信息理论采集函数,它考虑了全新的数量,即输入和输出空间上关节最佳概率密度的熵。为了结合此信息,我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械,并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销,JES展示了卓越的决策,并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法,JES为贝叶斯优化提供了新的首选功能。
translated by 谷歌翻译
由于其数据效率,贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来,关于新贝叶斯优化算法及其应用的发展的研究激增。因此,本文试图对贝叶斯优化的最新进展进行全面和更新的调查,并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体,并根据所提出的算法的动机和重点。对于每个类别,我们介绍了替代模型的构建和采集功能的适应的主要进步。最后,我们讨论了开放的问题,并提出了有希望的未来研究方向,尤其是在分布式和联合优化系统中的异质性,隐私保护和公平性方面。
translated by 谷歌翻译
Perovskite Photovoltaics(PV)在过去十年方面取得了快速发展,方便小区实验室规模设备的电力转换效率;然而,成功的商业化仍然需要进一步发展低成本,可扩展和高通量的制造技术。开发新的制造技术的关键挑战之一是高维参数空间,并且可以使用机器学习(ML)来加速Perovskite PV缩放。在这里,我们介绍了一个ML引导框架,用于制造过程优化的顺序学习。我们在环境条件下将我们的方法应用于快速喷雾等离子体处理(RSPP)技术,用于钙钛矿薄膜。通过有限的筛选100条件工艺条件进行实验预算,我们证明了最佳设备的效率提高至18.5%,我们还通过实验发现了10个独特的条件,以生产超过17%效率的顶级设备,这是5比伪随机拉丁超立方体采样更高的成功率。我们的模型由三种创新启用:(a)通过将数据从现有的实验数据作为软限制将数据纳入实验过程之间的灵活知识转移; (b)在选择下一个实验时纳入主观人类观察和ML见解; (c)首先使用贝叶斯优化定位兴趣区域的自适应策略,然后对高效设备进行本地勘探。此外,在虚拟基准测试中,我们的框架在传统的实验方法(例如,一个可变的AT-AT-AT-A-A-Time采样)上,我们的框架更快地实现了有限的实验预算。
translated by 谷歌翻译
寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习,即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务,使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人,以前尚未应用于这个问题。然而,贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的,离散的受限搜索空间,包含无效配置。我们介绍了一种新颖的上下文方差探索因子,以及具有改进的可扩展性的新采集功能,与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能,以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现,我们证明我们的搜索策略概括了良好的良好,并始终如一地以广泛的保证金更优于其他搜索策略。
translated by 谷歌翻译
尽管自动超参数优化(HPO)的所有好处,但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置,减少对HPO的信任,从而阻碍其广泛采用的决策过程。在这里,我们研究了HPO与可解释的机器学习(IML)方法(例如部分依赖图)的组合。但是,如果将这种方法天真地应用于HPO过程的实验数据,则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法,该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下,我们证明我们的方法返回对基础黑盒的更可靠的解释,而不会损失优化性能。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
参数化量子电路的优化对于具有变分量子算法(VQAS)的计算任务的应用是必不可少的。然而,VQA的现有优化算法需要过多的量子测量镜头,以估计可观察到的期望值或迭代电路参数的更新,其成本是实际使用的重要障碍。为了解决这个问题,我们开发了一个有效的框架,\ yexit {随机梯度线贝叶斯优化}(SGLBO),用于电路优化,测量镜头较少。通过估计基于随机梯度下降(SGD)更新参数的适当方向,并且进一步利用贝叶斯优化(BO)来估计SGD的每次迭代中的最佳步长,降低测量镜头的成本。我们制定了一个自适应测量射击策略,可在不依赖于精确的期望值估计和许多迭代的情况下可行地实现优化;此外,我们表明,后缀平均技术可以显着降低统计和硬件噪声在VQA的优化中的效果。我们的数值模拟表明,使用这些技术增强的SGLBO可以大大减少所需的测量射击数量,提高优化的准确性,并与VQAS的代表性任务中的其他最先进的优化器相比,增强了噪音的鲁棒性。这些结果建立了一系列量子电路优化器的框架,整合了两种不同的优化方法,SGD和BO,以显着降低测量镜头的成本。
translated by 谷歌翻译
我们考虑使用昂贵的功能评估(也称为实验)的黑匣子多目标优化(MOO)的问题,其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如,在硬件设计优化中,我们需要使用昂贵的计算模拟找到权衡性能,能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中,我们提出了一种基于输出空间熵(OSE)搜索原理来解决MOO问题的一般框架:选择最大化每单位资源成本的信息的实验,这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理,以导出以下四个Moo问题设置的高效算法:1)最基本的EM单一保真设置,实验昂贵且准确; 2)处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3)离散的多保真设置,实验可以在消耗的资源量和评估准确度时变化; 4)EM连续保真设置,其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明,基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.
translated by 谷歌翻译