Bayesian optimization~(BO) is often used for accelerator tuning due to its high sample efficiency. However, the computational scalability of training over large data-set can be problematic and the adoption of historical data in a computationally efficient way is not trivial. Here, we exploit a neural network model trained over historical data as a prior mean of BO for FRIB Front-End tuning.

在处理多点测量时，即传统的黑盒优化方法效率低下，即，当控制域中的每个查询需要在次级域中的一组测量以计算目标时。在粒子加速器中，四极扫描的发射率调整是具有多点测量的优化示例。尽管发射率是高亮度机器（包括X射线激光器和线性碰撞者）的性能的关键参数，但综合优化通常受到调整所需的时间的限制。在这里，我们将最近提供的贝叶斯算法执行（BAX）扩展到具有多点测量的优化任务。 BAX通过在关节控制测量域中选择和建模各个点来实现样品效率。我们将BAX应用于Linac相干光源（LCLS）和晚期加速器实验测试II（Facet-II）粒子加速器的设施。在LCLS模拟环境中，我们表明BAX的效率提高了20倍，同时与传统优化方法相比，噪声也更强。此外，我们在LCLS和facet-II上运行了Bax，与Facet-II的手工调整发射率相匹配，并获得了比LCLS在LCLS上获得的最佳发射率低24％。我们预计我们的方法很容易适应其他类型的优化问题，这些优化问题涉及科学仪器中常见的多点测量。

贝叶斯优化已被证明是优化昂贵至尊评估系统的有效方法。然而，根据单一观察的成本，一个或多个目标的多维优化可能仍然是昂贵的。多保真优化通过包括多个更便宜的信息来源，例如数值模拟中的低分辨率近似来解决这个问题。用于多保真优化的采集功能通常基于勘探重算法，这些算法难以与多种目标的优化结合。在这里，我们认为预期的超越改善政策可以在许多情况下作为合适的替代品起作用。我们通过两步评估或在单个采集函数内纳入评估成本，额外的保真相关目标。这允许同时多目标和多保真优化，这允许以分数成本准确地建立帕累托集和前部。基准显示成本降低了一个数量级或更多的顺序。因此，我们的方法允许极其膨胀的黑盒功能进行静态优化。在现有的优化贝叶斯优化框架中实现了本方法简单且直接，可以立即扩展到批量优化。该技术还可用于组合不同的连续和/或离散保真度尺寸，这使得它们特别相关地与等离子体物理，流体动力学和许多科学计算分支中的模拟问题相关。

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。

网络物理系统（CPSS）通常是复杂且至关重要的；因此，确保系统的要求，即规格，很难满足。基于仿真的CPS伪造是一种实用的测试方法，可用于通过仅要求模拟正在测试的系统来提高对系统正确性的信心。由于每个仿真通常在计算上进行密集，因此一个重要的步骤是减少伪造规范所需的仿真数量。我们研究贝叶斯优化（BO），一种样本效率的方法，它学习了一个替代模型，该模型描述了可能的输入信号的参数化与规范评估之间的关系。在本文中，我们改善了使用BO的伪造；首先采用两种突出的BO方法，一种适合本地替代模型，另一个适合当地的替代模型，利用了用户的先验知识。其次，本文介绍了伪造功能的采集函数的表述。基准评估显示，使用BO的局部替代模型来伪造以前难以伪造的基准示例的显着改善。在伪造过程中使用先验知识被证明是在模拟预算有限时特别重要的。对于某些基准问题，采集功能的选择清楚地影响了成功伪造所需的模拟数量。

Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。

粒子加速器的调谐计算机参数是一项重复且耗时的任务，可自动化。尽管可以使用许多现成的优化算法，但实际上它们的使用量有限，因为大多数方法都不考虑每种迭代中的安全至关重要的约束，例如损失信号或步骤尺寸的限制。一个值得注意的例外是安全的贝叶斯优化，这是一种以嘈杂的反馈进行数据驱动的调谐方法。我们建议并评估Paul Scherrer Institut（PSI）的两个研究设施的安全贝叶斯优化的阶梯尺寸有限变体：a）瑞士游离电子激光器（瑞士法）和b）高强度质子加速器（HIPA）。我们报告了两台机器上有希望的实验结果，最多调整了16个受约束约束的参数。

基于物理仿真的优化是科学与工程的共同任务。许多这样的模拟产生了所需目标的图像或张量的输出，其中所需的目标是那些输出的函数，并且在高维参数空间上执行优化。我们开发贝叶斯优化方法利用张量的高斯工艺代理和信任区域贝叶斯优化，以有效地模拟图像输出，并有效地优化这些类型的模拟，包括射频塔配置问题和光学设计问题。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

由于毫米波通信中使用的非常狭窄的光束（MMWave），光束对准（BA）是一个关键问题。在这项工作中，我们研究了MMWave BA的问题，并根据机器学习策略贝叶斯优化（BO）提出了一种新颖的光束对齐方案。在这种情况下，我们将光束对齐问题视为黑匣子功能，然后使用BO找到可能的最佳光束对。在BA过程中，该策略利用了测量光束对的信息来预测最佳的光束对。此外，我们建议一种基于梯度增强回归树模型的新型BO算法。仿真结果证明了使用三种不同的替代模型，我们提出的BA方案的光谱效率性能。他们还表明，与正交匹配追踪（OMP）算法和基于汤普森采样的多臂Bandit（TS-MAB）方法相比，所提出的方案可以用小型开销实现光谱效率。

Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.

黑匣子优化（BBO）具有广泛的应用，包括自动机器学习，工程，物理和实验设计。但是，在适用性，性能和效率方面，用户对用户将BBO方法应用于现有软件包的问题仍有挑战。在本文中，我们构建了OpenBox，开源和通用BBO服务，具有改进的可用性。OpenBox后面的模块化设计还有助于灵活的抽象和优化在其他现有系统中常见的基本BBO组件。OpenBox分布，容错和可扩展。为了提高效率，OpenBox进一步利用“算法不可知”并行化和转移学习。我们的实验结果表明，与现有系统相比，OpenBox的有效性和效率。

由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。

Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。

Perovskite Photovoltaics（PV）在过去十年方面取得了快速发展，方便小区实验室规模设备的电力转换效率;然而，成功的商业化仍然需要进一步发展低成本，可扩展和高通量的制造技术。开发新的制造技术的关键挑战之一是高维参数空间，并且可以使用机器学习（ML）来加速Perovskite PV缩放。在这里，我们介绍了一个ML引导框架，用于制造过程优化的顺序学习。我们在环境条件下将我们的方法应用于快速喷雾等离子体处理（RSPP）技术，用于钙钛矿薄膜。通过有限的筛选100条件工艺条件进行实验预算，我们证明了最佳设备的效率提高至18.5％，我们还通过实验发现了10个独特的条件，以生产超过17％效率的顶级设备，这是5比伪随机拉丁超立方体采样更高的成功率。我们的模型由三种创新启用：（a）通过将数据从现有的实验数据作为软限制将数据纳入实验过程之间的灵活知识转移; （b）在选择下一个实验时纳入主观人类观察和ML见解; （c）首先使用贝叶斯优化定位兴趣区域的自适应策略，然后对高效设备进行本地勘探。此外，在虚拟基准测试中，我们的框架在传统的实验方法（例如，一个可变的AT-AT-AT-A-A-Time采样）上，我们的框架更快地实现了有限的实验预算。

Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.

在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。