由于其大参数空间，复杂的相互依赖性和高评价成本，当前自动调整框架与调整计算机系统配置斗争。利用概率模型，结构化贝叶斯优化（SBO）最近克服了这些困难。 SBO通过利用系统专家提供的上下文信息导致快速收敛性来分解参数空间。然而，建筑概率模型的复杂性阻碍了其更广泛的采用。我们提出了Boanon，一个SBO框架，它从其日志中了解系统结构。 Boanon提供API，使专家可以将系统的知识作为性能模型或组件依赖性编码。 Boanon采用学习的结构并将其转换为概率图形模型。然后它将专家提供的知识应用于图表，以进一步上下文化系统行为。 Boanon Probabilistic图允许优化器比其他方法更快地找到有效的配置。我们通过硬件架构搜索问题评估Boanon，实现从默认架构的5-7美元$ x因素的增长率的改进。凭借其新颖的上下文结构学习管道，Boanon使用SBO可以访问各种其他计算机系统，如数据库和流处理器。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

寻找可调谐GPU内核的最佳参数配置是一种非普通的搜索空间练习，即使在自动化时也是如此。这在非凸搜索空间上造成了优化任务，使用昂贵的来评估具有未知衍生的函数。这些特征为贝叶斯优化做好了良好的候选人，以前尚未应用于这个问题。然而，贝叶斯优化对这个问题的应用是具有挑战性的。我们演示如何处理粗略的，离散的受限搜索空间，包含无效配置。我们介绍了一种新颖的上下文方差探索因子，以及具有改进的可扩展性的新采集功能，与知识的采集功能选择机制相结合。通过比较我们贝叶斯优化实现对各种测试用例的性能，以及核心调谐器中的现有搜索策略以及其他贝叶斯优化实现，我们证明我们的搜索策略概括了良好的良好，并始终如一地以广泛的保证金更优于其他搜索策略。

Bayesian optimization (BO) is one of the most effective methods for closed-loop experimental design and black-box optimization. However, a key limitation of BO is that it is an inherently sequential algorithm (one experiment is proposed per round) and thus cannot directly exploit high-throughput (parallel) experiments. Diverse modifications to the BO framework have been proposed in the literature to enable exploitation of parallel experiments but such approaches are limited in the degree of parallelization that they can achieve and can lead to redundant experiments (thus wasting resources and potentially compromising performance). In this work, we present new parallel BO paradigms that exploit the structure of the system to partition the design space. Specifically, we propose an approach that partitions the design space by following the level sets of the performance function and an approach that exploits partially-separable structures of the performance function found. We conduct extensive numerical experiments using a reactor case study to benchmark the effectiveness of these approaches against a variety of state-of-the-art parallel algorithms reported in the literature. Our computational results show that our approaches significantly reduce the required search time and increase the probability of finding a global (rather than local) solution.

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

我们研究了全球优化因果关系变量的因果关系变量的问题，在该目标变量中可以进行干预措施。这个问题在许多科学领域都引起，包括生物学，运营研究和医疗保健。我们提出了因果熵优化（CEO），该框架概括了因果贝叶斯优化（CBO），以说明所有不确定性来源，包括由因果图结构引起的。首席执行官在因果效应的替代模型中以及用于通过信息理论采集函数选择干预措施的机制中纳入了因果结构的不确定性。所得算法自动交易结构学习和因果效应优化，同时自然考虑观察噪声。对于各种合成和现实世界的结构性因果模型，与CBO相比，CEO可以更快地与全局最佳达到融合，同时还可以学习图形。此外，我们的结构学习和因果优化的联合方法在顺序的结构学习优先方法上改善了。

黑匣子优化（BBO）具有广泛的应用，包括自动机器学习，工程，物理和实验设计。但是，在适用性，性能和效率方面，用户对用户将BBO方法应用于现有软件包的问题仍有挑战。在本文中，我们构建了OpenBox，开源和通用BBO服务，具有改进的可用性。OpenBox后面的模块化设计还有助于灵活的抽象和优化在其他现有系统中常见的基本BBO组件。OpenBox分布，容错和可扩展。为了提高效率，OpenBox进一步利用“算法不可知”并行化和转移学习。我们的实验结果表明，与现有系统相比，OpenBox的有效性和效率。

为了实现峰值预测性能，封路计优化（HPO）是机器学习的重要组成部分及其应用。在过去几年中，HPO的有效算法和工具的数量大幅增加。与此同时，社区仍缺乏现实，多样化，计算廉价和标准化的基准。这是多保真HPO方法的情况。为了缩短这个差距，我们提出了HPoBench，其中包括7个现有和5个新的基准家庭，共有100多个多保真基准问题。 HPobench允许以可重复的方式运行该可扩展的多保真HPO基准，通过隔离和包装容器中的各个基准。它还提供了用于计算实惠且统计数据的评估的代理和表格基准。为了展示HPoBench与各种优化工具的广泛兼容性，以及其有用性，我们开展了一个来自6个优化工具的13个优化器的示例性大规模研究。我们在这里提供HPobench：https://github.com/automl/hpobench。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

深度学习模型推断是许多企业和科学发现过程中的关键服务。本文介绍了Ribbon，这是一种新颖的深度学习推理服务系统，符合两个相互竞争的目标：服务质量（QoS）目标和成本效益。功能区背后的关键思想是智能采用各种云计算实例（异质实例）来满足QoS目标并最大程度地节省成本。功能区设计了一种贝叶斯优化驱动的策略，该策略可帮助用户在云计算平台上为其模型推理服务需求构建最佳的异质实例集 - 并且，功能区展示了其优于使用均匀实例池的推理服务系统的优越性。功能区可为不同的学习模型节省多达16％的推理服务成本，包括新兴的深度学习建议系统模型和药物发现的启用模型。

Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.

网络物理系统（CPSS）通常是复杂且至关重要的；因此，确保系统的要求，即规格，很难满足。基于仿真的CPS伪造是一种实用的测试方法，可用于通过仅要求模拟正在测试的系统来提高对系统正确性的信心。由于每个仿真通常在计算上进行密集，因此一个重要的步骤是减少伪造规范所需的仿真数量。我们研究贝叶斯优化（BO），一种样本效率的方法，它学习了一个替代模型，该模型描述了可能的输入信号的参数化与规范评估之间的关系。在本文中，我们改善了使用BO的伪造；首先采用两种突出的BO方法，一种适合本地替代模型，另一个适合当地的替代模型，利用了用户的先验知识。其次，本文介绍了伪造功能的采集函数的表述。基准评估显示，使用BO的局部替代模型来伪造以前难以伪造的基准示例的显着改善。在伪造过程中使用先验知识被证明是在模拟预算有限时特别重要的。对于某些基准问题，采集功能的选择清楚地影响了成功伪造所需的模拟数量。

石油场和地震成像的储层模拟被称为石油和天然气（O＆G）行业中高性能计算（HPC）最苛刻的工作量。模拟器数值参数的优化起着至关重要的作用，因为它可以节省大量的计算工作。最先进的优化技术基于运行大量模拟，特定于该目的，以找到良好的参数候选者。但是，在时间和计算资源方面，使用这种方法的成本高昂。这项工作提出了金枪鱼，这是一种新方法，可增强使用性能模型的储层流仿真的最佳数值参数的搜索。在O＆G行业中，通常使用不同工作流程中的模型合奏来减少与预测O＆G生产相关的不确定性。我们利用此类工作流程中这些合奏的运行来从每个模拟中提取信息，并在其后续运行中优化数值参数。为了验证该方法，我们在历史匹配（HM）过程中实现了它，该过程使用Kalman滤波器算法来调整储层模型的集合以匹配实际字段中观察到的数据。我们从许多具有不同数值配置的模拟中挖掘了过去的执行日志，并根据数据提取的功能构建机器学习模型。这些功能包括储层模型本身的属性，例如活动单元的数量，即模拟行为的统计数据，例如线性求解器的迭代次数。采样技术用于查询甲骨文以找到可以减少经过的时间的数值参数，而不会显着影响结果的质量。我们的实验表明，预测可以平均将HM工作流程运行时提高31％。

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

在开发和分析新的高参数优化方法时，在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中，我们提出了一套新的具有挑战性和相关的基准问题，这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案，这些方案总共构成了700多个多保体超参数优化问题，所有这些方案都可以实现多目标超参数优化。此外，我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较，并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集，并提出了一个单目标和多目标基准套件，我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),