在文献中的超参数调谐中，许多最近的解决方案依赖于低保真观察（例如，使用子采样数据集或短时间训练）来推断在执行完整培训时使用良好的配置。其中，由于其效率和理论上可提供的鲁棒性，HyperBand可以说是最受欢迎的解决方案之一。在这项工作中，我们介绍HyperJump，一种新的方法，在超带的强大的搜索策略中构建，并通过基于新的基于模型的风险分析技术来补充，通过跳跃对低风险配置的评估来加速搜索，即可能的配置超支丢弃。我们在一套超参数优化问题上评估HyperJump，并表明它在与...相比时，在顺序和平行部署中提供了一阶数量幅度提升，无论是在各种深度学习和基于内核的学习问题上超细以及艺术优化器的多个状态。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。

黑匣子优化（BBO）具有广泛的应用，包括自动机器学习，工程，物理和实验设计。但是，在适用性，性能和效率方面，用户对用户将BBO方法应用于现有软件包的问题仍有挑战。在本文中，我们构建了OpenBox，开源和通用BBO服务，具有改进的可用性。OpenBox后面的模块化设计还有助于灵活的抽象和优化在其他现有系统中常见的基本BBO组件。OpenBox分布，容错和可扩展。为了提高效率，OpenBox进一步利用“算法不可知”并行化和转移学习。我们的实验结果表明，与现有系统相比，OpenBox的有效性和效率。

深度神经网络（DNNS）和数据集的增长不断上升，这激发了对同时选择和培训的有效解决方案的需求。许多迭代学习者的高参数优化方法（HPO）的许多方法，包括DNNS试图通过查询和学习响应表面来解决该问题的最佳表面来解决此问题。但是，这些方法中的许多方法都会产生近视疑问，不考虑有关响应结构的先验知识和/或执行偏见的成本感知搜索，当指定总成本预算时，所有这些都会加剧识别表现最好的模型。本文提出了一种新颖的方法，称为迭代学习者（BAPI），以在成本预算有限的情况下解决HPO问题。 BAPI是一种有效的非洋流贝叶斯优化解决方案，可以说明预算，并利用有关目标功能和成本功能的先验知识来选择更好的配置，并在评估期间（培训）做出更明智的决策。针对迭代学习者的不同HPO基准测试的实验表明，在大多数情况下，BAPI的性能比最先进的基线表现更好。

Performance of machine learning algorithms depends critically on identifying a good set of hyperparameters. While recent approaches use Bayesian optimization to adaptively select configurations, we focus on speeding up random search through adaptive resource allocation and early-stopping. We formulate hyperparameter optimization as a pure-exploration nonstochastic infinite-armed bandit problem where a predefined resource like iterations, data samples, or features is allocated to randomly sampled configurations. We introduce a novel algorithm, Hyperband, for this framework and analyze its theoretical properties, providing several desirable guarantees. Furthermore, we compare Hyperband with popular Bayesian optimization methods on a suite of hyperparameter optimization problems. We observe that Hyperband can provide over an order-of-magnitude speedup over our competitor set on a variety of deep-learning and kernel-based learning problems.

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

尽管自动超参数优化（HPO）的所有好处，但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置，减少对HPO的信任，从而阻碍其广泛采用的决策过程。在这里，我们研究了HPO与可解释的机器学习（IML）方法（例如部分依赖图）的组合。但是，如果将这种方法天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法，该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明我们的方法返回对基础黑盒的更可靠的解释，而不会损失优化性能。

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

普通交叉验证（CV）等方法，如k倍交叉验证或Monte-Carlo交叉验证估计学习者的预测性能，通过重复在给定数据的大部分数据和对剩余数据上测试的大部分中进行训练。这些技术有两个主要缺点。首先，它们可以在大型数据集上不必要地慢。其次，除了估计最终性能之外，它们几乎没有进入验证算法的学习过程中的见解。在本文中，我们提出了一种基于学习曲线（LCCV）的验证的新方法。 LCCV迭代地增加用于训练的实例数量而不是创建火车测试分裂。在模型选择的背景下，它丢弃了不太可能成为竞争的模型。我们在从自动化基准测试的67个数据集上运行大规模的实验，并经验显示使用LCCV超过90％的案例，导致使用5/10倍的CV相似的性能（最多1.5％）。然而，它平均产生超过20％的大量运行时间减少。此外，它提供了重要的见解，例如允许评估获取更多数据的益处。这些结果与Automl领域的其他进步正交。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

黑匣子优化需要指定搜索空间以探索解决方案，例如解决方案。 D维紧凑空间，此选择对于以合理的预算获得最佳结果至关重要。不幸的是，在许多应用中确定高质量的搜索空间可能具有挑战性。例如，当在给出有限的预算时调整机器学习管道的机器学习管道时，必须在不包括潜在有前途的地区之间进行平衡，并将搜索空间保持足够小以易于发动。这项工作的目标是激励 - 通过调整深度神经网络的示例应用程序 - 预测预算条件的搜索空间质量的问题，以及提供基于应用于a的实用程序功能的简单评分方法概率响应表面模型，类似于贝叶斯优化。我们表明我们所呈现的方法可以在各种情况下计算有意义的预算条件分数。我们还提供实验证据，即精确的分数可用于构建和修剪搜索空间。最终，我们认为评分搜索空间应该成为深度学习实验工作流程中的标准实践。

神经建筑搜索（NAS）已被广泛研究，并已成长为具有重大影响的研究领域。虽然经典的单目标NAS搜索具有最佳性能的体系结构，但多目标NAS考虑了应同时优化的多个目标，例如，将沿验证错误最小化资源使用率。尽管在多目标NAS领域已经取得了长足的进步，但我们认为实际关注的实际优化问题与多目标NAS试图解决的优化问题之间存在一些差异。我们通过将多目标NAS问题作为质量多样性优化（QDO）问题来解决这一差异，并引入了三种质量多样性NAS优化器（其中两个属于多重速度优化器组），以寻求高度多样化但多样化的体系结构对于特定于应用程序特定的利基，例如硬件约束。通过将这些优化器与它们的多目标对应物进行比较，我们证明了质量多样性总体上优于多目标NA在解决方案和效率方面。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。