尽管加权套索回归具有吸引力的统计保障，但由于其复杂的搜索空间，通常避免了已有数千个Quand参与的。另一方面，具有用于黑盒功能的高维HPO方法的最新进展表明，高维应用确实可以有效地优化。尽管这一初步成功，但高维HPO方法通常应用于具有适度数量的合成问题，这些尺寸限制了其对科学和工程应用的影响。为了解决这一限制，我们提出了一个新的基准套件，这是一个在卢赛社区中的一个重要的开放研究主题量身定制的，这是加权套索回归。 Lassobench由受良好控制的合成设置（样本，SNR，环境和有效维度以及多维保真度）和现实世界数据集组成的基准，这使得能够利用许多HPO算法来改进和扩展到高维设置。我们评估了5种最先进的HPO方法和3个基线，并表明贝叶斯优化可以改善通常用于稀疏回归的方法，同时突出显示这些框架在非常高的框架中的限制。值得注意的是，贝叶斯优化分别将60,100,300和1000个尺寸问题的卢斯基线分别改善了45.7％，19.2％，19.7％和15.5％。

在开发和分析新的高参数优化方法时，在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中，我们提出了一套新的具有挑战性和相关的基准问题，这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案，这些方案总共构成了700多个多保体超参数优化问题，所有这些方案都可以实现多目标超参数优化。此外，我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较，并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集，并提出了一个单目标和多目标基准套件，我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。

贝叶斯优化（BO）是机器学习算法的封锁率优化（HPO）广泛流行的方法。在其核心，Bo迭代地评估有前途的配置，直到用户定义的预算（例如挂钟时间或迭代次数）耗尽。虽然在调整大量后的最终性能取决于提供的预算，但很难提前预先指定最佳价值。在这项工作中，我们为BO提出了一种有效而直观的终止标准，如果它足够接近全球Optima，则会自动停止程序。在广泛的实际HPO问题中，我们表明，与来自文献的现有基线相比，我们的终止标准实现了更好的测试性能，例如在改进概率下降到固定阈值以下时停止。我们还提供了证据表明，与我们的方法相比，这些基线对其自身的Quand参数的选择非常敏感。此外，我们发现在HPO的背景下可能会出现过度装备，这可以在文献中可以说是一个忽视的问题，并表明我们的终止标准减轻了小型和大型数据集的这种现象。

神经建筑搜索（NAS）已被广泛研究，并已成长为具有重大影响的研究领域。虽然经典的单目标NAS搜索具有最佳性能的体系结构，但多目标NAS考虑了应同时优化的多个目标，例如，将沿验证错误最小化资源使用率。尽管在多目标NAS领域已经取得了长足的进步，但我们认为实际关注的实际优化问题与多目标NAS试图解决的优化问题之间存在一些差异。我们通过将多目标NAS问题作为质量多样性优化（QDO）问题来解决这一差异，并引入了三种质量多样性NAS优化器（其中两个属于多重速度优化器组），以寻求高度多样化但多样化的体系结构对于特定于应用程序特定的利基，例如硬件约束。通过将这些优化器与它们的多目标对应物进行比较，我们证明了质量多样性总体上优于多目标NA在解决方案和效率方面。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

超参数优化（HPO）和神经体系结构搜索（NAS）是获得一流的机器学习模型的选择，但实际上，它们的运行成本很高。当在大型数据集上培训模型时，即使采用了有效的多志愿方法，对从业者进行HPO或NAS的调整迅速昂贵。我们提出了一种方法，以应对在具有有限计算资源的大型数据集上培训的调整机器学习模型的挑战。我们的方法名为Pasha，能够根据需要动态分配最大资源为调整过程。实验比较表明，Pasha识别出良好的超参数配置和体系结构，同时消耗的计算资源明显少于ASHA等解决方案。

网络物理系统（CPSS）通常是复杂且至关重要的；因此，确保系统的要求，即规格，很难满足。基于仿真的CPS伪造是一种实用的测试方法，可用于通过仅要求模拟正在测试的系统来提高对系统正确性的信心。由于每个仿真通常在计算上进行密集，因此一个重要的步骤是减少伪造规范所需的仿真数量。我们研究贝叶斯优化（BO），一种样本效率的方法，它学习了一个替代模型，该模型描述了可能的输入信号的参数化与规范评估之间的关系。在本文中，我们改善了使用BO的伪造；首先采用两种突出的BO方法，一种适合本地替代模型，另一个适合当地的替代模型，利用了用户的先验知识。其次，本文介绍了伪造功能的采集函数的表述。基准评估显示，使用BO的局部替代模型来伪造以前难以伪造的基准示例的显着改善。在伪造过程中使用先验知识被证明是在模拟预算有限时特别重要的。对于某些基准问题，采集功能的选择清楚地影响了成功伪造所需的模拟数量。

强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.

为了实现峰值预测性能，封路计优化（HPO）是机器学习的重要组成部分及其应用。在过去几年中，HPO的有效算法和工具的数量大幅增加。与此同时，社区仍缺乏现实，多样化，计算廉价和标准化的基准。这是多保真HPO方法的情况。为了缩短这个差距，我们提出了HPoBench，其中包括7个现有和5个新的基准家庭，共有100多个多保真基准问题。 HPobench允许以可重复的方式运行该可扩展的多保真HPO基准，通过隔离和包装容器中的各个基准。它还提供了用于计算实惠且统计数据的评估的代理和表格基准。为了展示HPoBench与各种优化工具的广泛兼容性，以及其有用性，我们开展了一个来自6个优化工具的13个优化器的示例性大规模研究。我们在这里提供HPobench：https://github.com/automl/hpobench。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

Tree Ensembles可以非常适合黑盒优化任务，例如算法调整和神经体系结构搜索，因为它们在几乎没有手动调整的情况下实现了良好的预测性能，自然可以处理离散的功能空间，并且对培训中的异常值相对不敏感数据。在使用树的组合进行黑盒优化方面面临的两个众所周知的挑战是（i）有效地量化模型的不确定性，以进行探索，以及（ii）优化在零件的恒定采集函数上。为了同时解决这两个点，我们建议在获得模型方差估计之前使用树的内核解释为高斯过程，并为采集函数开发兼容的优化公式。后者进一步使我们能够通过考虑工程设置中的域知识和建模搜索空间对称性，例如神经体系结构搜索中的层次结构关系，从而无缝整合已知约束，以提高采样效率。我们的框架以及最先进的方法以及对连续/离散功能的不受限制的黑框优化，并且优于结合混合变量特征空间和已知输入约束的问题的竞争方法。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

我们提出了一种基于有效的量化张量列表表示和广义最大矩阵音量原理的组合进行优化的新过程。我们证明了新的张量火车优化器（TTOPT）方法在各种任务中的适用性，从最小化多维功能到增强学习。我们的算法与流行的基于进化的方法进行了比较，并以函数评估或执行时间的数量（通常是大幅度的余量）优于它们。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

强化学习（RL）为可以在现实世界中自主互动的培训代理提供了潜力。但是，一个关键限制是RL算法对核心超参数和网络体系结构选择的脆弱性。此外，诸如不断发展的训练数据和增加的代理复杂性等非平稳性意味着不同的超参数和体系结构在不同的训练点上可能是最佳的。这激发了Autorl，这是一种试图自动化这些设计选择的方法。一类突出的Autorl方法是基于人群的培训（PBT），这在几个大型设置中导致了令人印象深刻的表现。在本文中，我们介绍了PBT式方法中的两项新创新。首先，我们采用基于信任区域的贝叶斯优化，从而可以全面覆盖高维混合参数搜索空间。其次，我们表明，使用世代相传，我们还可以在一次训练中共同学习体系结构和超参数。利用新的高度可行的Brax物理引擎，我们表明这些创新导致了巨大的性能增长，在即时学习整个配置的同时，大大优于调谐基线。代码可在https://github.com/xingchenwan/bgpbt上找到。

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。