Benchmarking is a key aspect of research into optimization algorithms, and as such the way in which the most popular benchmark suites are designed implicitly guides some parts of algorithm design. One of these suites is the black-box optimization benchmarking (BBOB) suite of 24 single-objective noiseless functions, which has been a standard for over a decade. Within this problem suite, different instances of a single problem can be created, which is beneficial for testing the stability and invariance of algorithms under transformations. In this paper, we investigate the BBOB instance creation protocol by considering a set of 500 instances for each BBOB problem. Using exploratory landscape analysis, we show that the distribution of landscape features across BBOB instances is highly diverse for a large set of problems. In addition, we run a set of eight algorithms across these 500 instances, and investigate for which cases statistically significant differences in performance occur. We argue that, while the transformations applied in BBOB instances do indeed seem to preserve the high-level properties of the functions, their difference in practice should not be overlooked, particularly when treating the problems as box-constrained instead of unconstrained.

高参数优化（HPO）是用于实现峰值预测性能的机器学习模型的关键组成部分。尽管在过去几年中提出了许多HPO的方法和算法，但在照明和检查这些黑盒优化问题的实际结构方面几乎没有取得进展。探索性景观分析（ELA）集成了一组技术，可用于获得有关未知优化问题的特性的知识。在本文中，我们评估了30个HPO问题的五个不同的黑盒优化器的性能，其中包括在10个不同数据集中训练的XGBoost学习者的两维连续搜索空间。这与对黑框优化基准（BBOB）对360个问题实例进行评估的相同优化器的性能形成鲜明对比。然后，我们计算HPO和BBOB问题上的ELA特征，并检查相似性和差异。 ELA特征空间中HPO和BBOB问题的聚类分析使我们能够确定HPO问题与结构元级别上的BBOB问题相比。我们确定了与ELA特征空间中HPO问题接近的BBOB问题的子集，并表明优化器性能在这两组基准问题上相似。我们重点介绍了ELA对HPO的公开挑战，并讨论了未来研究和应用的潜在方向。

每种算法选择旨在为给定的问题实例和给定的性能标准推荐一种或几种合适的算法，这些算法有望在特定设置中表现良好。选择是经典的离线完成的，使用有关问题实例或在专用功能提​​取步骤中从实例中提取的功能的公开可用信息。这忽略了算法在优化过程中积累的有价值的信息。在这项工作中，我们提出了一种替代性的在线算法选择方案，我们每次算法选择该方案。在我们的方法中，我们使用默认算法启动优化，在经过一定数量的迭代之后，从该初始优化器的观察到的轨迹中提取实例功能，以确定是否切换到另一个优化器。我们使用CMA-E作为默认求解器测试这种方法，以及六个不同优化器的投资组合作为可切换的潜在算法。与其他关于在线人均算法选择的最新工作相反，我们使用在第一个优化阶段累积的信息进行了第二个优化器。我们表明，我们的方法的表现优于静态算法选择。我们还基于探索性景观分析和分别对CMA-ES内部状态变量的探索性景观分析和时间序列分析进行比较。我们表明，这两种功能集的组合为我们的测试用例提供了最准确的建议，该建议是从可可平台的BBOB功能套件和Nevergrad平台的Yabbob Suite中获取的。

到目前为止，景观感知算法选择方法主要依靠景观特征提取作为预处理步骤，而与投资组合中优化算法的执行无关。这引入了许多实用应用的计算成本的重要开销，因为通过采样和评估手头的问题实例提取和计算功能，与优化算法在其搜索轨迹中所执行的功能类似。如Jankovic等人所建议的。 （EVOAPPS 2021），基于轨迹的算法选择可以通过从求解器在优化过程中对求解器进行采样和评估的点来计算景观特征来规避昂贵的特征提取问题。以这种方式计算的功能用于训练算法性能回归模型，然后在该模型上构建每运行算法选择器。在这项工作中，我们将基于轨迹的方法应用于五种算法的投资组合。我们研究了在固定的功能评估预算之后预测不同算法性能的情况下，性能回归和算法选择模型的质量和准确性。我们依靠使用相同功能评估的上述预算的一部分计算出的问题实例的景观特征。此外，我们考虑一次在求解器之间切换一次的可能性，这要求它们要热身启动，即当我们切换时，第二求解器继续使用第一个求解器收集的信息来继续适当地初始化优化过程。在这种新背景下，我们展示了基于轨迹的每算法选择的有前途的表现，并启动了温暖。

鉴于选择算法和/或配置问题，黑框优化（BBO）问题的搜索地面特征（BBO）问题的知识提供了有价值的信息。探索性景观分析（ELA）模型已在识别预定义的人类衍生特征和促进投资组合选择器方面取得成功，以应对这些挑战。与ELA方法不同，当前的研究提议将识别问题转变为图像识别问题，并有可能检测不含概念的机器驱动的景观特征。为此，我们介绍了景观图像的概念，这使我们能够每个基准函数生成图像实例，然后将分类挑战定位于各种函数的广义数据集。我们将其作为有监督的多级图像识别问题来解决，并应用基本的人工神经网络模型来解决它。我们方法的功效在无噪声的BBOB和IOHPRILER基准测试套件上进行了数值验证。这种明显的成功学习是朝着自动化特征提取和局部结构扣除BBO问题的又一步。通过使用这种景观图像的定义，并利用图像识别算法的现有功能，我们预见了像Imagenet一样的功能库的构建，用于训练依靠机器驱动功能的通用检测器。

基准和性能分析在理解迭代优化启发式（IOHS）的行为中发挥着重要作用，例如本地搜索算法，遗传和进化算法，贝叶斯优化算法等。然而，这项任务涉及手动设置，执行和分析实验单独的基础，这是艰苦的，可以通过通用和设计精心设计的平台来缓解。为此，我们提出了Iohanalyzer，一种用于分析，比较和可视化IOH的性能数据的新用户友好的工具。在R和C ++中实现，Iohanalyzer是完全开源的。它可以在Cran和GitHub上获得。 Iohanalyzer提供有关固定目标运行时间的详细统计信息以及具有实际值的Codomain，单目标优化任务的基准算法的固定预算性能。例如，在多个基准问题上的性能聚合是可能的，例如以经验累积分布函数的形式。 Iohanalyzer在其他性能分析包上的主要优点是其高度交互式设计，允许用户指定对其实验最有用的性能测量，范围和粒度，以及不仅分析性能迹线，还可以分析演变动态状态参数。 Iohanalyzer可以直接从主基准平台处理性能数据，包括Coco平台，JOVERRAD，SOS平台和iohExperenter。提供R编程接口，供用户更倾向于对实现的功能进行更精细的控制。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

In the field of derivative-free optimization, both of its main branches, the deterministic and nature-inspired techniques, experienced in recent years substantial advancement. In this paper, we provide an extensive computational comparison of selected methods from each of these branches. The chosen representatives were either standard and well-utilized methods, or the best-performing methods from recent numerical comparisons. The computational comparison was performed on five different benchmark sets and the results were analyzed in terms of performance, time complexity, and convergence properties of the selected methods. The results showed that, when dealing with situations where the objective function evaluations are relatively cheap, the nature-inspired methods have a significantly better performance than their deterministic counterparts. However, in situations when the function evaluations are costly or otherwise prohibited, the deterministic methods might provide more consistent and overall better results.

算法选择向导是有效且通用的工具，它们会自动选择有关该问题和可用计算资源的高级信息的优化算法，例如决策变量的数量和类型，最大程度的评估数量，并行评估等。艺术算法选择向导很复杂且难以改进。我们在这项工作中建议使用自动配置方法来通过找到构成它们的算法的更好配置来改善其性能。特别是，我们使用精英迭代赛车（IRACE）来找到特定人工基准测试的CMA配置，这些基准取代了Nevergrad平台提供的NGOPT向导中当前使用的手工制作的CMA配置。我们详细讨论了IRACE的设置，目的是生成在每个基准内的各种问题实例集合中都可以正常工作的配置。我们的方法也提高了NGOPT向导的性能，即使在不属于Irace的一部分的基准套件上。

自动化的机器学习（AUTOML）过程可能需要通过不仅机器学习（ML）组件及其超参数的复杂配置空间进行搜索，还需要将它们组合在一起，即形成ML管道。如果该管道配置空间过大，那么固定时间预算可实现的优化效率和模型精度可实现。一个关键的研究问题是，通过利用其历史表现来完成各种ML任务（即元知识），避免对ML管道的不良评估是否可能既可能又实用。以前的经验以分类器/回归器准确性排名的形式来自（1）（1）在历史自动运行期间进行的大量但无尽的管道评估数量，即“机会性”元知识，或（2）全面的交叉 - 通过默认超参数（即“系统”的元知识，对分类器/回归器的验证评估。使用AUTOWEKA4MCPS软件包进行了许多实验，表明（1）机会性/系统的元知识可以改善ML的结果，通常与元知识的相关性以及（2）配置空间扣除在不太保守的情况下是最佳的（2）也不是激进的。但是，元知识的效用和影响急性取决于其发电和剥削的许多方面，并保证了广泛的分析；这些通常在汽车和元学习文献中被忽视/不足。特别是，我们观察到对数据集的“挑战”的强烈敏感性，即选择预测因子的特异性是否会导致性能明显更好。最终，确定这样定义的“困难”数据集对于生成信息丰富的元知识基础和理解最佳搜索空间降低策略至关重要。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

软件配置调整对于优化给定的性能目标（例如，最小化延迟）至关重要。然而，由于软件的本质上复杂的配置景观和昂贵的测量，成功存在相当轻微的成功，特别是在防止搜索被困在本地Optima中。为了解决这个问题，在本文中，我们采取了不同的视角。除了专注于改进优化器，而不是专注于优化模型的水平，并提出了一种META多象化（MMO）模型，其考虑辅助性能目标（例如，除了延迟之外的吞吐率）。是什么让这个型号独特的是我们没有优化辅助性能目标，而是使用它来类似地进行，而不同的配置较差的不同（即，彼此Nondominize的Pareto），从而防止搜索被困在本地Optima中。重要的是，通过一种新的常规化方法，我们展示了如何有效地使用MMO模型而不担心其重量 - 可能影响其有效性的唯一但高度敏感的参数。来自11个现实世界软件系统/环境的22例实验证实，我们的MMO模型具有新的归一化的MMO模型在82％的情况下比其最先进的单一目标对应物更好，同时实现高达2.09倍的加速。对于67％的病例，新的归一化也使MMO模型能够在使用我们之前的FSE工作中使用的正常化时优于实例，以便在预先调整的最佳重量下，节省了大量资源找到一个很好的重量。我们还表明，具有新标准化的MMO模型可以整合闪存，最近的基于模型的调音工具，在68％的情况下，一般的加速1.22倍。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

The local optima network model has proved useful in the past in connection with combinatorial optimization problems. Here we examine its extension to the real continuous function domain. Through a sampling process, the model builds a weighted directed graph which captures the function's minima basin structure and its interconnection and which can be easily manipulated with the help of complex networks metrics. We show that the model provides a complementary view of function spaces that is easier to analyze and visualize, especially at higher dimension. In particular, we show that function hardness as represented by algorithm performance, is strongly related to several graph properties of the corresponding local optima network, opening the way for a classification of problem difficulty according to the corresponding graph structure and with possible extensions in the design of better metaheuristic approaches.

在开发和分析新的高参数优化方法时，在经过良好策划的基准套件上进行经验评估和比较至关重要。在这项工作中，我们提出了一套新的具有挑战性和相关的基准问题，这些问题是由此类基准测试的理想属性和要求所激发的。我们新的基于替代物的基准集合包含14个方案，这些方案总共构成了700多个多保体超参数优化问题，所有这些方案都可以实现多目标超参数优化。此外，我们从经验上将基于替代物的基准测试与更广泛的表格基准进行了比较，并证明后者可能会在HPO方法的性能排名中产生不忠实的结果。我们检查并比较了根据定义要求的基准收集，并提出了一个单目标和多目标基准套件，我们在基准实验中比较了7个单目标和7个多目标优化器。我们的软件可从[https://github.com/slds-lmu/yahpo_gym]获得。

大多数情况下，如果不是全部，现代软件系统都是高度可配置的，以对各种利益相关者定制其功能和非功能性质。由于黑盒性质，很难分析和理解其行为，例如关于性能方面的配置选项组合之间的相互作用，特别是推进可控性是非常重要的底层软件系统。本文提出了一种工具，称为Lonviz，这是第一家，促进了对黑匣子可配置软件系统的探索性分析。它从底层系统的配置空间中的系统采样开始。然后LONVIZ通过合成多个采样结果的重复来构建结构稳定的LON。最后，可以从定性和定量观点来到稳定的Lon上进行探索性分析。在实验中，我们选择了四种广泛使用的真实可配置的软件系统，以开发42个不同的运行环境下的基准平台。从我们的实证研究中，我们发现LONVIZ能够进行定性和定量分析，并披露各种有趣的隐藏模式和不同软件系统的属性。

设计优化算法一般表现良好，需要对一系列各种问题进行实验。培训神经网络是一项优化任务，在最近的深度学习成功方面已获得突出。尽管进化算法已用于培训神经网络，但梯度下降变体是迄今为止最常见的选择，其在大规模机器学习任务上的良好表现。在本文中，我们贡献了Cornn（使用神经网络对回归任务进行连续优化），这是一套大型套件，用于基准在神经网络培训问题上进行任何连续的黑盒算法的性能。使用一系列回归问题和神经网络体系结构，可以创建具有不同维度和难度级别的问题实例。我们通过比较了300多个问题实例的三种进化和基于群体的算法的性能，证明了康涅斯套件的使用，显示了算法之间的性能互补性的证据。作为基准，根据基于梯度的方法，基于人群的最佳算法的性能是基准的。 Cornn Suite作为公共Web存储库共享，以促进与现有基准平台的轻松集成。

我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。