优化问题在人工智能中至关重要。优化算法通常用于调整人工智能模型的性能，以最小化映射输入的误差输出。优化算法上的当前评估方法通常考虑质量方面的性能。然而，并非所有测试用例的所有优化算法都是等于质量的等于的，但也应考虑计算时间以进行优化任务。在本文中，我们研究了优化问题中优化算法的质量和计算时间，而不是唯一的质量评估。我们选择众所周知的优化算法（贝叶斯优化和进化算法），并在质量和计算时间方面评估基准测试功能。结果表明，BO适用于在有限函数评估中获得所需质量所需的优化任务中，并且EAS适合搜索允许找到具有足够函数最佳解决方案的任务的最佳选择评估。本文提供了选择合适的优化算法的建议，以了解不同数量的函数评估的优化问题，这有助于获得所需质量的效率，以较少的计算时间进行优化问题。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

贝叶斯优化（BO）是一种基于替代物的全球优化策略，依靠高斯流程回归（GPR）模型来近似目标函数和采集功能，以建议候选点。众所周知，对于高维问题，BO不能很好地扩展，因为GPR模型需要更多的数据点才能实现足够的准确性，并且在高维度中，获取优化在计算上变得昂贵。最近的几项旨在解决这些问题的旨在，例如，实现在线变量选择的方法或对原始搜索空间的较低维度次级manifold进行搜索。本文提出了我们以前的PCA-BO的工作，该作品学习了线性子字节，因此提出了一种新颖的内核PCA辅助BO（KPCA-BO）算法，该算法将非线性子词嵌入搜索空间中并在搜索空间中执行BO这个子manifold。直观地，在较低维度的子序列上构建GPR模型有助于提高建模准确性，而无需从目标函数中获得更多数据。此外，我们的方法定义了较低维度的子元素的采集函数，从而使采集优化更易于管理。我们将KPCA-BO与香草bo的性能以及有关可可/BBOB基准套件的多模式问题的PCA-BO进行了比较。经验结果表明，在大多数测试问题上，KPCA-BO在收敛速度方面都优于BO，并且当维度增加时，这种好处变得更加显着。对于60D功能，KPCA-BO在许多测试用例中取得比PCA-BO更好的结果。与Vanilla BO相比，它有效地减少了训练GPR模型所需的CPU时间并优化与香草BO相比的采集功能。

Surrogate algorithms such as Bayesian optimisation are especially designed for black-box optimisation problems with expensive objectives, such as hyperparameter tuning or simulation-based optimisation. In the literature, these algorithms are usually evaluated with synthetic benchmarks which are well established but have no expensive objective, and only on one or two real-life applications which vary wildly between papers. There is a clear lack of standardisation when it comes to benchmarking surrogate algorithms on real-life, expensive, black-box objective functions. This makes it very difficult to draw conclusions on the effect of algorithmic contributions and to give substantial advice on which method to use when. A new benchmark library, EXPObench, provides first steps towards such a standardisation. The library is used to provide an extensive comparison of six different surrogate algorithms on four expensive optimisation problems from different real-life applications. This has led to new insights regarding the relative importance of exploration, the evaluation time of the objective, and the used model. We also provide rules of thumb for which surrogate algorithm to use in which situation. A further contribution is that we make the algorithms and benchmark problem instances publicly available, contributing to more uniform analysis of surrogate algorithms. Most importantly, we include the performance of the six algorithms on all evaluated problem instances. This results in a unique new dataset that lowers the bar for researching new methods as the number of expensive evaluations required for comparison is significantly reduced.

贝叶斯优化（BO）是解决昂贵优化问题的典型方法。在BO的每次迭代中，使用先前评估的解决方案训练了高斯工艺（GP）模型。然后，推荐下一个用于昂贵评估的候选解决方案，通过在训练有素的替代模型上最大化廉价评估的采集功能。采集函数在优化过程中起着至关重要的作用。但是，每个采集函数都有自己的优势和劣势，没有任何单一的获取功能能够一致地在各种问题上胜过其他功能。为了更好地利用不同采集功能的优势，我们为批处理提出了一种新方法。在每次迭代中，三个采集函数都是根据其当前和历史性能动态选择的，以形成多目标优化问题（MOP）。使用进化多目标算法来优化这种拖把，可以获得一组非主导的解决方案。为了选择批处理解决方案，我们根据它们在三个采集函数上的相对性能将这些非主导的解决方案对几层进行排名。经验结果表明，所提出的方法与有关不同问题的最新方法具有竞争力。

Decades of progress in simulation-based surrogate-assisted optimization and unprecedented growth in computational power have enabled researchers and practitioners to optimize previously intractable complex engineering problems. This paper investigates the possible benefit of a concurrent utilization of multiple simulation-based surrogate models to solve complex discrete optimization problems. To fulfill this, the so-called Self-Adaptive Multi-surrogate Assisted Efficient Global Optimization algorithm (SAMA-DiEGO), which features a two-stage online model management strategy, is proposed and further benchmarked on fifteen binary-encoded combinatorial and fifteen ordinal problems against several state-of-the-art non-surrogate or single surrogate assisted optimization algorithms. Our findings indicate that SAMA-DiEGO can rapidly converge to better solutions on a majority of the test problems, which shows the feasibility and advantage of using multiple surrogate models in optimizing discrete problems.

我们提出了一个基于贝叶斯优化的昂贵评估高级制造方法的配置和操作的框架。该框架统一了量身定制的采集功能，并行的获取过程以及为优化过程提供上下文的过程信息的集成。\ cmtb {在最新的基准测试问题上展示，分析和比较了新颖的采集函数。我们将优化方法应用于大气等离子体喷涂和融合沉积建模。}我们的结果表明，所提出的框架可以有效地找到产生预期结果的输入参数并最大程度地减少过程成本。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

粒子加速器的调谐计算机参数是一项重复且耗时的任务，可自动化。尽管可以使用许多现成的优化算法，但实际上它们的使用量有限，因为大多数方法都不考虑每种迭代中的安全至关重要的约束，例如损失信号或步骤尺寸的限制。一个值得注意的例外是安全的贝叶斯优化，这是一种以嘈杂的反馈进行数据驱动的调谐方法。我们建议并评估Paul Scherrer Institut（PSI）的两个研究设施的安全贝叶斯优化的阶梯尺寸有限变体：a）瑞士游离电子激光器（瑞士法）和b）高强度质子加速器（HIPA）。我们报告了两台机器上有希望的实验结果，最多调整了16个受约束约束的参数。

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。

Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

贝叶斯优化（BO）是一种用于计算昂贵的黑盒优化的方法，例如模拟器校准和深度学习方法的超参数优化。在BO中，采用动态更新的计算廉价替代模型来学习黑框函数的投入输出关系。该替代模型用于探索和利用输入空间的有前途的区域。多点BO方法采用单个经理/多个工人策略，以在较短的时间内实现高质量的解决方案。但是，多点生成方案中的计算开销是设计BO方法的主要瓶颈，可以扩展到数千名工人。我们提出了一种异步分配的BO（ADBO）方法，其中每个工人都会运行搜索，并异步地传达所有其他没有经理的工人的黑框评估的输入输出值。我们将方法扩展到4,096名工人，并证明了解决方案质量和更快的收敛质量。我们证明了我们从Exascale计算项目烛台基准调整神经网络超参数的方法的有效性。

Many real-world problems are usually computationally costly and the objective functions evolve over time. Data-driven, a.k.a. surrogate-assisted, evolutionary optimization has been recognized as an effective approach for tackling expensive black-box optimization problems in a static environment whereas it has rarely been studied under dynamic environments. This paper proposes a simple but effective transfer learning framework to empower data-driven evolutionary optimization to solve dynamic optimization problems. Specifically, it applies a hierarchical multi-output Gaussian process to capture the correlation between data collected from different time steps with a linearly increased number of hyperparameters. Furthermore, an adaptive source task selection along with a bespoke warm staring initialization mechanisms are proposed to better leverage the knowledge extracted from previous optimization exercises. By doing so, the data-driven evolutionary optimization can jump start the optimization in the new environment with a strictly limited computational budget. Experiments on synthetic benchmark test problems and a real-world case study demonstrate the effectiveness of our proposed algorithm against nine state-of-the-art peer algorithms.

计算高效的非近视贝叶斯优化（BO）的最新进展提高了传统近视方法的查询效率，如预期的改进，同时仅适度提高计算成本。然而，这些进展在很大程度上是有限的，因为不受约束的优化。对于约束优化，少数现有的非近视博方法需要重量计算。例如，一个现有的非近视约束BO方法[LAM和Willcox，2017]依赖于计算昂贵的不可靠的暴力衍生物的无可靠性衍生物优化蒙特卡罗卷展卷采集功能。使用Reparameterization技巧进行更有效的基于衍生物的优化的方法，如在不受约束的环境中，如样本平均近似和无限扰动分析，不扩展：约束在取样的采集功能表面中引入阻碍其优化的不连续性。此外，我们认为非近视在受限制问题中更为重要，因为违反限制的恐惧将近视方法推动了可行和不可行区域之间的边界，减缓了具有严格约束的最佳解决方案的发现。在本文中，我们提出了一种计算的有效的两步保护受限贝叶斯优化采集功能（2-OPT-C）支持顺序和批处理设置。为了实现快速采集功能优化，我们开发了一种新的基于似然比的非偏见估计，其两步最佳采集函数的梯度不使用Reparameterization技巧。在数值实验中，2-OPT-C通常通过先前的方法通过2倍或更多的查询效率，并且在某些情况下通过10倍或更大。

Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。

Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。

传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关，这可能导致优化过程的过早收敛性。为了解决这个问题，我们提出了一种新型的启发式方法，用于构建原始功能的平滑替代模型。替代功能更容易优化，但保持原始坚固的健身景观的基本属性：全球最佳的位置。为了创建这样的替代模型，我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似（在二维情况下）的视觉近似都可以达到令人满意的结果。