贝叶斯优化（BO）是解决昂贵优化问题的典型方法。在BO的每次迭代中，使用先前评估的解决方案训练了高斯工艺（GP）模型。然后，推荐下一个用于昂贵评估的候选解决方案，通过在训练有素的替代模型上最大化廉价评估的采集功能。采集函数在优化过程中起着至关重要的作用。但是，每个采集函数都有自己的优势和劣势，没有任何单一的获取功能能够一致地在各种问题上胜过其他功能。为了更好地利用不同采集功能的优势，我们为批处理提出了一种新方法。在每次迭代中，三个采集函数都是根据其当前和历史性能动态选择的，以形成多目标优化问题（MOP）。使用进化多目标算法来优化这种拖把，可以获得一组非主导的解决方案。为了选择批处理解决方案，我们根据它们在三个采集函数上的相对性能将这些非主导的解决方案对几层进行排名。经验结果表明，所提出的方法与有关不同问题的最新方法具有竞争力。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

许多现实世界的科学和工业应用都需要优化多个竞争的黑盒目标。当目标是昂贵的评估时，多目标贝叶斯优化（BO）是一种流行的方法，因为其样品效率很高。但是，即使有了最近的方法学进步，大多数现有的多目标BO方法在具有超过几十个参数的搜索空间上的表现较差，并且依赖于随着观测值数量进行立方体扩展的全局替代模型。在这项工作中，我们提出了Morbo，这是高维搜索空间上多目标BO的可扩展方法。 Morbo通过使用协调策略并行在设计空间的多个局部区域中执行BO来确定全球最佳解决方案。我们表明，Morbo在几种高维综合问题和现实世界应用中的样品效率中的最新效率显着提高，包括光学显示设计问题和146和222参数的车辆设计问题。在这些问题上，如果现有的BO算法无法扩展和表现良好，Morbo为从业者提供了刻度级别的效率，则在当前方法上可以提高样本效率。

在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。

我们提出了高度可行的帕累托优化（HIPPO） - 批处理采集功能，可实现多目标贝叶斯优化方法有效利用并行处理资源。多目标贝叶斯优化（MOBO）是解决昂贵的黑盒问题的非常有效的工具。但是，大多数主板算法被设计为纯粹的顺序策略，而现有的批次方法对于除最小的批量尺寸以外的所有人都非常昂贵。我们表明，通过通过以相似的预测目标值进行惩罚评估来鼓励批处理多样性，Hippo可以便宜地建立大量的信息观点。我们广泛的实验验证表明，河马至少与现有替代方案一样有效，同时产生的计算开销较低，并易于扩展到比文献中目前支持的批次大小要高得多。此外，我们证明了河马在充满挑战的热交换器设计问题上的应用，这强调了我们高度可行的MOBO方法的现实效用。

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

优化问题在人工智能中至关重要。优化算法通常用于调整人工智能模型的性能，以最小化映射输入的误差输出。优化算法上的当前评估方法通常考虑质量方面的性能。然而，并非所有测试用例的所有优化算法都是等于质量的等于的，但也应考虑计算时间以进行优化任务。在本文中，我们研究了优化问题中优化算法的质量和计算时间，而不是唯一的质量评估。我们选择众所周知的优化算法（贝叶斯优化和进化算法），并在质量和计算时间方面评估基准测试功能。结果表明，BO适用于在有限函数评估中获得所需质量所需的优化任务中，并且EAS适合搜索允许找到具有足够函数最佳解决方案的任务的最佳选择评估。本文提供了选择合适的优化算法的建议，以了解不同数量的函数评估的优化问题，这有助于获得所需质量的效率，以较少的计算时间进行优化问题。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

由于其样本效率，贝叶斯优化（BO）已成为处理昂贵的黑匣子优化问题的流行方法，如Quand参数优化（HPO）。最近的实证实验表明，HPO问题的损失景观往往比以前假设的良好良好，即，在最佳的单模和凸起的情况下，如果它可以专注于那些有前途的当地地区，BO框架可能会更有效。在本文中，我们提出了船舶，这是一种双阶段方法，它针对中型配置空间量身定制，因为许多HPO问题中的一个遇到。在第一阶段，我们建立一个可扩展的全球代理模型，随机森林来描述整体景观结构。此外，我们通过上级树结构上的自下而上的方法选择有希望的次区域。在第二阶段，利用该子区域中的本地模型来建议接下来进行评估。实证实验表明，鲍威能够利用典型的HPO问题的结构，并特别吻合来自合成功能和HPO的中型问题。

Bayesian Optimization（BO）是全球优化的黑匣子客观功能的方法，这是昂贵的评估。 Bo Powered实验设计在材料科学，化学，实验物理，药物开发等方面发现了广泛的应用。这项工作旨在提请注意应用BO在设计实验中的益处，并提供博手册，涵盖方法和软件，为了方便任何想要申请或学习博的人。特别是，我们简要解释了BO技术，审查BO中的所有应用程序在添加剂制造中，比较和举例说明不同开放BO库的功能，解锁BO的新潜在应用，以外的数据（例如，优先输出）。本文针对读者，了解贝叶斯方法的一些理解，但不一定符合添加剂制造的知识;软件性能概述和实施说明是任何实验设计从业者的乐器。此外，我们在添加剂制造领域的审查突出了博的目前的知识和技术趋势。本文在线拥有补充材料。

在本文中，我们描述了我们在QQ浏览器2021 AI算法竞争中解决自动超参数优化挑战的方法（ACM CIKM 2021 AnalyTiccup Track 2）。竞争组织者为黑匣子优化提供了匿名的现实工业任务和数据集。基于我们的开放式包装开放箱，我们采用贝叶斯优化框架进行配置采样和启发式早期停止策略。我们在初步和最终竞赛中赢得了0.938291和0.918753的初步和最终竞赛的第一名。

我们提出了一个基于贝叶斯优化的昂贵评估高级制造方法的配置和操作的框架。该框架统一了量身定制的采集功能，并行的获取过程以及为优化过程提供上下文的过程信息的集成。\ cmtb {在最新的基准测试问题上展示，分析和比较了新颖的采集函数。我们将优化方法应用于大气等离子体喷涂和融合沉积建模。}我们的结果表明，所提出的框架可以有效地找到产生预期结果的输入参数并最大程度地减少过程成本。

由于其良好的特性，诸如高强度重量比，设计灵活性，限量的应力浓度，平面力传递，良好损害耐受性和疲劳性，因此越来越多地应用于各种应用的各种应用。寻找粘合剂粘合过程的最佳过程参数是具有挑战性的：优化是固有的多目标（旨在最大限度地提高断裂强度，同时最小化成本）和受约束（该过程不应导致材料的任何视觉损坏，应应对压力测试不会导致粘附相关的故障。实验室中的现实生活实验需要昂贵;由于评估所需的禁止的实验，传统的进化方法（如遗传算法）被否则适合解决问题。在本研究中，我们成功地应用了特定的机器学习技术（高斯过程回归和逻辑回归），以基于有限量的实验数据来模拟目标和约束函数。该技术嵌入贝叶斯优化算法中，该算法成功地以高效的方式检测静态过程设置（即，需要有限数量的额外实验）。

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

任何机器学习（ML）算法的性能受到其超参数的选择影响。由于培训和评估ML算法通常很昂贵，因此需要在实践中有效地计算高参数优化（HPO）方法。多数目标HPO的大多数现有方法都使用进化策略和基于元模型的优化。但是，很少有方法可以解释性能测量中的不确定性。本文提出了多目标超参数优化的结果，并在评估ML算法的情况下进行了不确定性。我们将树结构化parzen估计量（TPE）的采样策略与训练高斯过程回归（GPR）在异质噪声后获得的元模型相结合。关于三个分析测试功能和三个ML问题的实验结果表明，相对于超量指标，多目标TPE和GPR的改善。

尽管自动超参数优化（HPO）的所有好处，但大多数现代的HPO算法本身都是黑盒子。这使得很难理解导致所选配置，减少对HPO的信任，从而阻碍其广泛采用的决策过程。在这里，我们研究了HPO与可解释的机器学习（IML）方法（例如部分依赖图）的组合。但是，如果将这种方法天真地应用于HPO过程的实验数据，则优化器的潜在采样偏差会扭曲解释。我们提出了一种修改的HPO方法，该方法有效地平衡了对全局最佳W.R.T.的搜索。预测性能以及通过耦合贝叶斯优化和贝叶斯算法执行的基础黑框函数的IML解释的可靠估计。在神经网络的合成目标和HPO的基准情况下，我们证明我们的方法返回对基础黑盒的更可靠的解释，而不会损失优化性能。

Many real-world problems are usually computationally costly and the objective functions evolve over time. Data-driven, a.k.a. surrogate-assisted, evolutionary optimization has been recognized as an effective approach for tackling expensive black-box optimization problems in a static environment whereas it has rarely been studied under dynamic environments. This paper proposes a simple but effective transfer learning framework to empower data-driven evolutionary optimization to solve dynamic optimization problems. Specifically, it applies a hierarchical multi-output Gaussian process to capture the correlation between data collected from different time steps with a linearly increased number of hyperparameters. Furthermore, an adaptive source task selection along with a bespoke warm staring initialization mechanisms are proposed to better leverage the knowledge extracted from previous optimization exercises. By doing so, the data-driven evolutionary optimization can jump start the optimization in the new environment with a strictly limited computational budget. Experiments on synthetic benchmark test problems and a real-world case study demonstrate the effectiveness of our proposed algorithm against nine state-of-the-art peer algorithms.

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and banditbased methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.