科学机器学习（SCIML）是对几个不同应用领域的兴趣越来越多的领域。在优化上下文中，基于SCIML的工具使得能够开发更有效的优化方法。但是，必须谨慎评估和执行实施优化的SCIML工具。这项工作提出了稳健性测试的推论，该测试通过表明其结果尊重通用近似值定理，从而确保了基于多物理的基于SCIML的优化的鲁棒性。该测试应用于一种新方法的框架，该方法在一系列基准测试中进行了评估，以说明其一致性。此外，将提出的方法论结果与可行优化的可行区域进行了比较，这需要更高的计算工作。因此，这项工作为保证在多目标优化中应用SCIML工具的稳健性测试提供了比存在的替代方案要低的计算努力。

健壮的学习是科学机器学习（SCIML）的重要问题。文献中有几篇关于该主题的作品。但是，对方法的需求不断增加，可以同时考虑SCIML模型识别中涉及的所有不同不确定性组成部分。因此，这项工作提出了一种对SCIML的不确定性评估的综合方法，该方法还考虑了识别过程中涉及的几种不确定性来源。提出的方法中考虑的不确定性是缺乏理论和因果模型，对数据腐败或不完美的敏感性以及计算工作。因此，可以为SCIML领域中的不确定性感知模型提供总体策略。该方法通过案例研究验证，开发了用于聚合反应器的软传感器。结果表明，已识别的软传感器对于不确定性是可靠的，并以所提出的方法的一致性证实。

Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.

传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关，这可能导致优化过程的过早收敛性。为了解决这个问题，我们提出了一种新型的启发式方法，用于构建原始功能的平滑替代模型。替代功能更容易优化，但保持原始坚固的健身景观的基本属性：全球最佳的位置。为了创建这样的替代模型，我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似（在二维情况下）的视觉近似都可以达到令人满意的结果。

Decades of progress in simulation-based surrogate-assisted optimization and unprecedented growth in computational power have enabled researchers and practitioners to optimize previously intractable complex engineering problems. This paper investigates the possible benefit of a concurrent utilization of multiple simulation-based surrogate models to solve complex discrete optimization problems. To fulfill this, the so-called Self-Adaptive Multi-surrogate Assisted Efficient Global Optimization algorithm (SAMA-DiEGO), which features a two-stage online model management strategy, is proposed and further benchmarked on fifteen binary-encoded combinatorial and fifteen ordinal problems against several state-of-the-art non-surrogate or single surrogate assisted optimization algorithms. Our findings indicate that SAMA-DiEGO can rapidly converge to better solutions on a majority of the test problems, which shows the feasibility and advantage of using multiple surrogate models in optimizing discrete problems.

在工程和科学的许多领域中，优化多个混合变量，昂贵的黑盒问题的多个非首选目标很重要。这些问题的昂贵，嘈杂，黑盒的性质使它们成为贝叶斯优化（BO）的理想候选者。然而，由于BO的基础平稳的高斯工艺替代模型，混合变量和多目标问题是一个挑战。当前的多目标BO算法无法处理可混合变量的问题。我们提出了MixMobo，这是第一个用于此类问题的混合变量，多目标贝叶斯优化框架。使用MixMobo，可以有效地找到用于多目标，混合变量设计空间的最佳帕累托叶，同时确保多样化的解决方案。该方法足够灵活地结合了不同的内核和采集功能，包括其他作者为混合变量或多目标问题开发的函数。我们还提出了Hedgemo，这是一种修改后的对冲策略，该策略使用采集功能的投资组合来解决多目标问题。我们提出了新的采集功能，SMC。我们的结果表明，MixMobo在合成问题上针对其他可混合变量算法表现良好。我们将MixMobo应用于架构材料的现实世界设计，并表明我们的最佳设计是经过实验制造和验证的，其应变能密度$ 10^4 $ $ 10^4 $ $倍。

许多昂贵的黑匣子优化问题对其输入敏感。在这些问题中，定位一个良好的设计区域更有意义，而不是一个可能的脆弱的最佳设计。昂贵的黑盒功能可以有效地优化贝叶斯优化，在那里高斯过程是在昂贵的功能之前的流行选择。我们提出了一种利用贝叶斯优化的强大优化方法，找到一种设计空间区域，其中昂贵的功能的性能对输入相对不敏感，同时保持质量好。这是通过从正在建模昂贵的功能的高斯进程的实现来实现这一点，并评估每个实现的改进。这些改进的期望可以用进化算法廉价地优化，以确定评估昂贵功能的下一个位置。我们描述了一个有效的过程来定位最佳预期改进。我们凭经验展示了评估候选不确定区域的昂贵功能的昂贵功能，该模型最不确定，或随机地产生最佳收敛与利用方案相比。我们在两个，五个和十个维度中说明了我们的六个测试功能的方法，并证明它能够优于来自文献的两种最先进的方法。我们还展示了我们的方法在4和8维中展示了两个真实问题，这涉及训练机器人臂，将物体推到目标上。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

机器学习系统的设计通常需要交易不同的目标，例如，深度神经网络（DNN）的预测错误和能耗。通常，没有任何单一的设计在所有目标中都表现良好，因此，找到帕累托最佳的设计令人感兴趣。通常，测量不同的目标会产生不同的成本；例如，测量DNN的预测误差的成本比测量预先训练的DNN的能源消耗的数量级高，因为它需要重新训练DNN。当前的最新方法没有考虑到客观评估成本的这种差异，可能会浪费对目标功能的昂贵评估，从而获得很少的信息增益。在本文中，我们开发了一种新颖的分离成本感知方法，我们称为灵活的多目标贝叶斯优化（Flexibo）来解决此问题。 Flexibo通过每个目标的测量成本来加权帕累托区的超量。这有助于我们平衡收集新信息与通过客观评估获得的知识的费用，从而阻止我们几乎没有收益进行昂贵的测量。我们在七个最先进的DNN上评估了图像识别，自然语言处理（NLP）和语音到文本翻译的Flexibo。我们的结果表明，鉴于相同的总实验预算，Flexibo发现的设计比下一个最佳最佳多目标优化方法低4.8％至12.4％，具体取决于特定的DNN体系结构。

由于强烈的非线性系统行为和多个竞争目标，能源系统优化问题很复杂，例如，经济增益与环境影响。此外，大量输入变量和不同的变量类型，例如，连续和分类，是现实世界应用中常见的挑战。在某些情况下，提出的最佳解决方案需要遵守与物理性质或安全关键操作条件相关的显式输入限制。本文提出了一种新的数据驱动策略，使用树集合用于对黑匣子问题的约束多目标优化，与模型或未知的基础系统动态太复杂的异构变量空间。在由合成基准和相关能源应用组成的广泛案例研究中，我们展示了与其他最先进的工具相比，所提出的算法的竞争性能和采样效率，使其成为一个有用的全能解决方案 - 世界申请有限评价预算。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

Efficient surrogate modelling is a key requirement for uncertainty quantification in data-driven scenarios. In this work, a novel approach of using Sparse Random Features for surrogate modelling in combination with self-supervised dimensionality reduction is described. The method is compared to other methods on synthetic and real data obtained from crashworthiness analyses. The results show a superiority of the here described approach over state of the art surrogate modelling techniques, Polynomial Chaos Expansions and Neural Networks.

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。

自动化封路计优化（HPO）已经获得了很大的普及，并且是大多数自动化机器学习框架的重要成分。然而，设计HPO算法的过程仍然是一个不系统和手动的过程：确定了现有工作的限制，提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解，并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO（MF-HPO）的自动基准驱动算法设计的原则方法：首先，我们正式化包括的MF-HPO候选的丰富空间，但不限于普通的HPO算法，然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者，我们遵循通过优化方法，并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置，在某些方式中比建立的方法更简单，只要某些关键配置参数具有正确的值，就可以很好地执行得很好。

An enhanced geothermal system is essential to provide sustainable and long-term geothermal energy supplies and reduce carbon emissions. Optimal well-control scheme for effective heat extraction and improved heat sweep efficiency plays a significant role in geothermal development. However, the optimization performance of most existing optimization algorithms deteriorates as dimension increases. To solve this issue, a novel surrogate-assisted level-based learning evolutionary search algorithm (SLLES) is proposed for heat extraction optimization of enhanced geothermal system. SLLES consists of classifier-assisted level-based learning pre-screen part and local evolutionary search part. The cooperation of the two parts has realized the balance between the exploration and exploitation during the optimization process. After iteratively sampling from the design space, the robustness and effectiveness of the algorithm are proven to be improved significantly. To the best of our knowledge, the proposed algorithm holds state-of-the-art simulation-involved optimization framework. Comparative experiments have been conducted on benchmark functions, a two-dimensional fractured reservoir and a three-dimensional enhanced geothermal system. The proposed algorithm outperforms other five state-of-the-art surrogate-assisted algorithms on all selected benchmark functions. The results on the two heat extraction cases also demonstrate that SLLES can achieve superior optimization performance compared with traditional evolutionary algorithm and other surrogate-assisted algorithms. This work lays a solid basis for efficient geothermal extraction of enhanced geothermal system and sheds light on the model management strategies of data-driven optimization in the areas of energy exploitation.

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

This paper presents a surrogate modelling technique based on domain partitioning for Bayesian parameter inference of highly nonlinear engineering models. In order to alleviate the computational burden typically involved in Bayesian inference applications, a multielement Polynomial Chaos Expansion based Kriging metamodel is proposed. The developed surrogate model combines in a piecewise function an array of local Polynomial Chaos based Kriging metamodels constructed on a finite set of non-overlapping subdomains of the stochastic input space. Therewith, the presence of non-smoothness in the response of the forward model (e.g.~ nonlinearities and sparseness) can be reproduced by the proposed metamodel with minimum computational costs owing to its local adaptation capabilities. The model parameter inference is conducted through a Markov chain Monte Carlo approach comprising adaptive exploration and delayed rejection. The efficiency and accuracy of the proposed approach are validated through two case studies, including an analytical benchmark and a numerical case study. The latter relates the partial differential equation governing the hydrogen diffusion phenomenon of metallic materials in Thermal Desorption Spectroscopy tests.