我们对两个单目标和两个多目标的全局全局优化算法进行了全面的全局灵敏度分析，作为算法配置问题。也就是说，我们研究了超参数对算法的直接效果和与其他超参数的效果的影响的影响质量。使用三种敏感性分析方法Morris LHS，Morris和Sobol，可以系统地分析协方差矩阵适应进化策略，差异进化，非主导的遗传算法III和多目标进化算法的可调型矩阵适应性进化策略，基于框架的分解，基于框架揭示，基于框架的遗传算法，超参数对抽样方法和性能指标的行为。也就是说，它回答了等问题，例如什么超参数会影响模式，它们的互动方式，相互作用的互动程度以及其直接影响程度。因此，超参数的排名表明它们的调整顺序，影响模式揭示了算法的稳定性。

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

许多现实世界优化问题，如工程最优设计，最终可以被建模为必须解决的相应多目标优化问题（MOPS），以获得近似帕累托最佳前端。基于分解（MOEA / D）的多目标进化算法被认为是解决MOP的明显有希望的方法。最近的研究表明，具有均匀重量载体的MoEA / D非常适合于普通帕累托最佳前端的拖把，但在多样性方面的性能通常会在解决带有不规则帕累托最佳方向时造成拖镜时劣化。以这种方式，通过该算法获得的解决方案集不能为决策者提供更合理的选择。为了有效地克服这一缺点，我们通过众所周知的Pascoletti-Serafini标定方法和多参考点的新策略提出了一种改进的MoA / D算法。具体地，该策略包括由等距分区和投影的技术产生的参考点的设置和调整组成。对于性能评估，将所提出的算法与现有的四个最先进的多目标进化算法进行比较，这些算法与各种类型的帕累托最优前锋和两个现实世界拖把的基准测试问题相比，包括舱口盖设计和火箭喷射器设计在工程优化中。根据实验结果，所提出的算法表现出比其他比较算法更好的分集性能。

客户满意度在移动设备中的能源消耗至关重要。应用程序中最耗能的部分之一是图像。尽管具有不同质量的不同图像消耗了不同量的能量，但没有直接的方法来计算典型图像中操作的能量消耗。首先，本文调查了能源消耗与图像质量以及图像文件大小之间存在相关性。因此，这两者可以被视为能源消耗的代理。然后，我们提出了一种多目标策略，以增强图像质量并根据JPEG图像压缩中的定量表减少图像文件大小。为此，我们使用了两种一般的多目标元启发式方法：基于标量和基于帕累托。标量方法找到基于组合不同目标的单个最佳解决方案，而基于帕累托的技术旨在实现一组解决方案。在本文中，我们将策略纳入五种标量算法，包括能量感知的多目标遗传算法（ENMOGA），能量感知的多目标粒子群优化（ENMOPSO），能量感知的多目标多目标差异进化（ENMODE）（ENMODE）（ENMODE） ，能源感知的多目标进化策略（ENMOES）和能量感知的多目标模式搜索（ENMOPS）。此外，使用两种基于帕累托的方法，包括非主导的分类遗传算法（NSGA-II）和基于参考点的NSGA-II（NSGA-III），用于嵌入方案，以及两种基于帕累托的算法，即两种基于帕累托的算法，即提出了Ennsgaii和Ennsgaiii。实验研究表明，基线算法的性能通过将拟议策略嵌入到元启发式算法中来提高。

聚类算法的全面基准是困难的两个关键因素：（i）〜这种无监督的学习方法的独特数学定义和（ii）〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此，对严格基准测试的最佳做法没有达成共识，以及是否有可能在给定申请的背景之外。在这里，我们认为合成数据集必须继续在群集算法的评估中发挥重要作用，但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架，我们展示了重要的角色进化算法，以支持灵活的这种基准，允许简单的修改和扩展。我们说明了我们框架的两种可能用途：（i）〜基准数据的演变与一组手派生属性和（ii）〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准，并进一步了解特定方法的优势和弱点。

Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.

语义已成为遗传编程（GP）研究的关键话题。语义是指在数据集上运行时GP个体的输出（行为）。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是，在多目标GP（MOGP）中，在语义中进行了小型研究。在这项工作中，我们跨越我们对Mogp中语义的理解，提出SDO：基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此，我们在第一个帕累托前面的较密集的区域（最有前途的前沿）找到一个枢轴。然后，这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准，称为基于语义相似性的交叉和语义的拥挤距离。此外，我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题，一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性，导致更好的统计学显着的结果，与其他四种方法相比，使用超卓越症结果作为评估措施。

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。

软件配置调整对于优化给定的性能目标（例如，最小化延迟）至关重要。然而，由于软件的本质上复杂的配置景观和昂贵的测量，成功存在相当轻微的成功，特别是在防止搜索被困在本地Optima中。为了解决这个问题，在本文中，我们采取了不同的视角。除了专注于改进优化器，而不是专注于优化模型的水平，并提出了一种META多象化（MMO）模型，其考虑辅助性能目标（例如，除了延迟之外的吞吐率）。是什么让这个型号独特的是我们没有优化辅助性能目标，而是使用它来类似地进行，而不同的配置较差的不同（即，彼此Nondominize的Pareto），从而防止搜索被困在本地Optima中。重要的是，通过一种新的常规化方法，我们展示了如何有效地使用MMO模型而不担心其重量 - 可能影响其有效性的唯一但高度敏感的参数。来自11个现实世界软件系统/环境的22例实验证实，我们的MMO模型具有新的归一化的MMO模型在82％的情况下比其最先进的单一目标对应物更好，同时实现高达2.09倍的加速。对于67％的病例，新的归一化也使MMO模型能够在使用我们之前的FSE工作中使用的正常化时优于实例，以便在预先调整的最佳重量下，节省了大量资源找到一个很好的重量。我们还表明，具有新标准化的MMO模型可以整合闪存，最近的基于模型的调音工具，在68％的情况下，一般的加速1.22倍。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.

Multi-objective feature selection is one of the most significant issues in the field of pattern recognition. It is challenging because it maximizes the classification performance and, at the same time, minimizes the number of selected features, and the mentioned two objectives are usually conflicting. To achieve a better Pareto optimal solution, metaheuristic optimization methods are widely used in many studies. However, the main drawback is the exploration of a large search space. Another problem with multi-objective feature selection approaches is the interaction between features. Selecting correlated features has negative effect on classification performance. To tackle these problems, we present a novel multi-objective feature selection method that has several advantages. Firstly, it considers the interaction between features using an advanced probability scheme. Secondly, it is based on the Pareto Archived Evolution Strategy (PAES) method that has several advantages such as simplicity and its speed in exploring the solution space. However, we improve the structure of PAES in such a way that generates the offsprings, intelligently. Thus, the proposed method utilizes the introduced probability scheme to produce more promising offsprings. Finally, it is equipped with a novel strategy that guides it to find the optimum number of features through the process of evolution. The experimental results show a significant improvement in finding the optimal Pareto front compared to state-of-the-art methods on different real-world datasets.

基准套件提供了对进化算法解决问题能力的有用度量，但是组成问题通常太复杂了，无法清洁算法的优势和劣势。在这里，我们介绍了基准套件档案（``进化运行中的选择方案的诊断概述''），以实证分析有关剥削和探索重要方面的选择方案。利用从根本上是攀岩，但我们考虑两种情况：纯剥削，可以独立优化表示形式中的每个位置，并且受到限制的利用，在该位置之间，由于位置之间的相互作用，向上进展更加有限。当优化路径不太清楚时，需要探索；我们认为能够遵循多个独立的爬山途径和跨健身山谷的能力。这些场景的每种组合都会产生独特的适应性景观，有助于表征与给定选择方案相关的进化动力学。我们分析了六个流行的选择方案。锦标赛的选择和截断选择都在剥削指标方面表现出色，但在需要探索时表现不佳；相反，新颖的搜索在探索方面表现出色，但未能利用梯度。在克服欺骗时，健身共享表现良好，但在所有其他诊断方面都很差。非主导的分类是维持由居住在多个Optima居住的个体组成的不同人群的最佳选择，但努力有效利用梯度。词汇酶选择平衡搜索空间探索而不牺牲剥削，通常在诊断方面表现良好。我们的工作证明了诊断对快速建立对选择方案特征的直观理解的价值，然后可以将其用于改进或开发新的选择方法。

Performance debugging in production is a fundamental activity in modern service-based systems. The diagnosis of performance issues is often time-consuming, since it requires thorough inspection of large volumes of traces and performance indices. In this paper we present DeLag, a novel automated search-based approach for diagnosing performance issues in service-based systems. DeLag identifies subsets of requests that show, in the combination of their Remote Procedure Call execution times, symptoms of potentially relevant performance issues. We call such symptoms Latency Degradation Patterns. DeLag simultaneously searches for multiple latency degradation patterns while optimizing precision, recall and latency dissimilarity. Experimentation on 700 datasets of requests generated from two microservice-based systems shows that our approach provides better and more stable effectiveness than three state-of-the-art approaches and general purpose machine learning clustering algorithms. DeLag is more effective than all baseline techniques in at least one case study (with p $\leq$ 0.05 and non-negligible effect size). Moreover, DeLag outperforms in terms of efficiency the second and the third most effective baseline techniques on the largest datasets used in our evaluation (up to 22%).

经验丰富的用户通常在解决现实世界优化问题方面具有有用的知识和直觉。用户知识可以作为可变关系的配方，以帮助优化算法更快地找到良好的解决方案。此类间相互作用也可以自动从优化运行中的中间迭代中发现的高性能解决方案中自动学习 - 一种称为Innovization的过程。如果用户对这些关系进行审查，则可以在新生成的解决方案中执行，以将优化算法引导到搜索空间中实际上有希望的区域。对于大规模问题，这种可变关系的数量可能很高，就会出现挑战。本文提出了一个基于交互式知识的进化多目标优化（IK-EMO）框架，该框架将隐藏的可变关系提取为从不断发展的高性能解决方案中的知识，与用户共享它们以接收反馈，并将其应用于优化提高其有效性的过程。知识提取过程使用系统而优雅的图形分析方法，该方法与变量数量很好地缩放。在三个大规模的现实世界工程设计问题上证明了拟议的IK-EMO的工作。提出的知识提取过程和高性能解决方案的实现的简单性和优雅迅速表明了所提出的框架的力量。提出的结果应激发进一步的基于相互作用的优化研究，以实践其常规使用。

传感器节点（SNS）的部署总是在无线传感器网络（WSN）的系统性能中起决定性作用。在这项工作中，我们提出了一种实用异构WSN的最佳部署方法，该方法可以深入了解可靠性和部署成本之间的权衡。具体而言，这项工作旨在提供SNS的最佳部署，以最大程度地提高覆盖率和连接学位，同时最大程度地减少整体部署成本。此外，这项工作充分考虑了SNS的异质性（即差异化的传感范围和部署成本）和三维（3-D）部署方案。这是一个多目标优化问题，非凸，多模态和NP-HARD。为了解决它，我们开发了一种新型的基于群体的多目标优化算法，称为竞争性多目标海洋掠食者算法（CMOMPA），其性能通过与十种其他多个多目标优化的全面比较实验验证算法。计算结果表明，在收敛性和准确性方面，CMOMPA优于他人，并且在多模式多目标优化问题上表现出卓越的性能。还进行了足够的模拟来评估基于CMOMPA的最佳SNS部署方法的有效性。结果表明，优化的部署可以平衡部署成本，感知可靠性和网络可靠性之间的权衡平衡。源代码可在https://github.com/inet-wzu/cmompa上找到。

了解多目标进化算法（MOEAS）的搜索动力学仍然是一个开放的问题。本文扩展了最新的基于网络的工具，即搜索轨迹网络（STNS），以模拟MOEAS的行为。我们的方法使用分解的想法，其中多物原理问题转化为几个单目标问题。我们证明，使用10个连续的基准问题和3个目标，可以使用STN来模拟和区分两种流行的多目标算法MOEA/D和NSGA-II的搜索行为。我们的发现表明，我们可以使用STN进行算法分析来提高对MOEAS的理解。

由于强烈的非线性系统行为和多个竞争目标，能源系统优化问题很复杂，例如，经济增益与环境影响。此外，大量输入变量和不同的变量类型，例如，连续和分类，是现实世界应用中常见的挑战。在某些情况下，提出的最佳解决方案需要遵守与物理性质或安全关键操作条件相关的显式输入限制。本文提出了一种新的数据驱动策略，使用树集合用于对黑匣子问题的约束多目标优化，与模型或未知的基础系统动态太复杂的异构变量空间。在由合成基准和相关能源应用组成的广泛案例研究中，我们展示了与其他最先进的工具相比，所提出的算法的竞争性能和采样效率，使其成为一个有用的全能解决方案 - 世界申请有限评价预算。