荟萃疗法是无梯度和与问题无关的搜索方法。他们在解决学术界和行业的各种优化问题方面取得了巨大成功。自动化元启发式算法设计是人为设计的有前途的替代方法。本文提出了一个方法学框架Autoopt,用于自动设计用于优化问题的元启发式算法。Autoopt包括:(1)评估设计算法性能的双层标准;(2)从设计算法的决策空间的一般模式;(3)代表设计算法的混合图和实际数字表示;(4)一种无模型的方法来进行设计过程。Autoopt受益于学术研究人员和实践用户,他们努力设计用于优化问题的元启发式算法。一项现实世界中的案例研究表明了自动的有效性和效率。
translated by 谷歌翻译
Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.
translated by 谷歌翻译
算法配置(AC)与对参数化算法最合适的参数配置的自动搜索有关。目前,文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物,也没有提供完整的分类计划。为此,我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献,概述相关的配置方法的设计选择,对比方法和问题变体相互对立,并描述行业中的AC状态。最后,我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译
传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关,这可能导致优化过程的过早收敛性。为了解决这个问题,我们提出了一种新型的启发式方法,用于构建原始功能的平滑替代模型。替代功能更容易优化,但保持原始坚固的健身景观的基本属性:全球最佳的位置。为了创建这样的替代模型,我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似(在二维情况下)的视觉近似都可以达到令人满意的结果。
translated by 谷歌翻译
近年来,行业和学术界的深度学习(DL)迅速发展。但是,找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题,进化计算(EC)作为一种强大的启发式搜索方法显示出在DL模型的自动设计中,所谓的进化深度学习(EDL)具有重要优势。本文旨在从自动化机器学习(AUTOML)的角度分析EDL。具体来说,我们首先从机器学习和EC阐明EDL,并将EDL视为优化问题。根据DL管道的说法,我们系统地介绍了EDL方法,从功能工程,模型生成到具有新的分类法的模型部署(即,什么以及如何发展/优化),专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后,提出了关键的应用程序,开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展,并为EDL的开发提供了有见地的指南。
translated by 谷歌翻译
多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在,此类问题被称为异质目标(HE-MOPS)的多目标优化问题。然而,到目前为止,只有少数研究来解决HE-MOPS,其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中,我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此,我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见,从而减轻了廉价且昂贵的目标,从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集,一种对所有目标进行评估的解决方案,另一个与仅在快速目标上进行评估的解决方案,构建了两个单独的高斯过程模型。此外,提出了一种新的采集函数,以减轻对快速目标的搜索偏见,从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性,这些问题被认为是异质昂贵的。
translated by 谷歌翻译
在本文中,我们提出了一个简单的策略,可以通过平均估计精英子人群来估计收敛点。基于这个想法,我们得出了两种方法,它们是普通的平均策略和加权平均策略。我们还设计了一个具有估计收敛点的平均值的高斯采样算子,具有一定的标准偏差。该操作员与传统的差分进化算法(DE)结合使用,以加速收敛。数值实验表明,我们的建议可以在CEC2013套件上的28个低维测试功能的大多数功能上加速DE,并且可以轻松扩展我们的建议与其他基于人群的进化算法结合使用,并简单地修改。
translated by 谷歌翻译
最近几十年来,已经采用了用于解决各种多主体优化问题(MOPS)的多主体进化算法(MOEAS)的显着进步。但是,这些逐渐改善的MOEAS并不一定配备了精致的可扩展和可学习的解决问题的策略,这些策略能够应对缩放型拖把带来的新的和宏伟的挑战,并不断提高各种方面的复杂性或规模,主要包括昂贵的方面,包括昂贵的方面。功能评估,许多目标,大规模搜索空间,时变环境和多任务。在不同的情况下,它需要不同的思考来设计新的强大MOEAS,以有效地解决它们。在这种情况下,对可学习的MOEAS进行的研究,以机器学习技术进行缩放的拖把,在进化计算领域受到了广泛的关注。在本文中,我们从可扩展的拖把和可学习的MOEAS的分类学开始,然后分析将拖把构成对传统MOEAS的挑战的分析。然后,我们综合概述了可学习的MOEAS的最新进展,以求解各种扩展拖把,主要集中在三个有吸引力的有前途的方向上(即,可学习的环境选择的可学习的进化鉴别器,可学习的进化生物的可学习生殖发生器,以及可学习的进化转移,用于分享或分享或分享或进行分享或可学习的转移。不同问题域之间的经验)。在本文中提供了有关可学习的MOEAS的见解,以参考该领域的努力的一般踪迹。
translated by 谷歌翻译
自动化封路计优化(HPO)已经获得了很大的普及,并且是大多数自动化机器学习框架的重要成分。然而,设计HPO算法的过程仍然是一个不系统和手动的过程:确定了现有工作的限制,提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解,并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO(MF-HPO)的自动基准驱动算法设计的原则方法:首先,我们正式化包括的MF-HPO候选的丰富空间,但不限于普通的HPO算法,然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者,我们遵循通过优化方法,并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置,在某些方式中比建立的方法更简单,只要某些关键配置参数具有正确的值,就可以很好地执行得很好。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
我们考虑通过删除指定的线路从更大的一个构造从更大的阵列(OA)构建二进制正交阵列(OA)的优化问题。特别地,我们开发一种遗传算法(GA),其中底层染色体是指定从起始OA取消的线路的恒定重量二进制字符串。然后通过平衡的交叉和突变算子来演化这种染色体以保持它们中的数量。健身功能通过测量从比起始的OA的约束量测量它们的距离来评估从这些染色体获得的基质。我们通过将初始OA制定作为基本奇偶校验阵列的几个块的随机置换来执行提出的遗传算法的初步实验验证,从而保证了最佳解决方案的存在。
translated by 谷歌翻译
可以将多任务学习(MTL)范例追溯到Caruana(1997)的早期纸张中,其中表示可以使用来自多个任务的数据,其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷,这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案,因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能,需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法(MOEAS)可以容易地包括优势的概念,因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法,例如高斯过程。在本文中,输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中,赋予由Wassersein距离给出的度量,可以设计一种新的算法MOEA / WST,其中模型不直接在目标函数上,而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明,MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。
translated by 谷歌翻译
Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.
translated by 谷歌翻译
神经体系结构搜索(NAS)最近在深度学习社区中变得越来越流行,主要是因为它可以提供一个机会,使感兴趣的用户没有丰富的专业知识,从而从深度神经网络(DNNS)的成功中受益。但是,NAS仍然很费力且耗时,因为在NAS的搜索过程中需要进行大量的性能估计,并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性,提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后,系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述,该NAS分为三个不同类别,即NAS的贝叶斯优化,NAS的替代辅助进化算法和NAS的MOP。最后,讨论了剩余的挑战和开放研究问题,并在这个新兴领域提出了有希望的研究主题。
translated by 谷歌翻译
HyperParameter Optimization(HPO)是一种确保机器学习(ML)算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施(通常是基于错误的措施),并且在这种单一目标HPO问题上的文献是巨大的。然而,最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查,在多目标HPO算法上发布,区分了基于成逐的算法,Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。
translated by 谷歌翻译
二进制矩阵优化通常是在现实世界中出现的,例如多微晶网络结构设计问题(MGNSDP),即在某些约束下最小化电源线的总长度。为这些问题找到全球最佳解决方案面临着一个巨大的挑战,因为此类问题可能是大规模,稀疏和多模式。传统的线性编程是耗时的,无法解决非线性问题。为了解决这个问题,提出了一种新颖的可行性规则基于差异进化算法,称为LBMDE。具体来说,首先提出了一种通用启发式溶液初始化方法来生成高质量的解决方案。然后,引入了基于二进制的DE操作员以生产后代。为了处理约束,我们提出了改进的基于可行性规则的环境选择策略。通过一组基准问题来检查LBMDE的性能和搜索行为。
translated by 谷歌翻译
客户满意度在移动设备中的能源消耗至关重要。应用程序中最耗能的部分之一是图像。尽管具有不同质量的不同图像消耗了不同量的能量,但没有直接的方法来计算典型图像中操作的能量消耗。首先,本文调查了能源消耗与图像质量以及图像文件大小之间存在相关性。因此,这两者可以被视为能源消耗的代理。然后,我们提出了一种多目标策略,以增强图像质量并根据JPEG图像压缩中的定量表减少图像文件大小。为此,我们使用了两种一般的多目标元启发式方法:基于标量和基于帕累托。标量方法找到基于组合不同目标的单个最佳解决方案,而基于帕累托的技术旨在实现一组解决方案。在本文中,我们将策略纳入五种标量算法,包括能量感知的多目标遗传算法(ENMOGA),能量感知的多目标粒子群优化(ENMOPSO),能量感知的多目标多目标差异进化(ENMODE)(ENMODE)(ENMODE) ,能源感知的多目标进化策略(ENMOES)和能量感知的多目标模式搜索(ENMOPS)。此外,使用两种基于帕累托的方法,包括非主导的分类遗传算法(NSGA-II)和基于参考点的NSGA-II(NSGA-III),用于嵌入方案,以及两种基于帕累托的算法,即两种基于帕累托的算法,即提出了Ennsgaii和Ennsgaiii。实验研究表明,基线算法的性能通过将拟议策略嵌入到元启发式算法中来提高。
translated by 谷歌翻译
现代优化策略,例如进化算法,蚂蚁菌落算法,贝叶斯优化技术等。带有几个参数,可在优化过程中引导其行为。为了获得高性能算法实例,已经开发了自动化算法配置技术。最受欢迎的工具之一是IRACE,它可以评估顺序种族中的配置,利用迭代统计测试来丢弃性能不佳的配置。在比赛结束时,使用贪婪的截断选择,从未丢弃的幸存者配置中选择了一组精英配置。我们研究两种替代选择方法:一种是保持最佳幸存者,并从一组幸存者中随机选择其余配置,而另一个则应用熵以最大程度地提高精英的多样性。这些方法经过测试,用于调整蚂蚁菌落优化算法,以解决旅行销售人员问题以及二次分配问题,并为满足性问题调整精确的树搜索求解器。实验结果表明,与IRACE的默认选择相比,测试的基准测试结果有所改善。此外,获得的结果表明,非专业人士可以获得多种算法配置,这鼓励我们探索更广泛的解决方案以了解算法的行为。
translated by 谷歌翻译
The optimal layout of a complex system such as aerospace vehicles consists in placing a given number of components in a container in order to minimize one or several objectives under some geometrical or functional constraints. This paper presents an extended formulation of this problem as a variable-size design space (VSDS) problem to take into account a large number of architectural choices and components allocation during the design process. As a representative example of such systems, considering the layout of a satellite module, the VSDS aspect translates the fact that the optimizer has to choose between several subdivisions of the components. For instance, one large tank of fuel might be placed as well as two smaller tanks or three even smaller tanks for the same amount of fuel. In order to tackle this NP-hard problem, a genetic algorithm enhanced by an adapted hidden-variables mechanism is proposed. This latter is illustrated on a toy case and an aerospace application case representative to real world complexity to illustrate the performance of the proposed algorithms. The results obtained using the proposed mechanism are reported and analyzed.
translated by 谷歌翻译
4月20日至22日,在马德里(西班牙)举行的EVO* 2022会议上提交了末期摘要。这些论文介绍了正在进行的研究和初步结果,这些结果研究了对不同问题的不同方法(主要是进化计算)的应用,其中大多数是现实世界中的方法。
translated by 谷歌翻译