任何机器学习(ML)算法的性能受到其超参数的选择影响。由于培训和评估ML算法通常很昂贵,因此需要在实践中有效地计算高参数优化(HPO)方法。多数目标HPO的大多数现有方法都使用进化策略和基于元模型的优化。但是,很少有方法可以解释性能测量中的不确定性。本文提出了多目标超参数优化的结果,并在评估ML算法的情况下进行了不确定性。我们将树结构化parzen估计量(TPE)的采样策略与训练高斯过程回归(GPR)在异质噪声后获得的元模型相结合。关于三个分析测试功能和三个ML问题的实验结果表明,相对于超量指标,多目标TPE和GPR的改善。
translated by 谷歌翻译
由于其良好的特性,诸如高强度重量比,设计灵活性,限量的应力浓度,平面力传递,良好损害耐受性和疲劳性,因此越来越多地应用于各种应用的各种应用。寻找粘合剂粘合过程的最佳过程参数是具有挑战性的:优化是固有的多目标(旨在最大限度地提高断裂强度,同时最小化成本)和受约束(该过程不应导致材料的任何视觉损坏,应应对压力测试不会导致粘附相关的故障。实验室中的现实生活实验需要昂贵;由于评估所需的禁止的实验,传统的进化方法(如遗传算法)被否则适合解决问题。在本研究中,我们成功地应用了特定的机器学习技术(高斯过程回归和逻辑回归),以基于有限量的实验数据来模拟目标和约束函数。该技术嵌入贝叶斯优化算法中,该算法成功地以高效的方式检测静态过程设置(即,需要有限数量的额外实验)。
translated by 谷歌翻译
HyperParameter Optimization(HPO)是一种确保机器学习(ML)算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施(通常是基于错误的措施),并且在这种单一目标HPO问题上的文献是巨大的。然而,最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查,在多目标HPO算法上发布,区分了基于成逐的算法,Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。
translated by 谷歌翻译
本文重点介绍了具有高输出方差的随机模拟器的多目标优化,其中输入空间是有限的,并且目标函数的评估昂贵。我们依靠贝叶斯优化算法,这些算法使用概率模型来对要优化的功能进行预测。所提出的方法是用于估计帕累托最佳溶液的帕累托主动学习(PAL)算法的扩展,该算法使其适合随机环境。我们将其命名为随机模拟器(PAL)的Pareto主动学习。通过数值实验对一组双维,双目标测试问题进行数值实验评估了PAL的表现。与其他基于标量的和随机搜索的方法相比,PAL表现出卓越的性能。
translated by 谷歌翻译
贝叶斯优化已被证明是优化昂贵至尊评估系统的有效方法。然而,根据单一观察的成本,一个或多个目标的多维优化可能仍然是昂贵的。多保真优化通过包括多个更便宜的信息来源,例如数值模拟中的低分辨率近似来解决这个问题。用于多保真优化的采集功能通常基于勘探重算法,这些算法难以与多种目标的优化结合。在这里,我们认为预期的超越改善政策可以在许多情况下作为合适的替代品起作用。我们通过两步评估或在单个采集函数内纳入评估成本,额外的保真相关目标。这允许同时多目标和多保真优化,这允许以分数成本准确地建立帕累托集和前部。基准显示成本降低了一个数量级或更多的顺序。因此,我们的方法允许极其膨胀的黑盒功能进行静态优化。在现有的优化贝叶斯优化框架中实现了本方法简单且直接,可以立即扩展到批量优化。该技术还可用于组合不同的连续和/或离散保真度尺寸,这使得它们特别相关地与等离子体物理,流体动力学和许多科学计算分支中的模拟问题相关。
translated by 谷歌翻译
多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在,此类问题被称为异质目标(HE-MOPS)的多目标优化问题。然而,到目前为止,只有少数研究来解决HE-MOPS,其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中,我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此,我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见,从而减轻了廉价且昂贵的目标,从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集,一种对所有目标进行评估的解决方案,另一个与仅在快速目标上进行评估的解决方案,构建了两个单独的高斯过程模型。此外,提出了一种新的采集函数,以减轻对快速目标的搜索偏见,从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性,这些问题被认为是异质昂贵的。
translated by 谷歌翻译
贝叶斯全球优化(BGO)是一种有效的替代辅助技术,用于涉及昂贵评估的问题。可以使用并行技术在一次迭代中评估真实昂贵的目标功能以增加执行时间。一种有效而直接的方法是设计一种采集函数,可以在一次迭代中评估多个解决方案浴的性能,而不是单点/解决方案。本文提出了\ emph {改进的概率}(poi)的五个替代方案,其中有多个点(q-poi)用于多目标贝叶斯全局优化(MOBGO),从而考虑了多个点之间的协方差。提供了所有提出的Q-POIS的精确计算公式和蒙特卡洛近似算法。基于与帕累托 - 前相关的多个点的分布,研究了五个Q-POI的位置依赖性行为。此外,将五个Q-Pois与其他二十个生物目标基准上的其他九个最先进的杂物算法进行了比较。进行了各种基准的经验实验,以证明两个贪婪的Q-Pois($ \ kpoi _ {\ mbox {\ mbox {best}} $和$ \ kpoi _ {\ kpoi _ {\ mbox {all}} $)在低维问题上以及两个探索性Q-Pois($ \ kpoi _ {\ mbox {one}} $和$ \ kpoi _ {\ mbox {worst}} $)在难以实现的高维问题上具有难以适应的帕雷托前界。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实,即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中,我们不仅有兴趣仅仅为了预测精度而优化ML管道;确定最佳配置时,必须考虑其他指标或约束,从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现,因此通常在实践中被忽略。在这项工作中,我们向读者介绍了多个客观超参数优化的基础知识,并激励其在应用ML中的实用性。此外,我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性,考虑了诸如操作条件,预测时间,稀疏,公平,可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
由于其数据效率,贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来,关于新贝叶斯优化算法及其应用的发展的研究激增。因此,本文试图对贝叶斯优化的最新进展进行全面和更新的调查,并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体,并根据所提出的算法的动机和重点。对于每个类别,我们介绍了替代模型的构建和采集功能的适应的主要进步。最后,我们讨论了开放的问题,并提出了有希望的未来研究方向,尤其是在分布式和联合优化系统中的异质性,隐私保护和公平性方面。
translated by 谷歌翻译
Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.
translated by 谷歌翻译
Modern machine learning models are often constructed taking into account multiple objectives, e.g., to minimize inference time while also maximizing accuracy. Multi-objective hyperparameter optimization (MHPO) algorithms return such candidate models and the approximation of the Pareto front is used to assess their performance. However, when estimating generalization performance of an approximation of a Pareto front found on a validation set by computing the performance of the individual models on the test set, models might no longer be Pareto-optimal. This makes it unclear how to measure performance. To resolve this, we provide a novel evaluation protocol that allows measuring the generalization performance of MHPO methods and to study its capabilities for comparing two optimization experiments.
translated by 谷歌翻译
Several recent advances to the state of the art in image classification benchmarks have come from better configurations of existing techniques rather than novel approaches to feature learning. Traditionally, hyper-parameter optimization has been the job of humans because they can be very efficient in regimes where only a few trials are possible. Presently, computer clusters and GPU processors make it possible to run more trials and we show that algorithmic approaches can find better results. We present hyper-parameter optimization results on tasks of training neural networks and deep belief networks (DBNs). We optimize hyper-parameters using random search and two new greedy sequential methods based on the expected improvement criterion. Random search has been shown to be sufficiently efficient for learning neural networks for several datasets, but we show it is unreliable for training DBNs. The sequential algorithms are applied to the most difficult DBN learning problems from [1] and find significantly better results than the best previously reported. This work contributes novel techniques for making response surface models P (y|x) in which many elements of hyper-parameter assignment (x) are known to be irrelevant given particular values of other elements.
translated by 谷歌翻译
我们考虑使用昂贵的功能评估(也称为实验)的黑匣子多目标优化(MOO)的问题,其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如,在硬件设计优化中,我们需要使用昂贵的计算模拟找到权衡性能,能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中,我们提出了一种基于输出空间熵(OSE)搜索原理来解决MOO问题的一般框架:选择最大化每单位资源成本的信息的实验,这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理,以导出以下四个Moo问题设置的高效算法:1)最基本的EM单一保真设置,实验昂贵且准确; 2)处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3)离散的多保真设置,实验可以在消耗的资源量和评估准确度时变化; 4)EM连续保真设置,其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明,基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。
translated by 谷歌翻译
本文的主要目标是概述一个理论框架,以在不确定性下表征人类的决策策略,特别是在黑匣子优化任务和信息收集之间的交易(勘探)和奖励之间的交易(剥削) 。人类根据这两个目标做出的决定可以在帕累托合理性方面进行建模。如果决策集包含帕累托有效的策略,则理性决策者应始终通过其占主导地位的替代方案选择主导战略。距离帕累托前沿的距离决定了选择是帕累托的理性。要收集有关人类策略的数据,我们使用了显示游戏领域的游戏应用程序,以前的决定和观察以及获得的分数。本文中的关键要素是人类学习者的行为模式作为离散概率分布的表现。这将人类行为的表征映射到其元素是由直方图之间的距离构成的概率分布的空间的问题,即Wassersein距离(WST)。分布分析对人类搜索策略的新见解及其与帕累托合理性的偏差。由于不确定性是定义帕累托前沿的两个目标之一,因此已经进行了三种不同的不确定性量化措施,以确定哪个更好地解释普通的行为模式。除了对单个模式的分析,WST还支持计算重心和WST K-MERIAL聚类的全局分析。决策树已经进行了进一步的分析,以涉及非帕氏人的行为,其特征在于恼怒的利用,以奖励寻求过程的演变的动态。
translated by 谷歌翻译
自动化封路计优化(HPO)已经获得了很大的普及,并且是大多数自动化机器学习框架的重要成分。然而,设计HPO算法的过程仍然是一个不系统和手动的过程:确定了现有工作的限制,提出的改进是 - 即使是专家知识的指导 - 仍然是一定任意的。这很少允许对哪些算法分量的驾驶性能进行全面了解,并且承载忽略良好算法设计选择的风险。我们提出了一个原理的方法来实现应用于多倍性HPO(MF-HPO)的自动基准驱动算法设计的原则方法:首先,我们正式化包括的MF-HPO候选的丰富空间,但不限于普通的HPO算法,然后呈现可配置的框架覆盖此空间。要自动和系统地查找最佳候选者,我们遵循通过优化方法,并通过贝叶斯优化搜索算法候选的空间。我们挑战是否必须通过执行消融分析来挑战所发现的设计选择或可以通过更加天真和更简单的设计。我们观察到使用相对简单的配置,在某些方式中比建立的方法更简单,只要某些关键配置参数具有正确的值,就可以很好地执行得很好。
translated by 谷歌翻译
贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择,采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战,因此是理想的测试床,以了解贝叶斯优化的性能,并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中,包括流体动力学的知识,这些知识是未知的。这项调查的结果表明,要做出的选择与相对简单的功能不相关,而乐观的采集功能(例如上限限制)应首选更复杂的目标函数。此外,蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下,多点方法提供了更快的替代方法,但它可能需要进行更多的客观函数评估。
translated by 谷歌翻译
机器学习系统的设计通常需要交易不同的目标,例如,深度神经网络(DNN)的预测错误和能耗。通常,没有任何单一的设计在所有目标中都表现良好,因此,找到帕累托最佳的设计令人感兴趣。通常,测量不同的目标会产生不同的成本;例如,测量DNN的预测误差的成本比测量预先训练的DNN的能源消耗的数量级高,因为它需要重新训练DNN。当前的最新方法没有考虑到客观评估成本的这种差异,可能会浪费对目标功能的昂贵评估,从而获得很少的信息增益。在本文中,我们开发了一种新颖的分离成本感知方法,我们称为灵活的多目标贝叶斯优化(Flexibo)来解决此问题。 Flexibo通过每个目标的测量成本来加权帕累托区的超量。这有助于我们平衡收集新信息与通过客观评估获得的知识的费用,从而阻止我们几乎没有收益进行昂贵的测量。我们在七个最先进的DNN上评估了图像识别,自然语言处理(NLP)和语音到文本翻译的Flexibo。我们的结果表明,鉴于相同的总实验预算,Flexibo发现的设计比下一个最佳最佳多目标优化方法低4.8%至12.4%,具体取决于特定的DNN体系结构。
translated by 谷歌翻译
自动化的HyperParameter优化(HPO)可以支持从业者在机器学习模型中获得峰值性能。然而,通常缺乏有价值的见解,以对不同的超参数对最终模型性能的影响。这种缺乏可解释性使得难以信任并理解自动化的HPO过程及其结果。我们建议使用可解释的机器学习(IML)从HPO中获得的实验数据与贝叶斯优化(BO)一起获得见解。 BO倾向于专注于具有潜在高性能配置的有前途的区域,从而诱导采样偏差。因此,许多IML技术,例如部分依赖曲线(PDP),承载产生偏置解释的风险。通过利用BO代理模型的后部不确定性,我们引入了具有估计置信带的PDP的变种。我们建议分区Quand参数空间以获得相关子区域的更自信和可靠的PDP。在一个实验研究中,我们为子区域内PDP的质量提高提供了定量证据。
translated by 谷歌翻译
可以将多任务学习(MTL)范例追溯到Caruana(1997)的早期纸张中,其中表示可以使用来自多个任务的数据,其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷,这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案,因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能,需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法(MOEAS)可以容易地包括优势的概念,因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法,例如高斯过程。在本文中,输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中,赋予由Wassersein距离给出的度量,可以设计一种新的算法MOEA / WST,其中模型不直接在目标函数上,而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明,MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。
translated by 谷歌翻译
算法配置(AC)与对参数化算法最合适的参数配置的自动搜索有关。目前,文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物,也没有提供完整的分类计划。为此,我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献,概述相关的配置方法的设计选择,对比方法和问题变体相互对立,并描述行业中的AC状态。最后,我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译