探索搜索空间是几十年来吸引研究人员兴趣的最不可预测的挑战之一。处理不可预测性的一种方法是表征搜索空间并采取相应的行动。特征良好的搜索空间可以帮助将问题状态映射到一组运算符,以生成新的问题状态。在本文中,已经使用最知名的机器学习方法分析了基于景观分析的功能集,以确定最佳功能集。但是,为了处理问题的复杂性并引起共同点以跨领域转移经验,最具代表性特征的选择仍然至关重要。提出的方法分析了一组特征的预测性,以确定最佳分类。
translated by 谷歌翻译
合奏学习在机器学习方面取得了成功,比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法,它创建了被称为袋子的数据子组,该数据被单独的机器学习方法(例如决策树)培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时,包装的限制是汇总预测中的高偏置(模型不足)。}进化算法已突出用于优化问题,并且也用于机器学习。进化算法是无梯度的方法,具有多种候选解决方案,可维持创建新解决方案的多样性。在传统的包装合奏学习中,制作了一次袋子,而在培训示例方面,内容是在学习过程中固定的。在我们的论文中,我们提出了进化装袋的合奏学习,我们利用进化算法来发展袋子的内容,以通过迭代袋中提供多样性来增强合奏。结果表明,在某些约束下,我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法(包装和随机森林)。进化装袋可以固有地维持一套不同的行李,而无需牺牲任何数据。
translated by 谷歌翻译
最近几十年来,已经采用了用于解决各种多主体优化问题(MOPS)的多主体进化算法(MOEAS)的显着进步。但是,这些逐渐改善的MOEAS并不一定配备了精致的可扩展和可学习的解决问题的策略,这些策略能够应对缩放型拖把带来的新的和宏伟的挑战,并不断提高各种方面的复杂性或规模,主要包括昂贵的方面,包括昂贵的方面。功能评估,许多目标,大规模搜索空间,时变环境和多任务。在不同的情况下,它需要不同的思考来设计新的强大MOEAS,以有效地解决它们。在这种情况下,对可学习的MOEAS进行的研究,以机器学习技术进行缩放的拖把,在进化计算领域受到了广泛的关注。在本文中,我们从可扩展的拖把和可学习的MOEAS的分类学开始,然后分析将拖把构成对传统MOEAS的挑战的分析。然后,我们综合概述了可学习的MOEAS的最新进展,以求解各种扩展拖把,主要集中在三个有吸引力的有前途的方向上(即,可学习的环境选择的可学习的进化鉴别器,可学习的进化生物的可学习生殖发生器,以及可学习的进化转移,用于分享或分享或分享或进行分享或可学习的转移。不同问题域之间的经验)。在本文中提供了有关可学习的MOEAS的见解,以参考该领域的努力的一般踪迹。
translated by 谷歌翻译
分类是数据挖掘和机器学习领域中研究最多的任务之一,并且已经提出了文献中的许多作品来解决分类问题,以解决多个知识领域,例如医学,生物学,安全性和遥感。由于没有单个分类器可以为各种应用程序取得最佳结果,因此,一个很好的选择是采用分类器融合策略。分类器融合方法成功的关键点是属于合奏的分类器之间多样性和准确性的结合。借助文献中可用的大量分类模型,一个挑战是选择最终分类系统的最合适的分类器,从而产生了分类器选择策略的需求。我们通过基于一个称为CIF-E(分类器,初始化,健身函数和进化算法)的四步协议的分类器选择和融合的框架来解决这一点。我们按照提出的CIF-E协议实施和评估24种各种集合方法,并能够找到最准确的方法。在文献中最佳方法和许多其他基线中,还进行了比较分析。该实验表明,基于单变量分布算法(UMDA)的拟议进化方法可以超越许多著名的UCI数据集中最新的文献方法。
translated by 谷歌翻译
Multi-objective feature selection is one of the most significant issues in the field of pattern recognition. It is challenging because it maximizes the classification performance and, at the same time, minimizes the number of selected features, and the mentioned two objectives are usually conflicting. To achieve a better Pareto optimal solution, metaheuristic optimization methods are widely used in many studies. However, the main drawback is the exploration of a large search space. Another problem with multi-objective feature selection approaches is the interaction between features. Selecting correlated features has negative effect on classification performance. To tackle these problems, we present a novel multi-objective feature selection method that has several advantages. Firstly, it considers the interaction between features using an advanced probability scheme. Secondly, it is based on the Pareto Archived Evolution Strategy (PAES) method that has several advantages such as simplicity and its speed in exploring the solution space. However, we improve the structure of PAES in such a way that generates the offsprings, intelligently. Thus, the proposed method utilizes the introduced probability scheme to produce more promising offsprings. Finally, it is equipped with a novel strategy that guides it to find the optimum number of features through the process of evolution. The experimental results show a significant improvement in finding the optimal Pareto front compared to state-of-the-art methods on different real-world datasets.
translated by 谷歌翻译
算法配置(AC)与对参数化算法最合适的参数配置的自动搜索有关。目前,文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物,也没有提供完整的分类计划。为此,我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献,概述相关的配置方法的设计选择,对比方法和问题变体相互对立,并描述行业中的AC状态。最后,我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译
Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.
translated by 谷歌翻译
由于问题的大规模性质,机器学习算法中的封锁率调整是一种计算挑战性的任务。为了开发高参数调整的有效策略,一个有希望的解决方案是使用群体智能算法。人造蜜蜂殖民地(ABC)优化为此目的作为一个有希望有效的优化算法。然而,在某些情况下,由于初始解决方案较差和昂贵的客观函数,ABC可能遭受缓慢的收敛速度或执行时间。为了解决这些问题,提出了一种新颖的算法,OPTABC,以帮助ABC算法更快地达到近最佳解决方案。 Optabc集成了人造蜂殖民地算法,K均值聚类,贪婪算法和基于反对的学习策略,用于调整不同机器学习模型的超参数。 Optabc采用这些技术,以试图多样化初始群体,因此增强了收敛能力,而不会显着降低准确性。为了验证所提出的方法的性能,我们将结果与先前的最先进的方法进行比较。实验结果表明,与文献中的现有方法相比,Optabc的有效性。
translated by 谷歌翻译
基准套件提供了对进化算法解决问题能力的有用度量,但是组成问题通常太复杂了,无法清洁算法的优势和劣势。在这里,我们介绍了基准套件档案(``进化运行中的选择方案的诊断概述''),以实证分析有关剥削和探索重要方面的选择方案。利用从根本上是攀岩,但我们考虑两种情况:纯剥削,可以独立优化表示形式中的每个位置,并且受到限制的利用,在该位置之间,由于位置之间的相互作用,向上进展更加有限。当优化路径不太清楚时,需要探索;我们认为能够遵循多个独立的爬山途径和跨健身山谷的能力。这些场景的每种组合都会产生独特的适应性景观,有助于表征与给定选择方案相关的进化动力学。我们分析了六个流行的选择方案。锦标赛的选择和截断选择都在剥削指标方面表现出色,但在需要探索时表现不佳;相反,新颖的搜索在探索方面表现出色,但未能利用梯度。在克服欺骗时,健身共享表现良好,但在所有其他诊断方面都很差。非主导的分类是维持由居住在多个Optima居住的个体组成的不同人群的最佳选择,但努力有效利用梯度。词汇酶选择平衡搜索空间探索而不牺牲剥削,通常在诊断方面表现良好。我们的工作证明了诊断对快速建立对选择方案特征的直观理解的价值,然后可以将其用于改进或开发新的选择方法。
translated by 谷歌翻译
传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关,这可能导致优化过程的过早收敛性。为了解决这个问题,我们提出了一种新型的启发式方法,用于构建原始功能的平滑替代模型。替代功能更容易优化,但保持原始坚固的健身景观的基本属性:全球最佳的位置。为了创建这样的替代模型,我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似(在二维情况下)的视觉近似都可以达到令人满意的结果。
translated by 谷歌翻译
语义已成为遗传编程(GP)研究的关键话题。语义是指在数据集上运行时GP个体的输出(行为)。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是,在多目标GP(MOGP)中,在语义中进行了小型研究。在这项工作中,我们跨越我们对Mogp中语义的理解,提出SDO:基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此,我们在第一个帕累托前面的较密集的区域(最有前途的前沿)找到一个枢轴。然后,这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准,称为基于语义相似性的交叉和语义的拥挤距离。此外,我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题,一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性,导致更好的统计学显着的结果,与其他四种方法相比,使用超卓越症结果作为评估措施。
translated by 谷歌翻译
神经结构搜索是一个有前途的研究领域,致力于自动化神经网络模型的设计。该领域正在迅速增长,具有从贝叶斯优化,神经间偏离的方法的浪涌,以及各种情况下的应用程序。然而,尽管存在巨大的进展,但很少有研究对问题本身的难度提出了见解,因此这些方法的成功(或失败)仍未解释。从这个意义上讲,优化领域已经开发了突出显示关键方面来描述优化问题的方法。适应性景观分析突出了可靠和定量搜索算法的特征时。在本文中,我们建议使用健身景观分析来研究神经结构搜索问题。特别是,我们介绍了健身景观足迹,八(8)个通用指标的聚合来综合架构搜索问题的景观。我们研究了两个问题,古典图像分类基准CiFar-10和遥感问题SO2SAT LCZ42。结果表现了对问题的定量评估,允许表征相对难度和其他特征,例如坚固性或持久性,有助于定制对问题的搜索策略。此外,足迹是一种能够比较多次问题的工具。
translated by 谷歌翻译
在真实世界优化中,常见的是面对几个次级问题,互动和形成主要问题。子问题之间存在依赖性,使得不可能通过专注于一个组件来解决这样的问题。旅行小偷问题〜(TTP)属于此类别,由旅行销售人员问题〜(TSP)和背包问题〜(KP)形成。在本文中,我们通过优质多样性〜(QD)方法研究了TSP和KP的依赖性。 QD算法提供强大的工具,不仅可以获得高质量解决方案,还提供了在行为空间中的高性能解决方案的分布。我们使用众所周知的TSP和KP搜索操作员介绍基于Map-Elite的进化算法,将TSP和KP得分作为行为描述符。之后,我们进行全面的实验研究,表明使用应用于TTP的QD方法的有用性。首先,我们提供有关TSP / KP行为空间中高质量TTP解决方案的见解。之后,我们表明,通过使用我们的QD方法可以获得更好的TTP解决方案,并显示它可以改善用于在文献中基准测试的广泛TTP实例的最佳已知解决方案。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实,即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中,我们不仅有兴趣仅仅为了预测精度而优化ML管道;确定最佳配置时,必须考虑其他指标或约束,从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现,因此通常在实践中被忽略。在这项工作中,我们向读者介绍了多个客观超参数优化的基础知识,并激励其在应用ML中的实用性。此外,我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性,考虑了诸如操作条件,预测时间,稀疏,公平,可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
在过去的十年中,深入的强化学习(DRL)算法已经越来越多地使用,以解决各种决策问题,例如自动驾驶和机器人技术。但是,这些算法在部署在安全至关重要的环境中时面临着巨大的挑战,因为它们经常表现出错误的行为,可能导致潜在的关键错误。评估DRL代理的安全性的一种方法是测试它们,以检测可能导致执行过程中严重失败的故障。这就提出了一个问题,即我们如何有效测试DRL政策以确保其正确性和遵守安全要求。测试DRL代理的大多数现有作品都使用扰动代理的对抗性攻击。但是,这种攻击通常会导致环境的不切实际状态。他们的主要目标是测试DRL代理的鲁棒性,而不是测试代理商在要求方面的合规性。由于DRL环境的巨大状态空间,测试执行的高成本以及DRL算法的黑盒性质,因此不可能对DRL代理进行详尽的测试。在本文中,我们提出了一种基于搜索的强化学习代理(Starla)的测试方法,以通过有效地在有限的测试预算中寻找无法执行的代理执行,以测试DRL代理的策略。我们使用机器学习模型和专用的遗传算法来缩小搜索错误的搜索。我们将Starla应用于深Q学习剂,该Qualla被广泛用作基准测试,并表明它通过检测到与代理商策略相关的更多故障来大大优于随机测试。我们还研究了如何使用我们的搜索结果提取表征DRL代理的错误事件的规则。这些规则可用于了解代理失败的条件,从而评估其部署风险。
translated by 谷歌翻译
我们继续研究遗传算法(GA)在组合优化问题上,候选解决方案需要满足平衡性约束。已经观察到,临时交叉和突变操作员授予的搜索空间大小的减小通常不会转化为GA性能的实质性改善。尽管怀疑平衡的代表可能会产生更不规则的健身景观,但仍然没有明确的解释,尽管该景观可能会更难以使GA融合到全球最佳距离。在本文中,我们通过将局部搜索步骤添加到具有平衡运算符的GA,并使用它来进化高度非线性平衡的布尔功能,从而调查此问题。特别是,我们围绕两个研究问题组织了实验,即如果本地搜索(1)提高了GA的收敛速度,并且(2)降低了人口多样性。令人惊讶的是,尽管我们的结果肯定地回答了第一个问题,但他们还表明,添加本地搜索实际上\ emph {增加}人口中个人之间的多样性。我们将这些发现与有关布尔功能问题的健身景观分析的最新结果联系起来。
translated by 谷歌翻译
事物互联网(物联网)是一个由嵌入式传感器和服务网络为特征的范例。结合了这些传感器以收集各种信息,跟踪物理条件,例如废物箱状态,并使用不同的集中平台交换数据。对这种传感器的需求正在增加;然而,技术的扩散具有各种挑战。例如,如何使用IoT及其相关数据来增强废物管理?在智能城市,有效的废物管理系统至关重要。人工智能(AI)和启用IOT的方法可以赋予城市管理废物收集。这项工作提出了一种在给定空间约束的支持物联网的废物管理系统中提供推荐的智能方法。它基于基于AI的方法进行彻底的分析,并比较它们的相应结果。我们的解决方案基于多级决策过程,其中考虑到箱子状态和坐标以解决路由问题。这种基于AI的模型可以帮助工程师设计可持续的基础设施系统。
translated by 谷歌翻译
电力消耗预测对于一个国家的能源计划至关重要。在启用机器学习模型中,支持向量回归(SVR)已被广泛用于设置预测模型,因为其对看不见的数据的卓越概括。但是,预测建模的一个关键过程是特征选择,如果选择不正确的功能,这可能会损害预测准确性。在这方面,在本研究中采用了修改的离散粒子群优化(MDPSO)进行特征选择,然后构建了MDPSO-SVR混合模式来预测未来的电力消耗。与其他完善的对应物相比,MDPSO-SVR模型在两个现实世界中的电力消耗数据集中始终如一地表现最好,这表明用于功能选择的MDPSO可以提高预测准确性,并且配备了MDPSO的SVR可以是电力替代方案。消费预测。
translated by 谷歌翻译
信息科学的快速发展引起的“维度诅咒”在处理大数据集时可能会产生负面影响。在本文中,我们提出了Sparrow搜索算法(SSA)的一种变体,称为帐篷L \'evy飞行麻雀搜索算法(TFSSA),并使用它来选择包装模式中最佳的特征子集以进行分类。 SSA是最近提出的算法,尚未系统地应用于特征选择问题。通过CEC2020基准函数进行验证后,TFSSA用于选择最佳功能组合,以最大化分类精度并最大程度地减少所选功能的数量。将拟议的TFSSA与文献中的九种算法进行了比较。 9个评估指标用于正确评估和比较UCI存储库中21个数据集上这些算法的性能。此外,该方法应用于冠状病毒病(COVID-19)数据集,分别获得最佳的平均分类精度和特征选择的平均数量,为93.47%和2.1。实验结果证实了所提出的算法在提高分类准确性和减少与其他基于包装器的算法相比的选定特征数量方面的优势。
translated by 谷歌翻译
野火是一种高度普遍的多毒环境现象。这种现象的影响包括人类损失,环境破坏和高昂的经济成本。为了减轻这些效果,已经开发了几个计算机模拟系统,以根据一组输入参数预测火灾行为,也称为场景(风速和方向;温度;等)。但是,由于未知的变量值的不确定性,模拟的结果通常具有高度的误差,因为它们尚不清楚,或者由于其测量可能是不精确,错误或无法实时执行的。先前的工作提出了多种结果的组合,以减少这种不确定性。最先进的方法基于并行优化策略,该策略使用健身函数来指导所有可能场景之间的搜索。尽管这些方法显示了预测质量的改善,但它们具有与用于选择场景的算法有关的一些局限性。为了克服这些局限性,在这项工作中,我们建议应用新颖性搜索范式,该范围取代了目标函数的量度,以衡量所找到的解决方案的新颖性,这使搜索可以与彼此不同的行为不断生成解决方案。这种方法避免了本地Optima,并且可能能够找到有用的解决方案,而其他算法很难或无法找到。与现有方法一样,该提案也可以适用于其他传播模型(洪水,雪崩或滑坡)。
translated by 谷歌翻译