在神经结构的搜索算法设计(NAS)已经收到了很多关注,旨在提高性能和降低计算成本。尽管巨大的进步作出,很少有作者提出裁缝初始化技术NAS。然而,文献表明,一个好的初始一整套解决方案有助于找到最优解。因此,在这项研究中,我们提出了一个数据驱动的技术来初始化一个人口为基础的NAS算法。特别是,我们提出了一个两步法。首先,我们进行搜索空间的校准聚类分析,和第二,我们提取的重心,并利用它们来初始化NAS算法。我们的基准我们提出的针对使用三个人口为基础的算法,即遗传算法,进化算法,以及老化发展随机和拉丁方抽样方法初始化,上CIFAR-10。更具体地说,我们使用NAS-台-101利用NAS基准的可用性。结果表明,相比于随机和拉丁方抽样,所提出的初始化技术能够在各种搜索场景(不同的培训预算)达到显著的长期改善两个搜索基线,有时。此外,我们分析得到的溶液的分布,发现由数据驱动的初始化技术提供的人口使检索高健身和类似配置的局部最优(最大值)。
translated by 谷歌翻译
神经结构搜索是一个有前途的研究领域,致力于自动化神经网络模型的设计。该领域正在迅速增长,具有从贝叶斯优化,神经间偏离的方法的浪涌,以及各种情况下的应用程序。然而,尽管存在巨大的进展,但很少有研究对问题本身的难度提出了见解,因此这些方法的成功(或失败)仍未解释。从这个意义上讲,优化领域已经开发了突出显示关键方面来描述优化问题的方法。适应性景观分析突出了可靠和定量搜索算法的特征时。在本文中,我们建议使用健身景观分析来研究神经结构搜索问题。特别是,我们介绍了健身景观足迹,八(8)个通用指标的聚合来综合架构搜索问题的景观。我们研究了两个问题,古典图像分类基准CiFar-10和遥感问题SO2SAT LCZ42。结果表现了对问题的定量评估,允许表征相对难度和其他特征,例如坚固性或持久性,有助于定制对问题的搜索策略。此外,足迹是一种能够比较多次问题的工具。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置,必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置,可以采用各种自动超参数优化(HPO)方法,例如,基于监督机器学习的重新采样误差估计。本文介绍了HPO后,本文审查了重要的HPO方法,如网格或随机搜索,进化算法,贝叶斯优化,超带和赛车。它给出了关于进行HPO的重要选择的实用建议,包括HPO算法本身,性能评估,如何将HPO与ML管道,运行时改进和并行化结合起来。这项工作伴随着附录,其中包含关于R和Python的特定软件包的信息,以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑,这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
深度学习领域的最新进展表明,非常大的神经网络在几种应用中的有效性。但是,随着这些深度神经网络的大小不断增长,配置其许多参数以获得良好的结果变得越来越困难。目前,分析师必须尝试许多不同的配置和参数设置,这些配置和参数设置是劳动密集型且耗时的。另一方面,没有人类专家的领域知识,用于神经网络架构搜索的完全自动化技术的能力受到限制。为了解决问题,我们根据单次体系结构搜索技术制定神经网络体系结构优化的任务作为图形空间探索。在这种方法中,对所有候选体系结构的超级绘制进行了一次训练,并将最佳神经网络确定为子图。在本文中,我们提出了一个框架,该框架允许分析师有效地构建解决方案子图形空间,并通过注入其域知识来指导网络搜索。从由基本神经网络组件组成的网络体系结构空间开始,分析师有权通过我们的单发搜索方案有效地选择最有希望的组件。以迭代方式应用此技术使分析师可以为给定应用程序收敛到最佳性能的神经网络体系结构。在探索过程中,分析师可以利用其域知识在搜索空间的散点图可视化中提供的线索来帮助编辑不同的组件,并指导搜索更快的融合。我们与几位深度学习研究人员合作设计了界面,并通过用户研究和两个案例研究来评估其最终有效性。
translated by 谷歌翻译
近年来,行业和学术界的深度学习(DL)迅速发展。但是,找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题,进化计算(EC)作为一种强大的启发式搜索方法显示出在DL模型的自动设计中,所谓的进化深度学习(EDL)具有重要优势。本文旨在从自动化机器学习(AUTOML)的角度分析EDL。具体来说,我们首先从机器学习和EC阐明EDL,并将EDL视为优化问题。根据DL管道的说法,我们系统地介绍了EDL方法,从功能工程,模型生成到具有新的分类法的模型部署(即,什么以及如何发展/优化),专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后,提出了关键的应用程序,开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展,并为EDL的开发提供了有见地的指南。
translated by 谷歌翻译
Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and errorprone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.
translated by 谷歌翻译
随着神经体系结构搜索方法的发展,手动设计的深度神经网络(随着模型的复杂性升级)即使更快地升级 - 研究趋势朝着安排不同且通常越来越复杂的神经体系结构搜索空间的趋势。在这种结合中,可以有效探索这些搜索空间的描述算法可能会导致对当前使用的方法的重大改进,通常,这些方法随机选择结构变化操作员,希望能够获得性能增长。在本文中,我们研究了复杂域中不同变异算子的效果,即多网络异质神经模型的效果。这些模型具有结构的广泛而复杂的搜索空间,因为它们需要一般模型中的多个子网络,以便回答不同的输出类型。从该调查中,我们提取一组通用准则,其应用不限于该特定类型的模型,并且有助于确定架构优化方法可以找到最大改进的方向。为了推断一组准则,我们根据模型的复杂性和性能的影响来表征它们的变化操作员。这些模型依赖于各种指标,这些指标估算了组成它的不同部分的质量。
translated by 谷歌翻译
The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.
translated by 谷歌翻译
分类是数据挖掘和机器学习领域中研究最多的任务之一,并且已经提出了文献中的许多作品来解决分类问题,以解决多个知识领域,例如医学,生物学,安全性和遥感。由于没有单个分类器可以为各种应用程序取得最佳结果,因此,一个很好的选择是采用分类器融合策略。分类器融合方法成功的关键点是属于合奏的分类器之间多样性和准确性的结合。借助文献中可用的大量分类模型,一个挑战是选择最终分类系统的最合适的分类器,从而产生了分类器选择策略的需求。我们通过基于一个称为CIF-E(分类器,初始化,健身函数和进化算法)的四步协议的分类器选择和融合的框架来解决这一点。我们按照提出的CIF-E协议实施和评估24种各种集合方法,并能够找到最准确的方法。在文献中最佳方法和许多其他基线中,还进行了比较分析。该实验表明,基于单变量分布算法(UMDA)的拟议进化方法可以超越许多著名的UCI数据集中最新的文献方法。
translated by 谷歌翻译
Recent advances in neural architecture search (NAS) demand tremendous computational resources, which makes it difficult to reproduce experiments and imposes a barrier-to-entry to researchers without access to large-scale computation. We aim to ameliorate these problems by introducing NAS-Bench-101, the first public architecture dataset for NAS research. To build NAS-Bench-101, we carefully constructed a compact, yet expressive, search space, exploiting graph isomorphisms to identify 423k unique convolutional architectures. We trained and evaluated all of these architectures multiple times on CIFAR-10 and compiled the results into a large dataset of over 5 million trained models. This allows researchers to evaluate the quality of a diverse range of models in milliseconds by querying the precomputed dataset. We demonstrate its utility by analyzing the dataset as a whole and by benchmarking a range of architecture optimization algorithms.
translated by 谷歌翻译
神经结构中的标准范例(NAS)是搜索具有特定操作和连接的完全确定性体系结构。在这项工作中,我们建议寻找最佳运行分布,从而提供了一种随机和近似解,可用于采样任意长度的架构。我们提出并显示,给定架构单元格,其性能主要取决于使用的操作的比率,而不是典型的搜索空间中的任何特定连接模式;也就是说,操作排序的小变化通常是无关紧要的。这种直觉与任何特定的搜索策略都具有正交,并且可以应用于多样化的NAS算法。通过对4数据集和4个NAS技术的广泛验证(贝叶斯优化,可分辨率搜索,本地搜索和随机搜索),我们表明操作分布(1)保持足够的辨别力来可靠地识别解决方案,并且(2)显着识别比传统的编码更容易优化,导致大量速度,几乎没有成本性能。实际上,这种简单的直觉显着降低了电流方法的成本,并可能使NAS用于更广泛的应用中。
translated by 谷歌翻译
野火是一种高度普遍的多毒环境现象。这种现象的影响包括人类损失,环境破坏和高昂的经济成本。为了减轻这些效果,已经开发了几个计算机模拟系统,以根据一组输入参数预测火灾行为,也称为场景(风速和方向;温度;等)。但是,由于未知的变量值的不确定性,模拟的结果通常具有高度的误差,因为它们尚不清楚,或者由于其测量可能是不精确,错误或无法实时执行的。先前的工作提出了多种结果的组合,以减少这种不确定性。最先进的方法基于并行优化策略,该策略使用健身函数来指导所有可能场景之间的搜索。尽管这些方法显示了预测质量的改善,但它们具有与用于选择场景的算法有关的一些局限性。为了克服这些局限性,在这项工作中,我们建议应用新颖性搜索范式,该范围取代了目标函数的量度,以衡量所找到的解决方案的新颖性,这使搜索可以与彼此不同的行为不断生成解决方案。这种方法避免了本地Optima,并且可能能够找到有用的解决方案,而其他算法很难或无法找到。与现有方法一样,该提案也可以适用于其他传播模型(洪水,雪崩或滑坡)。
translated by 谷歌翻译
The effort devoted to hand-crafting neural network image classifiers has motivated the use of architecture search to discover them automatically. Although evolutionary algorithms have been repeatedly applied to neural network topologies, the image classifiers thus discovered have remained inferior to human-crafted ones. Here, we evolve an image classifier-AmoebaNet-A-that surpasses hand-designs for the first time.To do this, we modify the tournament selection evolutionary algorithm by introducing an age property to favor the younger genotypes. Matching size, AmoebaNet-A has comparable accuracy to current state-of-the-art ImageNet models discovered with more complex architecture-search methods. Scaled to larger size, AmoebaNet-A sets a new state-of-theart 83.9% top-1 / 96.6% top-5 ImageNet accuracy. In a controlled comparison against a well known reinforcement learning algorithm, we give evidence that evolution can obtain results faster with the same hardware, especially at the earlier stages of the search. This is relevant when fewer compute resources are available. Evolution is, thus, a simple method to effectively discover high-quality architectures. Related WorkReview papers provide informative surveys of earlier [18,49] and more recent [15] literature on image classifier architecture search, including successful RL studies [2,6,29,[52][53][54] and evolutionary studies like those mentioned in 1 After our submission, a recent preprint has further scaled up and retrained AmoebaNet-A to reach 84.3% top-1 / 97.0% top-5 ImageNet accuracy [25].
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实,即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中,我们不仅有兴趣仅仅为了预测精度而优化ML管道;确定最佳配置时,必须考虑其他指标或约束,从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现,因此通常在实践中被忽略。在这项工作中,我们向读者介绍了多个客观超参数优化的基础知识,并激励其在应用ML中的实用性。此外,我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性,考虑了诸如操作条件,预测时间,稀疏,公平,可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
回声状态网络(ESN)是一类复发性神经网络,具有大量隐藏的隐藏权重(在所谓的储层中)。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的,因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中,我们提出了一种新的ESN类型计算模型,该模型代表傅立叶空间中的储层权重,并对这些权重进行微调,该权重应用了频域中的遗传算法。主要兴趣是,与经典ESN相比,该过程将在小得多的空间中起作用,从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处,以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究,该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。
translated by 谷歌翻译
神经体系结构搜索(NAS)最近在深度学习社区中变得越来越流行,主要是因为它可以提供一个机会,使感兴趣的用户没有丰富的专业知识,从而从深度神经网络(DNNS)的成功中受益。但是,NAS仍然很费力且耗时,因为在NAS的搜索过程中需要进行大量的性能估计,并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性,提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后,系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述,该NAS分为三个不同类别,即NAS的贝叶斯优化,NAS的替代辅助进化算法和NAS的MOP。最后,讨论了剩余的挑战和开放研究问题,并在这个新兴领域提出了有希望的研究主题。
translated by 谷歌翻译
聚类算法的全面基准是困难的两个关键因素:(i)〜这种无监督的学习方法的独特数学定义和(ii)〜某些聚类算法采用的生成模型或群集标准之间的依赖性的依赖性内部集群验证。因此,对严格基准测试的最佳做法没有达成共识,以及是否有可能在给定申请的背景之外。在这里,我们认为合成数据集必须继续在群集算法的评估中发挥重要作用,但这需要构建适当地涵盖影响聚类算法性能的各种属性集的基准。通过我们的框架,我们展示了重要的角色进化算法,以支持灵活的这种基准,允许简单的修改和扩展。我们说明了我们框架的两种可能用途:(i)〜基准数据的演变与一组手派生属性和(ii)〜生成梳理给定对算法之间的性能差异的数据集。我们的作品对设计集群基准的设计具有足够挑战广泛算法的集群基准,并进一步了解特定方法的优势和弱点。
translated by 谷歌翻译
Neural architecture search (NAS) is a promising research direction that has the potential to replace expert-designed networks with learned, task-specific architectures. In this work, in order to help ground the empirical results in this field, we propose new NAS baselines that build off the following observations: (i) NAS is a specialized hyperparameter optimization problem; and (ii) random search is a competitive baseline for hyperparameter optimization. Leveraging these observations, we evaluate both random search with early-stopping and a novel random search with weight-sharing algorithm on two standard NAS benchmarks-PTB and CIFAR-10. Our results show that random search with early-stopping is a competitive NAS baseline, e.g., it performs at least as well as ENAS [41], a leading NAS method, on both benchmarks. Additionally, random search with weight-sharing outperforms random search with early-stopping, achieving a state-of-the-art NAS result on PTB and a highly competitive result on CIFAR-10. Finally, we explore the existing reproducibility issues of published NAS results. We note the lack of source material needed to exactly reproduce these results, and further discuss the robustness of published results given the various sources of variability in NAS experimental setups. Relatedly, we provide all information (code, random seeds, documentation) needed to exactly reproduce our results, and report our random search with weight-sharing results for each benchmark on multiple runs.
translated by 谷歌翻译
深度学习的巨大进步导致了跨越众多领域的前所未有的成就。虽然深度神经网络的性能是可培制的,但这种模型的架构设计和可解释性是非竞争的。已经引入了通过神经结构搜索(NAS)自动化神经网络架构的设计。最近的进展通过利用分布式计算和新颖的优化算法,这些方法更加务实。但是,在优化架构以获得可解释性的情况下几乎没有作用。为此,我们提出了一种多目标分布式NAS框架,可针对任务性能和内省进行优化。我们利用非主导的分类遗传算法(NSGA-II)并说明可以通过人类更好地理解的造成架构的AI(XAI)技术。框架在几个图像分类数据集上进行评估。我们展示了对内省能力和任务错误的联合优化,导致更具脱屑的体系结构,可在可容忍的错误中执行。
translated by 谷歌翻译
神经建筑搜索(NAS)已被广泛研究,并已成长为具有重大影响的研究领域。虽然经典的单目标NAS搜索具有最佳性能的体系结构,但多目标NAS考虑了应同时优化的多个目标,例如,将沿验证错误最小化资源使用率。尽管在多目标NAS领域已经取得了长足的进步,但我们认为实际关注的实际优化问题与多目标NAS试图解决的优化问题之间存在一些差异。我们通过将多目标NAS问题作为质量多样性优化(QDO)问题来解决这一差异,并引入了三种质量多样性NAS优化器(其中两个属于多重速度优化器组),以寻求高度多样化但多样化的体系结构对于特定于应用程序特定的利基,例如硬件约束。通过将这些优化器与它们的多目标对应物进行比较,我们证明了质量多样性总体上优于多目标NA在解决方案和效率方面。我们进一步展示了应用程序和未来的NAS研究如何在QDO上蓬勃发展。
translated by 谷歌翻译