Neuroevolution has greatly promoted Deep Neural Network (DNN) architecture design and its applications, while there is a lack of methods available across different DNN types concerning both their scale and performance. In this study, we propose a self-adaptive neuroevolution (SANE) approach to automatically construct various lightweight DNN architectures for different tasks. One of the key settings in SANE is the search space defined by cells and organs self-adapted to different DNN types. Based on this search space, a constructive evolution strategy with uniform evolution settings and operations is designed to grow DNN architectures gradually. SANE is able to self-adaptively adjust evolution exploration and exploitation to improve search efficiency. Moreover, a speciation scheme is developed to protect evolution from early convergence by restricting selection competition within species. To evaluate SANE, we carry out neuroevolution experiments to generate different DNN architectures including convolutional neural network, generative adversarial network and long short-term memory. The results illustrate that the obtained DNN architectures could have smaller scale with similar performance compared to existing DNN architectures. Our proposed SANE provides an efficient approach to self-adaptively search DNN architectures across different types.

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

本文提出了一种新的方法，称为模块化语法进化（MGE），以验证以下假设，即限制了神经进化的解决方案空间到模块化和简单的神经网络，可以有效地生成较小，更结构化的神经网络，同时提供可接受的（在某些方面）案例优于大型数据集的精度。 MGE还在两个方向上增强了最新的语法演化（GE）方法。首先，MGE的表示是模块化的，因为每个个体都有一组基因，并且每个基因都通过语法规则映射到神经元。其次，所提出的表示形式减轻了GE的两个重要缺点，即表示较低的表示性和弱位置，以生成具有大量神经元的模块化和多层网络。我们使用MGE定义和评估具有和不具有模块化的五种不同形式的结构，并找到没有耦合更有效的单层模块。我们的实验表明，模块化有助于更快地找到更好的神经网络。我们使用了十个具有不同尺寸，功能计数和输出类计数的众所周知的分类基准验证了提出的方法。我们的实验结果表明，MGE相对于现有的神经进化方法提供了卓越的准确性，并且返回分类器比其他机器学习生成的分类器要简单得多。最后，我们从经验上证明，MGE在局部性和可伸缩性属性方面优于其他GE方法。

深度学习领域的最新进展表明，非常大的神经网络在几种应用中的有效性。但是，随着这些深度神经网络的大小不断增长，配置其许多参数以获得良好的结果变得越来越困难。目前，分析师必须尝试许多不同的配置和参数设置，这些配置和参数设置是劳动密集型且耗时的。另一方面，没有人类专家的领域知识，用于神经网络架构搜索的完全自动化技术的能力受到限制。为了解决问题，我们根据单次体系结构搜索技术制定神经网络体系结构优化的任务作为图形空间探索。在这种方法中，对所有候选体系结构的超级绘制进行了一次训练，并将最佳神经网络确定为子图。在本文中，我们提出了一个框架，该框架允许分析师有效地构建解决方案子图形空间，并通过注入其域知识来指导网络搜索。从由基本神经网络组件组成的网络体系结构空间开始，分析师有权通过我们的单发搜索方案有效地选择最有希望的组件。以迭代方式应用此技术使分析师可以为给定应用程序收敛到最佳性能的神经网络体系结构。在探索过程中，分析师可以利用其域知识在搜索空间的散点图可视化中提供的线索来帮助编辑不同的组件，并指导搜索更快的融合。我们与几位深度学习研究人员合作设计了界面，并通过用户研究和两个案例研究来评估其最终有效性。

尽管在许多应用中取得了巨大的成功，但深度神经网络在实践中并不总是强大的。例如，用于分类任务的卷积神经元网络（CNN）模型通常在对某些特定类别的对象分类时表现不佳。在这项工作中，我们关注的是修补CNN模型的弱部分，而不是通过整个模型的昂贵重新培训来改进它。受到软件工程中模块化和组成的基本概念的启发，我们提出了一种压缩模块化方法CNNSplitter，该方法将$ N $ class分类的强CNN模型分解为$ n $ n $ n $ n $ smill CNN模块。每个模块都是一个子模型，其中包含强模型的卷积内核的一部分。为了修补对目标类（TC）进行不满意的弱CNN模型，我们将弱的CNN模型与从强CNN模型获得的相应模块组成。因此，弱CNN模型识别TC的能力可以通过修补来提高。此外，识别非TCS的能力也得到了提高，因为将样品错误分类为TC可以正确分类为非TCS。在三个广泛使用的数据集上使用两个代表性CNN的实验结果表明，在精度和召回方面，TC的平均改进分别为12.54％和2.14％。此外，修补程序将非TCS的准确性提高了1.18％。结果表明，CNNSplitter可以通过模块化和组成来修补弱的CNN模型，从而为开发可靠的CNN模型提供了新的解决方案。

The effort devoted to hand-crafting neural network image classifiers has motivated the use of architecture search to discover them automatically. Although evolutionary algorithms have been repeatedly applied to neural network topologies, the image classifiers thus discovered have remained inferior to human-crafted ones. Here, we evolve an image classifier-AmoebaNet-A-that surpasses hand-designs for the first time.To do this, we modify the tournament selection evolutionary algorithm by introducing an age property to favor the younger genotypes. Matching size, AmoebaNet-A has comparable accuracy to current state-of-the-art ImageNet models discovered with more complex architecture-search methods. Scaled to larger size, AmoebaNet-A sets a new state-of-theart 83.9% top-1 / 96.6% top-5 ImageNet accuracy. In a controlled comparison against a well known reinforcement learning algorithm, we give evidence that evolution can obtain results faster with the same hardware, especially at the earlier stages of the search. This is relevant when fewer compute resources are available. Evolution is, thus, a simple method to effectively discover high-quality architectures. Related WorkReview papers provide informative surveys of earlier [18,49] and more recent [15] literature on image classifier architecture search, including successful RL studies [2,6,29,[52][53][54] and evolutionary studies like those mentioned in 1 After our submission, a recent preprint has further scaled up and retrained AmoebaNet-A to reach 84.3% top-1 / 97.0% top-5 ImageNet accuracy [25].

生成的对抗网络（GANS）已被证明在图像生成任务中非常成功，但GaN培训具有不稳定问题。许多作品通过手动修改GaN架构提高了GaN训练的稳定性，这需要人类专业知识和广泛的试验和错误。因此，目的是自动化模型设计的神经结构搜索（NAS）已经应用于在无条件图像生成的任务上搜索GAN。早期的NAS-GaN仅用于搜索生成器来减少困难。最近的一些作品试图搜索发电机（G）和鉴别器（D）来提高GaN性能，但它们仍然遭受搜索过程中GaN培训的不稳定性。为了缓解不稳定问题，我们提出了一种高效的两阶段进化算法（EA）基于NAS框架来发现GANS，Dubbed \ TextBF {eagan}。具体而言，我们将G和D的搜索分成两个阶段，提出了重量重置策略以提高GaN训练的稳定性。此外，我们执行进展操作以基于多个目标生成帕累托 - 前部架构，导致G和D的优越组合。通过利用重量分享策略和低保真评估，EAGAN可以显着缩短搜索时间。 EAGAN在CIFAR-10上实现了高竞争力的结果（= 8.81 $ \ PM $ 0.10，FID = 9.91），并超越了STL-10数据集上的先前NAS搜索的GAN（= 10.44 $ \ PM $ 0.087，FID = 22.18）。

最近，已经成功地应用于各种遥感图像（RSI）识别任务的大量基于深度学习的方法。然而，RSI字段中深度学习方法的大多数现有进步严重依赖于手动设计的骨干网络提取的特征，这严重阻碍了由于RSI的复杂性以及先前知识的限制而受到深度学习模型的潜力。在本文中，我们研究了RSI识别任务中的骨干架构的新设计范式，包括场景分类，陆地覆盖分类和对象检测。提出了一种基于权重共享策略和进化算法的一拍架构搜索框架，称为RSBNet，其中包括三个阶段：首先，在层面搜索空间中构造的超空网是在自组装的大型中预先磨削 - 基于集合单路径培训策略进行缩放RSI数据集。接下来，预先培训的SuperNet通过可切换识别模块配备不同的识别头，并分别在目标数据集上进行微调，以获取特定于任务特定的超网络。最后，我们根据没有任何网络训练的进化算法，搜索最佳骨干架构进行不同识别任务。对于不同识别任务的五个基准数据集进行了广泛的实验，结果显示了所提出的搜索范例的有效性，并证明搜索后的骨干能够灵活地调整不同的RSI识别任务并实现令人印象深刻的性能。

在神经结构的搜索算法设计（NAS）已经收到了很多关注，旨在提高性能和降低计算成本。尽管巨大的进步作出，很少有作者提出裁缝初始化技术NAS。然而，文献表明，一个好的初始一整套解决方案有助于找到最优解。因此，在这项研究中，我们提出了一个数据驱动的技术来初始化一个人口为基础的NAS算法。特别是，我们提出了一个两步法。首先，我们进行搜索空间的校准聚类分析，和第二，我们提取的重心，并利用它们来初始化NAS算法。我们的基准我们提出的针对使用三个人口为基础的算法，即遗传算法，进化算法，以及老化发展随机和拉丁方抽样方法初始化，上CIFAR-10。更具体地说，我们使用NAS-台-101利用NAS基准的可用性。结果表明，相比于随机和拉丁方抽样，所提出的初始化技术能够在各种搜索场景（不同的培训预算）达到显著的长期改善两个搜索基线，有时。此外，我们分析得到的溶液的分布，发现由数据驱动的初始化技术提供的人口使检索高健身和类似配置的局部最优（最大值）。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

激活功能（AFS）在神经网络的性能中起关键作用。整流线性单元（RELU）当前是最常用的AF。已经提出了几个替代者，但事实证明，改进措施不一致。一些AFS在特定任务中表现出更好的性能，但是很难先验如何选择合适的任务。研究标准完全连接的神经网络（FCN）和卷积神经网络（CNN），我们提出了一种新颖的，三个人群，共同进化算法来进化AFS，并将其与其他四种方法进行比较，即进化和非进化。在四个数据集（MNIST，FashionMnist，KMNIST和USPS）上进行了测试，共同进化被证明是找到良好的AFS和AF体系结构的性能算法。

大多数现实世界中的问题本质上都是多模式，由多个最佳值组成。多模式优化定义为找到函数的多个全局和局部优化（与单个解决方案相反）的过程。它使用户可以根据需要在不同的解决方案之间切换，同时仍保持最佳系统性能。基于经典梯度的方法未能用于优化问题，因为目标函数是不连续的或不可差的。与需要多个重新启动的经典优化技术相比，进化算法（EAS）能够在单个算法运行中以单个算法运行中的多个解决方案找到多个解决方案，以找到不同的解决方案。因此，已经提出了一些EA来解决此类问题。但是，差异进化（DE）算法是一种基于人群的启发式方法，可以解决此类优化问题，并且可以易于实施。多模式优化问题（MMOP）的潜在挑战是有效地搜索功能空间以准确地定位大多数峰。优化问题可能是最大程度地减少或最大化给定的目标函数，我们旨在解决本研究中多模式功能的最大化问题。因此，我们提出了一种称为增强对立差异进化（EODE）算法的算法来求解MMOP。拟议的算法已在IEEE进化计算（CEC）2013基准功能上进行了测试，并且与现有的最新方法相比，它取得了竞争性结果。

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

深度学习的巨大进步导致了跨越众多领域的前所未有的成就。虽然深度神经网络的性能是可培制的，但这种模型的架构设计和可解释性是非竞争的。已经引入了通过神经结构搜索（NAS）自动化神经网络架构的设计。最近的进展通过利用分布式计算和新颖的优化算法，这些方法更加务实。但是，在优化架构以获得可解释性的情况下几乎没有作用。为此，我们提出了一种多目标分布式NAS框架，可针对任务性能和内省进行优化。我们利用非主导的分类遗传算法（NSGA-II）并说明可以通过人类更好地理解的造成架构的AI（XAI）技术。框架在几个图像分类数据集上进行评估。我们展示了对内省能力和任务错误的联合优化，导致更具脱屑的体系结构，可在可容忍的错误中执行。

Neural networks have proven effective at solving difficult problems but designing their architectures can be challenging, even for image classification problems alone. Our goal is to minimize human participation, so we employ evolutionary algorithms to discover such networks automatically. Despite significant computational requirements, we show that it is now possible to evolve models with accuracies within the range of those published in the last year. Specifically, we employ simple evolutionary techniques at unprecedented scales to discover models for the CIFAR-10 and CIFAR-100 datasets, starting from trivial initial conditions and reaching accuracies of 94.6% (95.6% for ensemble) and 77.0%, respectively. To do this, we use novel and intuitive mutation operators that navigate large search spaces; we stress that no human participation is required once evolution starts and that the output is a fully-trained model. Throughout this work, we place special emphasis on the repeatability of results, the variability in the outcomes and the computational requirements.

神经体系结构搜索（NAS）可以自动为深神经网络（DNN）设计架构，并已成为当前机器学习社区中最热门的研究主题之一。但是，NAS通常在计算上很昂贵，因为在搜索过程中需要培训大量DNN。绩效预测因素可以通过直接预测DNN的性能来大大减轻NAS的过失成本。但是，构建令人满意的性能预测能力很大程度上取决于足够的训练有素的DNN体系结构，在大多数情况下很难获得。为了解决这个关键问题，我们在本文中提出了一种名为Giaug的有效的DNN体系结构增强方法。具体而言，我们首先提出了一种基于图同构的机制，其优点是有效地生成$ \ boldsymbol n $（即$ \ boldsymbol n！$）的阶乘，对具有$ \ boldsymbol n $ n $ n $ n $ \ boldsymbol n $的单个体系结构进行了带注释的体系结构节点。此外，我们还设计了一种通用方法，将体系结构编码为适合大多数预测模型的形式。结果，可以通过各种基于性能预测因子的NAS算法灵活地利用Giaug。我们在中小型，中，大规模搜索空间上对CIFAR-10和Imagenet基准数据集进行了广泛的实验。实验表明，Giaug可以显着提高大多数最先进的同伴预测因子的性能。此外，与最先进的NAS算法相比，Giaug最多可以在ImageNet上节省三级计算成本。

深层神经网络（DNN）是通过依次执行线性和非线性过程产生的。使用线性和非线性程序的组合对于生成足够深的特征空间至关重要。大多数非线性运算符是激活函数或合并函数的推导。数学形态是数学的一个分支，为各种图像处理问题提供了非线性操作员。我们调查了将这些操作集成到本文端到端深度学习框架中的实用性。 DNN旨在获得特定工作的现实代表。形态运算符给出拓扑描述符，以传达有关图像中描述的物体形状的显着信息。我们提出了一种基于元学习的方法，将形态算子纳入DNN。博学的结构展示了我们的新型形态操作如何显着提高各种任务（包括图片分类和边缘检测）的DNN性能。

数据有效的图像分类是一项具有挑战性的任务，旨在使用小型培训数据来解决图像分类。基于神经网络的深度学习方法对于图像分类很有效，但是它们通常需要大规模的培训数据，并且具有重大局限性，例如需要专业知识来设计网络架构和具有差的可解释性。进化深度学习是一个最近的热门话题，将进化计算与深度学习结合在一起。但是，大多数进化的深度学习方法都集中在神经网络的架构上，这些方法仍然遭受诸如不良解释性之类的局限性。为了解决这个问题，本文提出了一种新的基于基因编程的进化深度学习方法，以进行数据有效的图像分类。新方法可以使用来自图像和分类域的许多重要运算符自动发展可变长度模型。它可以从颜色或灰度图像中学习不同类型的图像特征，并构建有效而多样的合奏以进行图像分类。灵活的多层表示可以使新方法自动构建浅层或深模型/树以进行不同的任务，并通过多个内部节点对输入数据进行有效的转换。新方法用于解决具有不同训练集大小的五个图像分类任务。结果表明，在大多数情况下，它比深度学习方法的图像分类更好。深入的分析表明，新方法具有良好的收敛性，并演变具有高解释性，不同长度/尺寸/形状以及良好可传递性的模型。