大多数深度学习模型的诊断性能受到模型架构及其普遍参数的影响很大。模型选择方法中的主要挑战是建筑优化器和模型评估策略的设计。在本文中，我们提出了一种进化深神经网络的新颖框架，它使用政策梯度来指导DNN架构的演变实现最大诊断准确性。我们制定了一个基于策略梯度的控制器，它会生成一个动作，以在每一代采样新模型架构。获得的最佳健身用作更新策略参数的奖励。此外，所获得的最佳模型被转移到NSGA-II进化框架中的快速模型评估的下一代。因此，该算法获得了快速非主导排序的好处以及快速模型评估。拟议框架的有效性已在三个数据集中验证：空气压缩机数据集，案例西部储备大学数据集和戴克邦大学数据集。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

最近几十年来，已经采用了用于解决各种多主体优化问题（MOPS）的多主体进化算法（MOEAS）的显着进步。但是，这些逐渐改善的MOEAS并不一定配备了精致的可扩展和可学习的解决问题的策略，这些策略能够应对缩放型拖把带来的新的和宏伟的挑战，并不断提高各种方面的复杂性或规模，主要包括昂贵的方面，包括昂贵的方面。功能评估，许多目标，大规模搜索空间，时变环境和多任务。在不同的情况下，它需要不同的思考来设计新的强大MOEAS，以有效地解决它们。在这种情况下，对可学习的MOEAS进行的研究，以机器学习技术进行缩放的拖把，在进化计算领域受到了广泛的关注。在本文中，我们从可扩展的拖把和可学习的MOEAS的分类学开始，然后分析将拖把构成对传统MOEAS的挑战的分析。然后，我们综合概述了可学习的MOEAS的最新进展，以求解各种扩展拖把，主要集中在三个有吸引力的有前途的方向上（即，可学习的环境选择的可学习的进化鉴别器，可学习的进化生物的可学习生殖发生器，以及可学习的进化转移，用于分享或分享或分享或进行分享或可学习的转移。不同问题域之间的经验）。在本文中提供了有关可学习的MOEAS的见解，以参考该领域的努力的一般踪迹。

已经发现深层神经网络容易受到对抗攻击的影响，从而引起了对安全敏感的环境的潜在关注。为了解决这个问题，最近的研究从建筑的角度研究了深神经网络的对抗性鲁棒性。但是，搜索深神经网络的体系结构在计算上是昂贵的，尤其是当与对抗性训练过程相结合时。为了应对上述挑战，本文提出了双重主体神经体系结构搜索方法。首先，我们制定了NAS问题，以增强深度神经网络的对抗性鲁棒性为多目标优化问题。具体而言，除了低保真绩效预测器作为第一个目标外，我们还利用辅助目标 - 其值是经过高保真评估训练的替代模型的输出。其次，我们通过结合三种性能估计方法，即参数共享，低保真评估和基于替代的预测指标来降低计算成本。在CIFAR-10，CIFAR-100和SVHN数据集上进行的广泛实验证实了所提出的方法的有效性。

深度神经网络中的建筑进步导致了跨越一系列计算机视觉任务的巨大飞跃。神经建筑搜索（NAS）并没有依靠人类的专业知识，而是成为自动化建筑设计的有前途的途径。尽管图像分类的最新成就提出了机会，但NAS的承诺尚未对更具挑战性的语义细分任务进行彻底评估。将NAS应用于语义分割的主要挑战来自两个方面：（i）要处理的高分辨率图像； （ii）针对自动驾驶等应用的实时推理速度（即实时语义细分）的其他要求。为了应对此类挑战，我们在本文中提出了一种替代辅助的多目标方法。通过一系列自定义预测模型，我们的方法有效地将原始的NAS任务转换为普通的多目标优化问题。然后是用于填充选择的层次预筛选标准，我们的方法逐渐实现了一组有效的体系结构在细分精度和推理速度之间进行交易。对三个基准数据集的经验评估以及使用华为地图集200 dk的应用程序的实证评估表明，我们的方法可以识别架构明显优于人类专家手动设计和通过其他NAS方法自动设计的现有最先进的体系结构。

演员 - 评论家（AC）算法以求解钢筋学习问题而闻名，但它们也遭受了低采样效率。基于AC的策略优化过程是迭代的，并且需要经常访问代理环境系统来通过推出策略，收集奖励和状态（即样本）来评估和更新策略，并从中学习。它最终需要大量的样本来学习最佳政策。为了提高采样效率，我们提出了一种策略来优化培训数据集，该数据集含有从AC过程中收集的显着较少的样本。数据集优化由仅限最佳剧集操作，策略参数 - 健身模型和遗传算法模块。与控制自主动态系统的许多当代AC算法相比，由优化的训练数据集训练的最佳策略网络表现出优越的性能。标准基准测试的评估表明，该方法提高了采样效率，可确保更快地收敛到Optima，并且比其对应物更具数据效率。

旨在自动进行工程增强政策的自动数据扩展最近引起了不断增长的研究兴趣。许多以前的自动启发方法通过评估测试时间增强性能来评估策略，利用了密度匹配策略。在本文中，我们从理论上和经验上证明了火车和小规模医学图像数据集的验证集之间的不一致，称为内域采样偏差。接下来，我们证明了域中采样偏置可能导致密度匹配的效率低下。为了解决这个问题，提出了一种改进的增强搜索策略，称为增强密度匹配，是通过从先前的培训分布中随机采样策略提出的。此外，提出了有效的自动机器学习（AUTOML）算法，通过统一数据增强和神经体系结构的搜索来提出。实验结果表明，所提出的方法优于MedMnist的最先进方法，MedMnist是一种开拓性的基准测试，旨在在医学图像分析中进行自动。

无监督的域适应（UDA）显示出近年来工作条件下的轴承故障诊断的显着结果。但是，大多数UDA方法都不考虑数据的几何结构。此外，通常应用全局域适应技术，这忽略了子域之间的关系。本文通过呈现新的深亚域适应图卷积神经网络（DSAGCN）来解决提到的挑战，具有两个关键特性：首先，采用图形卷积神经网络（GCNN）来模拟数据结构。二，对抗域适应和局部最大平均差异（LMMD）方法同时应用，以对准子域的分布并降低相关子域和全局域之间的结构差异。 CWRU和Paderborn轴承数据集用于验证DSAGCN方法的比较模型之间的效率和优越性。实验结果表明，将结构化子域与域适应方法对准，以获得无监督故障诊断的准确数据驱动模型。

在神经结构的搜索算法设计（NAS）已经收到了很多关注，旨在提高性能和降低计算成本。尽管巨大的进步作出，很少有作者提出裁缝初始化技术NAS。然而，文献表明，一个好的初始一整套解决方案有助于找到最优解。因此，在这项研究中，我们提出了一个数据驱动的技术来初始化一个人口为基础的NAS算法。特别是，我们提出了一个两步法。首先，我们进行搜索空间的校准聚类分析，和第二，我们提取的重心，并利用它们来初始化NAS算法。我们的基准我们提出的针对使用三个人口为基础的算法，即遗传算法，进化算法，以及老化发展随机和拉丁方抽样方法初始化，上CIFAR-10。更具体地说，我们使用NAS-台-101利用NAS基准的可用性。结果表明，相比于随机和拉丁方抽样，所提出的初始化技术能够在各种搜索场景（不同的培训预算）达到显著的长期改善两个搜索基线，有时。此外，我们分析得到的溶液的分布，发现由数据驱动的初始化技术提供的人口使检索高健身和类似配置的局部最优（最大值）。

在工业应用中，电动机的故障近一半是由于滚动元件轴承（REB）的退化引起的。因此，准确估算REB的剩余使用寿命（RUL）对于确保机械系统的可靠性和安全至关重要。为了应对这一挑战，基于模型的方法通常受到数学建模的复杂性的限制。另一方面，传统的数据驱动方法需要巨大的努力来提取降解功能并构建健康指数。在本文中，提出了一个新颖的在线数据驱动框架，以利用深度卷积神经网络（CNN）的采用来预测轴承的统治。更具体地说，训练轴承的原始振动首先是使用Hilbert-huang变换（HHT）处理的，并将新型的非线性降解指标构建为学习标签。然后使用CNN来识别提取的降解指示器和训练轴承振动之间的隐藏模式，这使得可以自动估计测试轴承的降解。最后，通过使用$ \ epsilon $ -Support向量回归模型来预测测试轴承的规定。与最先进的方法相比，提出的规则估计框架的出色性能通过实验结果证明。提出的CNN模型的一般性也通过转移到经历不同操作条件的轴承来验证。

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

网络体系结构设计的持续进步导致了各种具有挑战性的计算机视觉任务的深入学习取得的显着成就。同时，神经体系结构搜索（NAS）的开发提供了有前途的方法来自动化网络体系结构的设计，从而获得较低的预测错误。最近，深入学习的新兴应用程序方案提高了考虑多个设计标准的网络体系结构的更高需求：参数/浮点操作的数量以及推理延迟等。从优化的角度来看，涉及多个设计标准的NAS任务是本质上多目标优化问题。因此，采用进化的多目标优化（EMO）算法来解决它们是合理的。尽管如此，仍然存在一个明显的差距，将相关研究沿着这一途径限制：一方面，从优化的角度出发，缺乏NAS任务的一般问题。另一方面，在NAS任务上对EMO算法进行基准评估存在挑战。弥合差距：（i）我们将NAS任务制定为一般的多目标优化问题，并从优化的角度分析复杂特征； （ii）我们提出了一条端到端管道，称为$ \ texttt {evoxbench} $，以生成Emo算法的基准测试问题，以有效运行 - 无需GPU或Pytorch/tensorflow； （iii）我们实例化了两个测试套件，全面涵盖了两个数据集，七个搜索空间和三个硬件设备，最多涉及八个目标。基于上述内容，我们使用六种代表性的EMO算法验证了提出的测试套件，并提供了一些经验分析。 $ \ texttt {evoxBench} $的代码可从$ \ href {https://github.com/emi-group/evoxbench} {\ rm {there}} $。

虽然数据驱动的故障诊断方法已被广泛应用，但模型培训需要大规模标记数据。然而，在真正的行业实施这一点难以阻碍这些方法的应用。因此，迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中，多级半监督改进的深度嵌入式聚类（MS-SSIDEC）方法，将半监督学习与改进的深度嵌入式聚类相结合（IDEC），建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段，提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器（SCCAE），并预先培训以成为故障特征提取器。在第二阶段，提出了一个半监督的改进的深嵌入式聚类（SSIDEC）网络以进行聚类。首先用可用标记数据初始化，然后用于同时优化群集标签分配，并使要素空间更加群集。为了解决过度装备现象，在本阶段将虚拟的对抗培训（增值税）作为正则化术语。在第三阶段，伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强，然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据，提供了在有限标记样本的情况下的故障诊断方法。

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

磁共振成像（MRI）是可以产生高质量图像的无创成像方式之一。但是，扫描程序相对较慢，这会导致患者的不适感和图像中的运动伪像。加速MRI硬件受到身体和生理局限性的限制。加速MRI的一种流行的替代方法是调解K空间数据。虽然散采样速度加快了扫描程序的速度，但它会在图像中产生工件，并且需要高级重建算法来产生无伪影的图像。最近，深度学习已成为解决此问题的有希望的MRI重建方法。但是，在MRI重建中，直接采用现有的深度学习神经网络体系结构通常在效率和重建质量方面并不是最佳的。在这项工作中，使用新型的进化神经体系结构搜索算法使用优化的神经网络，使用优化的神经网络进行了MRI重建。 Brain和Knee MRI数据集表明，所提出的算法优于手动设计的基于神经网络的MR重建模型。

Convolutional neural networks (CNNs) have constantly achieved better performance over years by introducing more complex topology, and enlarging the capacity towards deeper and wider CNNs. This makes the manual design of CNNs extremely difficult, so the automated design of CNNs has come into the research spotlight, which has obtained CNNs that outperform manually-designed CNNs. However, the computational cost is still the bottleneck of automatically designing CNNs. In this paper, inspired by transfer learning, a new evolutionary computation based framework is proposed to efficiently evolve CNNs without compromising the classification accuracy. The proposed framework leverages multi-source domains, which are smaller datasets than the target domain datasets, to evolve a generalised CNN block only once. And then, a new stacking method is proposed to both widen and deepen the evolved block, and a grid search method is proposed to find optimal stacking solutions. The experimental results show the proposed method acquires good CNNs faster than 15 peer competitors within less than 40 GPU-hours. Regarding the classification accuracy, the proposed method gains its strong competitiveness against the peer competitors, which achieves the best error rates of 3.46%, 18.36% and 1.76% for the CIFAR-10, CIFAR-100 and SVHN datasets, respectively.