数据有效的图像分类是一项具有挑战性的任务，旨在使用小型培训数据来解决图像分类。基于神经网络的深度学习方法对于图像分类很有效，但是它们通常需要大规模的培训数据，并且具有重大局限性，例如需要专业知识来设计网络架构和具有差的可解释性。进化深度学习是一个最近的热门话题，将进化计算与深度学习结合在一起。但是，大多数进化的深度学习方法都集中在神经网络的架构上，这些方法仍然遭受诸如不良解释性之类的局限性。为了解决这个问题，本文提出了一种新的基于基因编程的进化深度学习方法，以进行数据有效的图像分类。新方法可以使用来自图像和分类域的许多重要运算符自动发展可变长度模型。它可以从颜色或灰度图像中学习不同类型的图像特征，并构建有效而多样的合奏以进行图像分类。灵活的多层表示可以使新方法自动构建浅层或深模型/树以进行不同的任务，并通过多个内部节点对输入数据进行有效的转换。新方法用于解决具有不同训练集大小的五个图像分类任务。结果表明，在大多数情况下，它比深度学习方法的图像分类更好。深入的分析表明，新方法具有良好的收敛性，并演变具有高解释性，不同长度/尺寸/形状以及良好可传递性的模型。

计算机视觉（CV）是涵盖广泛应用的人工智能中的一个重要领域。图像分析是CV的主要任务，目的是提取，分析和理解图像的视觉内容。但是，由于许多因素，图像之间的较高变化，高维度，域专业知识要求和图像扭曲，因此与图像相关的任务非常具有挑战性。进化计算方法（EC）方法已被广泛用于图像分析，并取得了重大成就。但是，没有对现有的EC方法进行图像分析的全面调查。为了填补这一空白，本文提供了一项全面的调查，涵盖了重要的图像分析任务的所有基本EC方法，包括边缘检测，图像分割，图像特征分析，图像分类，对象检测等。这项调查旨在通过讨论不同方法的贡献并探讨如何以及为什么将EC用于简历和图像分析，以更好地了解进化计算机视觉（ECV）。还讨论并总结了与该研究领域相关的应用，挑战，问题和趋势，以提供进一步的指南和未来研究的机会。

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

本文提出了一种新的方法，称为模块化语法进化（MGE），以验证以下假设，即限制了神经进化的解决方案空间到模块化和简单的神经网络，可以有效地生成较小，更结构化的神经网络，同时提供可接受的（在某些方面）案例优于大型数据集的精度。 MGE还在两个方向上增强了最新的语法演化（GE）方法。首先，MGE的表示是模块化的，因为每个个体都有一组基因，并且每个基因都通过语法规则映射到神经元。其次，所提出的表示形式减轻了GE的两个重要缺点，即表示较低的表示性和弱位置，以生成具有大量神经元的模块化和多层网络。我们使用MGE定义和评估具有和不具有模块化的五种不同形式的结构，并找到没有耦合更有效的单层模块。我们的实验表明，模块化有助于更快地找到更好的神经网络。我们使用了十个具有不同尺寸，功能计数和输出类计数的众所周知的分类基准验证了提出的方法。我们的实验结果表明，MGE相对于现有的神经进化方法提供了卓越的准确性，并且返回分类器比其他机器学习生成的分类器要简单得多。最后，我们从经验上证明，MGE在局部性和可伸缩性属性方面优于其他GE方法。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

Deep convolutional neural networks have proven their effectiveness, and have been acknowledged as the most dominant method for image classification. However, a severe drawback of deep convolutional neural networks is poor explainability. Unfortunately, in many real-world applications, users need to understand the rationale behind the predictions of deep convolutional neural networks when determining whether they should trust the predictions or not. To resolve this issue, a novel genetic algorithm-based method is proposed for the first time to automatically evolve local explanations that can assist users to assess the rationality of the predictions. Furthermore, the proposed method is model-agnostic, i.e., it can be utilised to explain any deep convolutional neural network models. In the experiments, ResNet is used as an example model to be explained, and the ImageNet dataset is selected as the benchmark dataset. DenseNet and MobileNet are further explained to demonstrate the model-agnostic characteristic of the proposed method. The evolved local explanations on four images, randomly selected from ImageNet, are presented, which show that the evolved local explanations are straightforward to be recognised by humans. Moreover, the evolved explanations can explain the predictions of deep convolutional neural networks on all four images very well by successfully capturing meaningful interpretable features of the sample images. Further analysis based on the 30 runs of the experiments exhibits that the evolved local explanations can also improve the probabilities/confidences of the deep convolutional neural network models in making the predictions. The proposed method can obtain local explanations within one minute, which is more than ten times faster than LIME (the state-of-the-art method).

最近，已经成功地应用于各种遥感图像（RSI）识别任务的大量基于深度学习的方法。然而，RSI字段中深度学习方法的大多数现有进步严重依赖于手动设计的骨干网络提取的特征，这严重阻碍了由于RSI的复杂性以及先前知识的限制而受到深度学习模型的潜力。在本文中，我们研究了RSI识别任务中的骨干架构的新设计范式，包括场景分类，陆地覆盖分类和对象检测。提出了一种基于权重共享策略和进化算法的一拍架构搜索框架，称为RSBNet，其中包括三个阶段：首先，在层面搜索空间中构造的超空网是在自组装的大型中预先磨削 - 基于集合单路径培训策略进行缩放RSI数据集。接下来，预先培训的SuperNet通过可切换识别模块配备不同的识别头，并分别在目标数据集上进行微调，以获取特定于任务特定的超网络。最后，我们根据没有任何网络训练的进化算法，搜索最佳骨干架构进行不同识别任务。对于不同识别任务的五个基准数据集进行了广泛的实验，结果显示了所提出的搜索范例的有效性，并证明搜索后的骨干能够灵活地调整不同的RSI识别任务并实现令人印象深刻的性能。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

Convolutional neural networks (CNNs) have constantly achieved better performance over years by introducing more complex topology, and enlarging the capacity towards deeper and wider CNNs. This makes the manual design of CNNs extremely difficult, so the automated design of CNNs has come into the research spotlight, which has obtained CNNs that outperform manually-designed CNNs. However, the computational cost is still the bottleneck of automatically designing CNNs. In this paper, inspired by transfer learning, a new evolutionary computation based framework is proposed to efficiently evolve CNNs without compromising the classification accuracy. The proposed framework leverages multi-source domains, which are smaller datasets than the target domain datasets, to evolve a generalised CNN block only once. And then, a new stacking method is proposed to both widen and deepen the evolved block, and a grid search method is proposed to find optimal stacking solutions. The experimental results show the proposed method acquires good CNNs faster than 15 peer competitors within less than 40 GPU-hours. Regarding the classification accuracy, the proposed method gains its strong competitiveness against the peer competitors, which achieves the best error rates of 3.46%, 18.36% and 1.76% for the CIFAR-10, CIFAR-100 and SVHN datasets, respectively.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

合奏学习在机器学习方面取得了成功，比其他学习方法具有重大优势。袋装是一种突出的合奏学习方法，它创建了被称为袋子的数据子组，该数据被单独的机器学习方法（例如决策树）培训。随机森林是学习过程中具有其他功能的袋装的重要例子。 \ textColor {black} {当单个学习者具有较高的偏见时，包装的限制是汇总预测中的高偏置（模型不足）。}进化算法已突出用于优化问题，并且也用于机器学习。进化算法是无梯度的方法，具有多种候选解决方案，可维持创建新解决方案的多样性。在传统的包装合奏学习中，制作了一次袋子，而在培训示例方面，内容是在学习过程中固定的。在我们的论文中，我们提出了进化装袋的合奏学习，我们利用进化算法来发展袋子的内容，以通过迭代袋中提供多样性来增强合奏。结果表明，在某些约束下，我们的进化合奏装袋方法优于几个基准数据集的常规合奏方法（包装和随机森林）。进化装袋可以固有地维持一套不同的行李，而无需牺牲任何数据。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

现代科学和技术进步使植物学家可以使用基于计算机视觉的方法进行植物识别任务。这些方法有自己的挑战。叶片分类是针对自动识别植物物种执行的计算机视觉任务，这是由于叶片形态的变化，包括其大小，质地，形状和静脉，这是一个严重的挑战。由于普及和成功实施图像分析，对象识别和语音识别，研究人员最近越来越倾向于基于深度学习的方法，而不是基于传统特征的方法。在本文中，要拥有一个可解释且可靠的系统，通过提出一种通过三个基于深度学习的模型开发出高效的最大行为相似之处的高效方法，以叶片识别建模。可视化三个模型的不同层，以确保对植物学家的行为进行准确的建模。第一和第二型型号是从头开始设计的。关于第三个模型，采用了预培训的MobilenetV2与转移学习技术一起使用。在两个著名的数据集上评估了所提出的方法：Flavia和Malayakew。根据比较分析，建议的方法比手工制作的特征提取方法和其他深度学习技术更准确，而精度为99.67％和99.81％。与具有自己特定复杂性并依赖数据集的传统技术不同，所提出的方法不需要手工制作的功能提取。同样，与其他深度学习技术相比，它可以提高准确性。此外，SWP叶出现的分布且比其他方法要快得多，因为使用了较少的参数，因此异步使用了较少的参数。

Recently, evolutionary multitasking (EMT) has been successfully used in the field of high-dimensional classification. However, the generation of multiple tasks in the existing EMT-based feature selection (FS) methods is relatively simple, using only the Relief-F method to collect related features with similar importance into one task, which cannot provide more diversified tasks for knowledge transfer. Thus, this paper devises a new EMT algorithm for FS in high-dimensional classification, which first adopts different filtering methods to produce multiple tasks and then modifies a competitive swarm optimizer to efficiently solve these related tasks via knowledge transfer. First, a diversified multiple task generation method is designed based on multiple filtering methods, which generates several relevant low-dimensional FS tasks by eliminating irrelevant features. In this way, useful knowledge for solving simple and relevant tasks can be transferred to simplify and speed up the solution of the original high-dimensional FS task. Then, a competitive swarm optimizer is modified to simultaneously solve these relevant FS tasks by transferring useful knowledge among them. Numerous empirical results demonstrate that the proposed EMT-based FS method can obtain a better feature subset than several state-of-the-art FS methods on eighteen high-dimensional datasets.

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

神经体系结构搜索（NAS）可以自动为深神经网络（DNN）设计架构，并已成为当前机器学习社区中最热门的研究主题之一。但是，NAS通常在计算上很昂贵，因为在搜索过程中需要培训大量DNN。绩效预测因素可以通过直接预测DNN的性能来大大减轻NAS的过失成本。但是，构建令人满意的性能预测能力很大程度上取决于足够的训练有素的DNN体系结构，在大多数情况下很难获得。为了解决这个关键问题，我们在本文中提出了一种名为Giaug的有效的DNN体系结构增强方法。具体而言，我们首先提出了一种基于图同构的机制，其优点是有效地生成$ \ boldsymbol n $（即$ \ boldsymbol n！$）的阶乘，对具有$ \ boldsymbol n $ n $ n $ n $ \ boldsymbol n $的单个体系结构进行了带注释的体系结构节点。此外，我们还设计了一种通用方法，将体系结构编码为适合大多数预测模型的形式。结果，可以通过各种基于性能预测因子的NAS算法灵活地利用Giaug。我们在中小型，中，大规模搜索空间上对CIFAR-10和Imagenet基准数据集进行了广泛的实验。实验表明，Giaug可以显着提高大多数最先进的同伴预测因子的性能。此外，与最先进的NAS算法相比，Giaug最多可以在ImageNet上节省三级计算成本。

语义已成为遗传编程（GP）研究的关键话题。语义是指在数据集上运行时GP个体的输出（行为）。专注于单目标GP中语义多样性的大多数作品表明它在进化搜索方面是非常有益的。令人惊讶的是，在多目标GP（MOGP）中，在语义中进行了小型研究。在这项工作中，我们跨越我们对Mogp中语义的理解，提出SDO：基于语义的距离作为额外标准。这自然鼓励Mogp中的语义多样性。为此，我们在第一个帕累托前面的较密集的区域（最有前途的前沿）找到一个枢轴。然后，这用于计算枢轴与人群中的每个人之间的距离。然后将所得到的距离用作优化以优化以偏及语义分集的额外标准。我们还使用其他基于语义的方法作为基准，称为基于语义相似性的交叉和语义的拥挤距离。此外，我们也使用NSGA-II和SPEA2进行比较。我们使用高度不平衡二进制分类问题，一致地展示我们所提出的SDO方法如何产生更多非主导的解决方案和更好的多样性，导致更好的统计学显着的结果，与其他四种方法相比，使用超卓越症结果作为评估措施。