Machine Learning algorithms have been extensively researched throughout the last decade, leading to unprecedented advances in a broad range of applications, such as image classification and reconstruction, object recognition, and text categorization. Nonetheless, most Machine Learning algorithms are trained via derivative-based optimizers, such as the Stochastic Gradient Descent, leading to possible local optimum entrapments and inhibiting them from achieving proper performances. A bio-inspired alternative to traditional optimization techniques, denoted as meta-heuristic, has received significant attention due to its simplicity and ability to avoid local optimums imprisonment. In this work, we propose to use meta-heuristic techniques to fine-tune pre-trained weights, exploring additional regions of the search space, and improving their effectiveness. The experimental evaluation comprises two classification tasks (image and text) and is assessed under four literature datasets. Experimental results show nature-inspired algorithms' capacity in exploring the neighborhood of pre-trained weights, achieving superior results than their counterpart pre-trained architectures. Additionally, a thorough analysis of distinct architectures, such as Multi-Layer Perceptron and Recurrent Neural Networks, attempts to visualize and provide more precise insights into the most critical weights to be fine-tuned in the learning process.

回声状态网络（ESN）是一类复发性神经网络，具有大量隐藏的隐藏权重（在所谓的储层中）。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的，因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中，我们提出了一种新的ESN类型计算模型，该模型代表傅立叶空间中的储层权重，并对这些权重进行微调，该权重应用了频域中的遗传算法。主要兴趣是，与经典ESN相比，该过程将在小得多的空间中起作用，从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处，以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究，该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。

肺炎是儿童死亡率的主要原因之一，尤其是在全球收入的地区。尽管可以通过不太复杂的仪器和药物进行检测和治疗，但肺炎检测仍然是发展中国家的主要关注点。基于计算机辅助的诊断（CAD）系统可在此类国家 /地区使用，因为其运营成本低于专业医疗专家。在本文中，我们使用深度学习的概念和一种元神父算法提出了一个从胸部X射线检测的CAD系统，以检测胸部X射线。我们首先从预先训练的RESNET50中提取深度功能，该功能在目标肺炎数据集上进行了微调。然后，我们提出了一种基于粒子群优化（PSO）的特征选择技术，该技术使用基于内存的适应参数进行了修改，并通过将利他行为纳入代理人而丰富。我们将功能选择方法命名为自适应和利他的PSO（AAPSO）。提出的方法成功地消除了从RESNET50模型获得的非信息性特征，从而提高了整体框架的肺炎检测能力。对公开可用的肺炎数据集进行了广泛的实验和彻底分析，确定了所提出的方法比用于肺炎检测的其他几个框架的优越性。除了肺炎检测外，AAPSO还可以在某些标准的UCI数据集，用于癌症预测的基因表达数据集和COVID-19预测数据集上进行评估。总体结果令人满意，从而确认AAPSO在处理各种现实生活问题方面的实用性。可以在https://github.com/rishavpramanik/aapso上找到此工作的支持源代码

在神经结构的搜索算法设计（NAS）已经收到了很多关注，旨在提高性能和降低计算成本。尽管巨大的进步作出，很少有作者提出裁缝初始化技术NAS。然而，文献表明，一个好的初始一整套解决方案有助于找到最优解。因此，在这项研究中，我们提出了一个数据驱动的技术来初始化一个人口为基础的NAS算法。特别是，我们提出了一个两步法。首先，我们进行搜索空间的校准聚类分析，和第二，我们提取的重心，并利用它们来初始化NAS算法。我们的基准我们提出的针对使用三个人口为基础的算法，即遗传算法，进化算法，以及老化发展随机和拉丁方抽样方法初始化，上CIFAR-10。更具体地说，我们使用NAS-台-101利用NAS基准的可用性。结果表明，相比于随机和拉丁方抽样，所提出的初始化技术能够在各种搜索场景（不同的培训预算）达到显著的长期改善两个搜索基线，有时。此外，我们分析得到的溶液的分布，发现由数据驱动的初始化技术提供的人口使检索高健身和类似配置的局部最优（最大值）。

Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.

生物医学决策涉及来自不同传感器或来自不同信道的多个信号处理。在这两种情况下，信息融合发挥着重要作用。在脑电图循环交替模式中，在这项工作中进行了深度学习的脑电图通道的特征级融合。通过两个优化算法，即遗传算法和粒子群优化优化了频道选择，融合和分类程序。通过融合来自多个脑电图信道的信息来评估开发的方法，用于夜间胸癫痫和没有任何神经疾病的患者的患者，与其他艺术艺术的工作相比，这在显着更具挑战性。结果表明，两种优化算法都选择了一种具有类似特征级融合的可比结构，包括三个脑电图通道，这与帽协议一致，以确保多个通道的唤起帽检测。此外，两种优化模型在接收器的工作特性曲线下达到了0.82的一个区域，平均精度为77％至79％，这是在专业协议的上部范围内的结果。尽管数据集是困难的数据集，所提出的方法仍处于最佳状态的上层，并且具有困难的数据集，并且具有在不需要任何手动过程的情况下提供全自动分析的优点。最终，模型显示出抗噪声和有弹性的多声道损耗。

传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关，这可能导致优化过程的过早收敛性。为了解决这个问题，我们提出了一种新型的启发式方法，用于构建原始功能的平滑替代模型。替代功能更容易优化，但保持原始坚固的健身景观的基本属性：全球最佳的位置。为了创建这样的替代模型，我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似（在二维情况下）的视觉近似都可以达到令人满意的结果。

本研究提出了一种新颖的训练算法，具体取决于最近提出的健身依赖优化优化器（FDO）。使用一些标准测量，在勘探和开发阶段进行了验证和性能的验证和性能。这影响了我们的目标来衡量算法在训练多层训练中的算法的性能（MLP）。本研究结合了FDO与MLP（CodeName FDO-MLP）优化权重和偏见以预测学生的结果。除了增加他们的成就外，本研究可以根据学生的教育背景改善学习系统。通过与背部传播算法（BP）和一些具有级联MLP（FDO-CMLP），灰狼优化器（GWO）的FDO与MLP（GWO-MLP）相结合的一些进化模型，肯定了这种方法的实验结果改性GWO与MLP（MgWo-MLP），带级联MLP（GWO-CMLP）的GWO，以及带级联MLP的改性GWO（MgWo-CMLP）。定性和定量结果证明，使用FDO作为培训师的建议方法可以在会聚速度和本地最佳避免方面使用不同培训师的其他方法。所提出的FDO-MLP方法分类为0.97的速率。

The automated machine learning (AutoML) field has become increasingly relevant in recent years. These algorithms can develop models without the need for expert knowledge, facilitating the application of machine learning techniques in the industry. Neural Architecture Search (NAS) exploits deep learning techniques to autonomously produce neural network architectures whose results rival the state-of-the-art models hand-crafted by AI experts. However, this approach requires significant computational resources and hardware investments, making it less appealing for real-usage applications. This article presents the third version of Pareto-Optimal Progressive Neural Architecture Search (POPNASv3), a new sequential model-based optimization NAS algorithm targeting different hardware environments and multiple classification tasks. Our method is able to find competitive architectures within large search spaces, while keeping a flexible structure and data processing pipeline to adapt to different tasks. The algorithm employs Pareto optimality to reduce the number of architectures sampled during the search, drastically improving the time efficiency without loss in accuracy. The experiments performed on images and time series classification datasets provide evidence that POPNASv3 can explore a large set of assorted operators and converge to optimal architectures suited for the type of data provided under different scenarios.

近年来，行业和学术界的深度学习（DL）迅速发展。但是，找到DL模型的最佳超参数通常需要高计算成本和人类专业知识。为了减轻上述问题，进化计算（EC）作为一种强大的启发式搜索方法显示出在DL模型的自动设计中，所谓的进化深度学习（EDL）具有重要优势。本文旨在从自动化机器学习（AUTOML）的角度分析EDL。具体来说，我们首先从机器学习和EC阐明EDL，并将EDL视为优化问题。根据DL管道的说法，我们系统地介绍了EDL方法，从功能工程，模型生成到具有新的分类法的模型部署（即，什么以及如何发展/优化），专注于解决方案表示和搜索范式的讨论通过EC处理优化问题。最后，提出了关键的应用程序，开放问题以及可能有希望的未来研究线。这项调查回顾了EDL的最新发展，并为EDL的开发提供了有见地的指南。

分类是数据挖掘和机器学习领域中研究最多的任务之一，并且已经提出了文献中的许多作品来解决分类问题，以解决多个知识领域，例如医学，生物学，安全性和遥感。由于没有单个分类器可以为各种应用程序取得最佳结果，因此，一个很好的选择是采用分类器融合策略。分类器融合方法成功的关键点是属于合奏的分类器之间多样性和准确性的结合。借助文献中可用的大量分类模型，一个挑战是选择最终分类系统的最合适的分类器，从而产生了分类器选择策略的需求。我们通过基于一个称为CIF-E（分类器，初始化，健身函数和进化算法）的四步协议的分类器选择和融合的框架来解决这一点。我们按照提出的CIF-E协议实施和评估24种各种集合方法，并能够找到最准确的方法。在文献中最佳方法和许多其他基线中，还进行了比较分析。该实验表明，基于单变量分布算法（UMDA）的拟议进化方法可以超越许多著名的UCI数据集中最新的文献方法。

本文提出了一种名为Duck Sharm算法（DSA）的群体智能的优化算法。该算法通过寻找鸭子群的食物来源和觅食行为的启发。通过使用十八个基准函数来验证DSA的性能，其中统计（最佳，平均值，标准偏差和平均运行时间）结果与粒子群优化（PSO），Firefly算法（FA ），鸡肉群优化（CSO），灰狼优化器（GWO），正弦余弦算法（SCA）和海洋捕食者算法（MPA）和ArchImedes优化算法（AOA）。此外，使用比较结果的Wilcoxon Rank-Sum测试，Friedman测试和收敛曲线来证明DSA对其他算法的优越性。结果表明，DSA是在收敛速度和勘探开发平衡方面是求解高维优化功能的高性能优化方法。此外，DSA应用于两个约束工程问题的最佳设计（三条桁架问题，以及锯木厂运行问题）。此外，还用于分析所提出的DSA的性能的四个工程约束问题。总体而言，比较结果表明，DSA是一种有前途和非常竞争力的算法，用于解决不同的优化问题。

激活功能（AFS）在神经网络的性能中起关键作用。整流线性单元（RELU）当前是最常用的AF。已经提出了几个替代者，但事实证明，改进措施不一致。一些AFS在特定任务中表现出更好的性能，但是很难先验如何选择合适的任务。研究标准完全连接的神经网络（FCN）和卷积神经网络（CNN），我们提出了一种新颖的，三个人群，共同进化算法来进化AFS，并将其与其他四种方法进行比较，即进化和非进化。在四个数据集（MNIST，FashionMnist，KMNIST和USPS）上进行了测试，共同进化被证明是找到良好的AFS和AF体系结构的性能算法。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

多媒体分析，计算机视觉（CV）和人工智能（AI）算法的最新进步导致了几种有趣的工具，允许自动分析和检索用户利益的多媒体内容。但是，检索感兴趣的内容通常涉及语义特征的分析和提取，例如情感和兴趣级别。这种有意义的信息的提取是一项复杂的任务，通常，单个算法的性能非常低。增强单个算法性能的一种方法是使用融合方案结合多种算法的预测能力。这使各个算法可以相互补充，从而提高了性能。本文提出了有关媒体趣味性得分预测任务的几种融合方法。CLEFFusion 2022中引入了。所提出的方法既包括一个天真的融合方案，其中所有诱导剂均得到同等处理和基于功绩的融合方案，其中采用了多重重量优化方法为单个诱导者分配权重。我们总共使用了六种优化方法，包括粒子群优化（PSO），遗传算法（GA），Nelder Mead，信任区域约束（TRC）和有限的MEMORY BROYDEN FLECHER GOLDFARB SHANNO SHANNO算法（LBFGSA）以及截断的牛顿牛顿算法（TNA）。总体而言，通过PSO和TNA达到0.109的平均平均精度为10。任务是复杂的，通常得分很低。我们认为，提出的分析将为未来在领域的研究提供基准。

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

Agent-based modeling (ABM) is a well-established paradigm for simulating complex systems via interactions between constituent entities. Machine learning (ML) refers to approaches whereby statistical algorithms 'learn' from data on their own, without imposing a priori theories of system behavior. Biological systems -- from molecules, to cells, to entire organisms -- consist of vast numbers of entities, governed by complex webs of interactions that span many spatiotemporal scales and exhibit nonlinearity, stochasticity and intricate coupling between entities. The macroscopic properties and collective dynamics of such systems are difficult to capture via continuum modelling and mean-field formalisms. ABM takes a 'bottom-up' approach that obviates these difficulties by enabling one to easily propose and test a set of well-defined 'rules' to be applied to the individual entities (agents) in a system. Evaluating a system and propagating its state over discrete time-steps effectively simulates the system, allowing observables to be computed and system properties to be analyzed. Because the rules that govern an ABM can be difficult to abstract and formulate from experimental data, there is an opportunity to use ML to help infer optimal, system-specific ABM rules. Once such rule-sets are devised, ABM calculations can generate a wealth of data, and ML can be applied there too -- e.g., to probe statistical measures that meaningfully describe a system's stochastic properties. As an example of synergy in the other direction (from ABM to ML), ABM simulations can generate realistic datasets for training ML algorithms (e.g., for regularization, to mitigate overfitting). In these ways, one can envision various synergistic ABM$\rightleftharpoons$ML loops. This review summarizes how ABM and ML have been integrated in contexts that span spatiotemporal scales, from cellular to population-level epidemiology.

本文提出了一种新型的元元素算法，白鹭群优化算法（ESOA），其灵感来自两种乌格莱特物种（伟大的乌鸦和雪绿色的艾格莱特）狩猎行为。ESOA由三个主要组成部分组成：静坐战略，积极的策略以及判别条件。将ESOA在36个基准函数以及2个工程问题上的性能与粒子群优化（PSO），遗传算法（GA），差分进化（DE），灰狼优化器（GWO）和Harris Hawks优化（HHO）进行了比较。。结果证明了ESOA的卓越有效性和鲁棒性。可以从https://github.com/knightsll/egret_swarm_optimization_algorithm中检索此工作中使用的源代码;https://ww2.mathworks.cn/matlabcentral/fileexchange/115595-Egret-swarm-optimization-algorithm-esoa。

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。

HyperParameter Optimization（HPO）是一种确保机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO;其中大部分都集中在优化一个性能措施（通常是基于错误的措施），并且在这种单一目标HPO问题上的文献是巨大的。然而，最近似乎似乎侧重于同时优化多个冲突目标的算法。本文提出了对2014年至2020年的文献的系统调查，在多目标HPO算法上发布，区分了基于成逐的算法，Metamodel的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序和今后的研究方向的质量指标。