电磁检测卫星调度问题（EDSSP）的研究引起了人们对大量目标的检测要求的关注。本文提出了一个针对EDSSP问题的混合成员编程模型，以及基于强化学习（RL-EA）的进化算法框架。在模型中考虑了影响电磁检测的许多因素，例如检测模式，带宽和其他因素。基于强化学习的进化算法框架使用Q学习框架，并且人群中的每个人都被视为代理。根据提出的框架，设计了一种基于Q的遗传算法（QGA）。 Q学习用于通过选择变异操作员来指导人口搜索过程。在算法中，我们设计了一个奖励功能来更新Q值。根据问题的特征，提出了一种新的组合，采取了行动>。 QGA还使用精英个人保留策略来提高搜索性能。之后，提出了一个任务时间窗口选择算法来评估人口进化的性能。各种量表实验用于检查所提出算法的计划效果。通过对多个实例的实验验证，可以看出QGA可以有效地解决EDSSP问题。与最新的算法相比，QGA算法在几个方面的表现更好。

在我们的论文中研究了一个称为卫星下行链路调度问题（SDSP-BRM）下的称为卫星下行链路调度问题（SDSP）。与必须一次完全下载成像数据的传统SDSP相比，SDSP-BRM允许将成像数据的数据分解为可以在不同的播放窗口中下载的许多部分。通过分析SDSP-BRM的特性，我们首先提出了一个混合整数编程模型以制定其制定模型，然后证明SDSP-BRM的NP硬度。为了解决该问题，我们设计了一种简单有效的启发式算法（SEHA），其中提出了许多问题的移动操作员用于本地搜索。一组精心设计的场景的数值结果证明了与通用CPLEX求解器相比，所提出的算法的效率。我们进行了其他实验，以阐明分段策略对拟议SEHA的整体性能的影响。

过去几十年来，地球观察卫星（EOSS）迅速增加，导致EOSS计划的复杂性日益增加。由于大区域观察的广泛应用，本文旨在解决大型地区目标的EOSS观察计划问题。首先开发了采用投影参考平面和多边形裁剪技术的快速覆盖计算方法。然后，我们为调度问题制定了非线性整数编程模型，其中基于开发的覆盖范围计算方法计算目标函数。提出了一种基于贪婪初始化的重新采样粒子群优化（GI-RPSO）算法来解决该模型。所采用的贪婪初始化策略和粒子重采样方法有助于在进化过程中产生有效的解决方案。最后，进行了广泛的实验，以说明所提出方法的有效性和可靠性。与传统的粒子群优化和广泛使用的贪婪算法相比，所提出的GI-RPSO可以分别提高计划结果5.42％和15.86％。

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

物流运营商最近提出了一项技术，可以帮助降低城市货运分销中的交通拥堵和运营成本，最近提出了移动包裹储物柜（MPLS）。鉴于他们能够在整个部署领域搬迁，因此他们具有提高客户可访问性和便利性的潜力。在这项研究中，我们制定了移动包裹储物柜问题（MPLP），这是位置路由问题（LRP）的特殊情况，该案例确定了整天MPL的最佳中途停留位置以及计划相应的交付路线。开发了基于混合Q学习网络的方法（HQM），以解决所得大问题实例的计算复杂性，同时逃脱了本地Optima。此外，HQM与全球和局部搜索机制集成在一起，以解决经典强化学习（RL）方法所面临的探索和剥削困境。我们检查了HQM在不同问题大小（最多200个节点）下的性能，并根据遗传算法（GA）进行了基准测试。我们的结果表明，HQM获得的平均奖励比GA高1.96倍，这表明HQM具有更好的优化能力。最后，我们确定有助于车队规模要求，旅行距离和服务延迟的关键因素。我们的发现概述了MPL的效率主要取决于时间窗口的长度和MPL中断的部署。

流量店调度（FSS）已被广泛研究，因为它在许多类型的领域中的应用，而人类参与者对这个问题带来了巨大挑战。人力调度捕捉注意力为各种熟练程度的分配工人对适当的阶段，这对生产效率具有重要意义。在本文中，我们提出了一种称为自编码Barnace交配优化器（SBMO）的新型算法，其解决了考虑工人熟练程度的FSS问题，定义为一个新问题，流店人力调度问题（FSMSP）。 SBMO算法的亮点是与编码方法，交叉和突变运算符的组合。此外，为了解决局部最佳问题，我们设计了邻居搜索方案。最后，进行了广泛的比较模拟，以证明所提出的SBMO的优越性。结果表明，与经典和流行的对应相比，SBMO近似比率，强大的稳定性和执行时间的有效性。

观察能力和过渡能力之间的异步发展导致一定的图像数据（OID）由一次性观察形成的原始图像数据（OID）不能完全传播EOS和GS之间的一次传输机会（命名为可见的时间窗口，VTW） 。它需要将OID分割为几个分段的图像数据（SID），然后将它们传输到几个VTW中，从而丰富了卫星图像数据下行链路调度问题（SIDSP）的扩展。我们将新颖的SIDSP定义为具有家庭属性（SIDSPWFA）的卫星图像数据下行调度问题，其中首先将快速分割操作员分割了一些大的OID，并且第二步中都会传输所有SID和其他无分段的OID。然后设计两个优化目标，即图像数据传输失败率（FR）和分割时间（ST），以形式化SIDSPWFA为BI-OXTIVE离散优化模型。此外，持有几个双阶段操作员的双阶段差分进化算法（DE+NSGA-II）。广泛的仿真实例表明，详细分析了模型，策略，算法和操作员的效率。

传感器节点（SNS）的部署总是在无线传感器网络（WSN）的系统性能中起决定性作用。在这项工作中，我们提出了一种实用异构WSN的最佳部署方法，该方法可以深入了解可靠性和部署成本之间的权衡。具体而言，这项工作旨在提供SNS的最佳部署，以最大程度地提高覆盖率和连接学位，同时最大程度地减少整体部署成本。此外，这项工作充分考虑了SNS的异质性（即差异化的传感范围和部署成本）和三维（3-D）部署方案。这是一个多目标优化问题，非凸，多模态和NP-HARD。为了解决它，我们开发了一种新型的基于群体的多目标优化算法，称为竞争性多目标海洋掠食者算法（CMOMPA），其性能通过与十种其他多个多目标优化的全面比较实验验证算法。计算结果表明，在收敛性和准确性方面，CMOMPA优于他人，并且在多模式多目标优化问题上表现出卓越的性能。还进行了足够的模拟来评估基于CMOMPA的最佳SNS部署方法的有效性。结果表明，优化的部署可以平衡部署成本，感知可靠性和网络可靠性之间的权衡平衡。源代码可在https://github.com/inet-wzu/cmompa上找到。

旅行推销员问题（TSP）是许多实用变体的经典NP-HARD组合优化问题。 Lin-Kernighan-Helsgaun（LKH）算法是TSP的最先进的本地搜索算法之一，LKH-3是LKH的强大扩展，可以解决许多TSP变体。 LKH和LKH-3都将一个候选人与每个城市相关联，以提高算法效率，并具有两种不同的方法，称为$ \ alpha $ - 计算和Popmusic，以决定候选人集。在这项工作中，我们首先提出了一种可变策略加强LKH（VSR-LKH）算法，该算法将三种强化学习方法（Q-Learning，SARSA和Monte Carlo）与LKH算法结合在一起，以解决TSP。我们进一步提出了一种称为VSR-LKH-3的新算法，该算法将可变策略强化学习方法与LKH-3结合在一起，用于典型的TSP变体，包括带有时间窗口（TSPTW）和彩色TSP（CTSP）的TSP。所提出的算法取代了LKH和LKH-3中的不灵活的遍历操作，并让算法学会通过增强学习在每个搜索步骤中做出选择。 LKH和LKH-3都具有$ \ alpha $量或Popmusic方法，我们的方法都可以显着改善。具体而言，对236个公共和广泛使用的TSP基准的经验结果具有多达85,900个城市，证明了VSR-LKH的出色表现，扩展的VSR-LKH-3也显着超过了TSPTW和TSPTW和TSPTW和TSPTW的最新启发式方法CTSP。

我们提出了一种称为钢筋混合遗传算法（RHGA）的新型方法，用于解决着名的NP-Hard Travel推销员问题（TSP）。具体地，我们将加强学习技术与众所周知的边缘组装交叉遗传算法（EAX-GA）和Lin-Kernighan-Helsgaun（LKH）本地搜索启发式组合。借助拟议的混合机制，EAX-GA的遗传演进和LKH的本地搜索可以促进彼此的性能。基于Q学习的加强学习技术进一步促进了混合遗传算法。在138众名知名度和广泛使用的TSP基准测试中的实验结果与1,000至85,900的城市数量呈现出rhGA的优异性能，显着优于EAX-GA和LKH。

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

Metaheuristics are popularly used in various fields, and they have attracted much attention in the scientific and industrial communities. In recent years, the number of new metaheuristic names has been continuously growing. Generally, the inventors attribute the novelties of these new algorithms to inspirations from either biology, human behaviors, physics, or other phenomena. In addition, these new algorithms, compared against basic versions of other metaheuristics using classical benchmark problems without shift/rotation, show competitive performances. In this study, we exhaustively tabulate more than 500 metaheuristics. To comparatively evaluate the performance of the recent competitive variants and newly proposed metaheuristics, 11 newly proposed metaheuristics and 4 variants of established metaheuristics are comprehensively compared on the CEC2017 benchmark suite. In addition, whether these algorithms have a search bias to the center of the search space is investigated. The results show that the performance of the newly proposed EBCM (effective butterfly optimizer with covariance matrix adaptation) algorithm performs comparably to the 4 well performing variants of the established metaheuristics and possesses similar properties and behaviors, such as convergence, diversity, exploration and exploitation trade-offs, in many aspects. The performance of all 15 of the algorithms is likely to deteriorate due to certain transformations, while the 4 state-of-the-art metaheuristics are less affected by transformations such as the shifting of the global optimal point away from the center of the search space. It should be noted that, except EBCM, the other 10 new algorithms proposed mostly during 2019-2020 are inferior to the well performing 2017 variants of differential evolution and evolution strategy in terms of convergence speed and global search ability on CEC 2017 functions.

活跃成像的敏捷地球观测卫星（AI-Aea）是新一代敏捷的地球观测卫星（AEOS）。随着观察和主动Im-gering的更新能力，AI-Aeos的观察能力提高了AEOS的观察能力，并提供了观察地面目标的其他方法。然而，这使得这些敏捷地球观察卫星的观察计划问题更加复杂，尤其是在考虑多条纹地面目标时。在本文中，我们研究了主动图像敏捷地球观察卫星（MOSP）的多strip观察计划问题。向MOSP提出了双向目标优化模型，以及一种自适应的模因算法，该算法整合了自适应大型邻里搜索算法（ALNS）和非主导分类遗传算法II（NSGA-II）的组合功率。提出了广泛的计算实验的结果，这些结果揭示了ALNS和NSGA-II在一致的工作中产生了出色的结果。我们的模型比现有模型更通用，并在应用问题解决方面提供了增强的功能。

增强学习（RL）和进化算法（EAS）的整合旨在同时利用样品效率以及两种范例的多样性和鲁棒性。最近，基于这一原则的混合学习框架在各种具有挑战性的机器人控制任务中取得了巨大的成功。然而，在这些方法中，通过与真实环境的相互作用来评估来自遗传群的策略，限制了他们在计算昂贵的问题中的适用性。在这项工作中，我们提出了代理辅助控制器（SC），一种新颖和高效的模块，可以集成到现有框架中，以通过部分更换昂贵的政策评估来缓解EAS的计算负担。应用该模块的关键挑战是防止优化过程被代理所引入的可能的虚假最小值误导。要解决此问题，我们为SC提供了两种策略来控制混合框架的工作流程。 Openai健身房平台的六个连续控制任务的实验表明，SC不仅可以显着降低健身评估的成本，还可以提高原始混合框架的性能与协作学习和进化过程。

信息科学的快速发展引起的“维度诅咒”在处理大数据集时可能会产生负面影响。在本文中，我们提出了Sparrow搜索算法（SSA）的一种变体，称为帐篷L \'evy飞行麻雀搜索算法（TFSSA），并使用它来选择包装模式中最佳的特征子集以进行分类。 SSA是最近提出的算法，尚未系统地应用于特征选择问题。通过CEC2020基准函数进行验证后，TFSSA用于选择最佳功能组合，以最大化分类精度并最大程度地减少所选功能的数量。将拟议的TFSSA与文献中的九种算法进行了比较。 9个评估指标用于正确评估和比较UCI存储库中21个数据集上这些算法的性能。此外，该方法应用于冠状病毒病（COVID-19）数据集，分别获得最佳的平均分类精度和特征选择的平均数量，为93.47％和2.1。实验结果证实了所提出的算法在提高分类准确性和减少与其他基于包装器的算法相比的选定特征数量方面的优势。

尽管在许多控制任务中进行了大量的应用和深入的强化学习的成功，但它仍然存在许多关键问题和局限性，包括具有稀疏奖励的时间信用分配，缺乏有效的探索以及对对超级参数的脆弱融合，这对超级参与者非常敏感问题。持续控制中深厚的强化学习的问题以及进化算法在面对其中一些问题方面的成功，已经出现了进化增强学习的想法，这引起了许多争议。尽管在该领域的一些研究中取得了成功的结果，但针对这些问题及其局限性的适当解决方案尚待提出。本研究旨在研究进一步加强强化学习和进化计算的两个领域的效率，并朝着改善方法和现有挑战迈出一步。 “使用精英缓冲液的进化深度强化学习”算法通过互动学习能力和人脑中的假设结果的灵感引入了一种新的机制。在这种方法中，精英缓冲液的利用（这是受到人类思想的经验概括的启发），以及跨界和突变操作员的存在，以及连续一代的交互式学习，具有提高的效率，收敛性和收敛性，收敛性和在连续控制领域的正确进步。根据实验的结果，所提出的方法超过了具有高复杂性和维度的环境中的其他知名方法，并且在解决上述问题和局限性方面表现出色。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

卫星图像数据下行链路调度问题（SIDSP）在传统卫星的文献中进行了很好的研究。随着卫星技术的最新发展，现代卫星的SIDSP变得更加复杂，增加了复杂性的新维度和有效使用卫星的其他机会。在本文中，我们介绍了动态的两相卫星图像数据下行链路调度问题（D-SIDSP），该问题结合了图像数据分割和图像数据下链接的两个相互链接操作，以动态方式，从而提供其他建模功能和更新的功能。 D-SIDSP被配制为优化图像数据传输速率和服务余额度的双向目标问题。利用自适应的大型邻里搜索算法（ALNS）的功能，具有非主导的分类遗传算法II（NSGA-II），一种自适应双向模因算法，ALNS+NSGA-II，开发为求解D-Sidsp。还提供了使用基准实例进行的广泛计算实验的结果。我们的实验结果揭示了算法ALNS+NSGA-II是更有效地求解D-SIDSP的可行替代方法，并根据各种性能指标证明了卓越的结果。该论文还为D-SIDSP提供了新的基准实例，可用于该主题的未来研究工作。

The optimal layout of a complex system such as aerospace vehicles consists in placing a given number of components in a container in order to minimize one or several objectives under some geometrical or functional constraints. This paper presents an extended formulation of this problem as a variable-size design space (VSDS) problem to take into account a large number of architectural choices and components allocation during the design process. As a representative example of such systems, considering the layout of a satellite module, the VSDS aspect translates the fact that the optimizer has to choose between several subdivisions of the components. For instance, one large tank of fuel might be placed as well as two smaller tanks or three even smaller tanks for the same amount of fuel. In order to tackle this NP-hard problem, a genetic algorithm enhanced by an adapted hidden-variables mechanism is proposed. This latter is illustrated on a toy case and an aerospace application case representative to real world complexity to illustrate the performance of the proposed algorithms. The results obtained using the proposed mechanism are reported and analyzed.

最近几十年来，已经采用了用于解决各种多主体优化问题（MOPS）的多主体进化算法（MOEAS）的显着进步。但是，这些逐渐改善的MOEAS并不一定配备了精致的可扩展和可学习的解决问题的策略，这些策略能够应对缩放型拖把带来的新的和宏伟的挑战，并不断提高各种方面的复杂性或规模，主要包括昂贵的方面，包括昂贵的方面。功能评估，许多目标，大规模搜索空间，时变环境和多任务。在不同的情况下，它需要不同的思考来设计新的强大MOEAS，以有效地解决它们。在这种情况下，对可学习的MOEAS进行的研究，以机器学习技术进行缩放的拖把，在进化计算领域受到了广泛的关注。在本文中，我们从可扩展的拖把和可学习的MOEAS的分类学开始，然后分析将拖把构成对传统MOEAS的挑战的分析。然后，我们综合概述了可学习的MOEAS的最新进展，以求解各种扩展拖把，主要集中在三个有吸引力的有前途的方向上（即，可学习的环境选择的可学习的进化鉴别器，可学习的进化生物的可学习生殖发生器，以及可学习的进化转移，用于分享或分享或分享或进行分享或可学习的转移。不同问题域之间的经验）。在本文中提供了有关可学习的MOEAS的见解，以参考该领域的努力的一般踪迹。